Meta Media Crawler bị chặn (Instagram / Threads)

​

Triệu chứng

{
  "status": "error",
  "errors": [{
    "action": "post",
    "code": 479,
    "retryAvailable": false,
    "message": "The social network could not fetch the media from this URL, even after Ayrshare re-hosted it on its own CDN (Instagram/Meta subcode 2207052). Ensure the file is publicly reachable by Meta's crawlers (facebookexternalhit / Facebot) — check your robots.txt and any WAF/bot rules — not only in a browser. Retrying the same URL will not help until hosting is fixed.",
    "details": "Media download has failed.: The media could not be fetched from the provided URI. Restricted by robots.txt (HTTP error code 403). Meta subcode 2207052.",
    "platform": "instagram",
    "status": "error"
  }],
  "postIds": [],
  "id": "..."
}

{
  "status": "error",
  "errors": [{
    "action": "post",
    "code": 440,
    "retryAvailable": true,
    "message": "The social network could not ingest the media in time. This is usually transient (for example Meta subcode 2207032 'download too slow' or 2207003 'create media fail'). Retry the post.",
    "details": "Media download has failed.: Media download took too long / could not create media...",
    "platform": "instagram",
    "status": "error"
  }],
  "postIds": [],
  "id": "..."
}

{
  "status": "error",
  "errors": [{
    "retryAvailable": true,
    "status": "error",
    "code": 138,
    "details": "Media download has failed.: The media could not be fetched from the provided URI. Video download failed with: HTTP error code 403. Restricted by robots.txt",
    "action": "post",
    "platform": "instagram",
    "message": "Instagram Error: Instagram cannot process your post at this time. Please try your post again."
  }],
  "postIds": [],
  "id": "..."
}

{
  "status": "error",
  "errors": [{
    "status": "error",
    "code": 379,
    "message": "Error posting to Threads.",
    "action": "post",
    "platform": "threads"
  }],
  "postIds": [],
  "id": "..."
}

​

Tại sao điều này xảy ra

​

Khắc phục: Cập nhật robots.txt của bạn

​

Được khuyến nghị: Cho phép Meta rõ ràng, giữ các bên khác mở

User-agent: facebookexternalhit
Allow: /

User-agent: *
Allow: /

​

Nâng cao: Khóa chỉ cho các publisher mạng xã hội

User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: Pinterest
Allow: /

User-agent: *
Disallow: /

​

Xác minh Meta có thể lấy URL của bạn

curl -v --compressed -H "Range: bytes=0-524288" -H "Connection: close" \
  -A "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" \
  "$URL"

• Phản hồi khỏe mạnh: HTTP 200 hoặc 206 với dữ liệu nhị phân trong body.
• Phản hồi bị chặn: HTTP 403 hoặc trang lỗi trống/HTML.

​

Nếu điều này không khắc phục được

• Độ trễ lan truyền 24 giờ — Meta lưu bộ nhớ đệm robots.txt. Đợi tối đa 24 giờ sau khi thực hiện thay đổi trước khi thử lại.
• Quy tắc WAF hoặc chống bot — Cloudflare Bot Fight Mode, AWS WAF managed bot rule groups và các dịch vụ tương tự có thể chặn dải IP crawler của Meta ngay cả khi robots.txt cho phép nó. Kiểm tra nhật ký WAF của bạn và thêm một ngoại lệ cho facebookexternalhit.
• Bảo vệ hotlink / Kiểm tra Referer — Một số CDN chặn yêu cầu từ IP trung tâm dữ liệu hoặc không có header Referer hợp lệ. Đưa crawler của Meta vào danh sách trắng hoặc tắt bảo vệ hotlink cho các đường dẫn phương tiện.
• Hết hạn URL đã ký / URL presigned — Nếu URL phương tiện của bạn có dấu thời gian hết hạn (phổ biến với URL presigned S3), đảm bảo nó không hết hạn trước khi crawler của Meta có thể lấy nó. Đối với bài đăng được lên lịch, hãy tạo URL vẫn còn hiệu lực đến sau thời gian đăng đã lên lịch.
• Lưu trữ phương tiện được quản lý — Nếu bạn sử dụng dịch vụ như Cloudinary, Imgix hoặc tương tự mà bạn không thể chỉnh sửa robots.txt, hãy kiểm tra tài liệu của họ để tìm cài đặt danh sách cho phép crawler Meta/Facebook.

• postId thất bại từ phản hồi lỗi
• Đầu ra của lệnh xác minh curl ở trên
• Nội dung robots.txt của bạn

​

Thử lại bài đăng thất bại

• Mã 440 (tạm thời, retryAvailable: true): quá trình tiếp nhận chỉ đơn giản là hết thời gian hoặc gặp lỗi tạm thời từ Meta. Hãy thử lại trực tiếp bằng endpoint Retry Post; bạn không cần thay đổi gì về việc lưu trữ.
• Mã 479 (retryAvailable: false): Meta không thể tải phương tiện ngay cả sau khi Ayrshare đã lưu trữ lại nó trên CDN của chính mình, vì vậy việc thử lại với URL bị chặn không thay đổi sẽ lại thất bại. Hãy khắc phục việc lưu trữ trước: cho phép các crawler của Meta (facebookexternalhit / Facebot) trong robots.txt và WAF của bạn, hoặc lưu trữ lại phương tiện trên một CDN mà Meta có thể truy cập. Xác minh bằng lệnh curl ở trên, sau đó thử lại qua endpoint Retry Post.

​

Xem thêm

• Instagram API
• Threads API
• Hướng dẫn phương tiện Instagram
• Hướng dẫn phương tiện Threads
• Mã lỗi Ayrshare
• Đăng video thất bại