Meta Media Crawler bị chặn (Instagram / Threads)

​

Triệu chứng

{
  "status": "error",
  "errors": [{
    "action": "post",
    "code": 440,
    "message": "The social network could not download media from this URL (for example Instagram/Meta error 2207052). Ensure the file is publicly reachable by the platform's crawlers (e.g. facebookexternalhit), via media bucket's robots.txt file, not only in a browser.",
    "details": "Media download has failed.: The media could not be fetched from the provided URI...",
    "platform": "instagram",
    "status": "error"
  }],
  "postIds": [],
  "id": "..."
}

{
  "status": "error",
  "errors": [{
    "retryAvailable": true,
    "status": "error",
    "code": 138,
    "details": "Media download has failed.: The media could not be fetched from the provided URI. Video download failed with: HTTP error code 403. Restricted by robots.txt",
    "action": "post",
    "platform": "instagram",
    "message": "Instagram Error: Instagram cannot process your post at this time. Please try your post again."
  }],
  "postIds": [],
  "id": "..."
}

{
  "status": "error",
  "errors": [{
    "status": "error",
    "code": 379,
    "message": "Error posting to Threads.",
    "action": "post",
    "platform": "threads"
  }],
  "postIds": [],
  "id": "..."
}

​

Tại sao điều này xảy ra

​

Khắc phục: Cập nhật robots.txt của bạn

​

Được khuyến nghị: Cho phép Meta rõ ràng, giữ các bên khác mở

User-agent: facebookexternalhit
Allow: /

User-agent: *
Allow: /

​

Nâng cao: Khóa chỉ cho các publisher mạng xã hội

User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: Pinterest
Allow: /

User-agent: *
Disallow: /

​

Xác minh Meta có thể lấy URL của bạn

curl -v --compressed -H "Range: bytes=0-524288" -H "Connection: close" \
  -A "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" \
  "$URL"

• Phản hồi khỏe mạnh: HTTP 200 hoặc 206 với dữ liệu nhị phân trong body.
• Phản hồi bị chặn: HTTP 403 hoặc trang lỗi trống/HTML.

​

Nếu điều này không khắc phục được

• Độ trễ lan truyền 24 giờ — Meta lưu bộ nhớ đệm robots.txt. Đợi tối đa 24 giờ sau khi thực hiện thay đổi trước khi thử lại.
• Quy tắc WAF hoặc chống bot — Cloudflare Bot Fight Mode, AWS WAF managed bot rule groups và các dịch vụ tương tự có thể chặn dải IP crawler của Meta ngay cả khi robots.txt cho phép nó. Kiểm tra nhật ký WAF của bạn và thêm một ngoại lệ cho facebookexternalhit.
• Bảo vệ hotlink / Kiểm tra Referer — Một số CDN chặn yêu cầu từ IP trung tâm dữ liệu hoặc không có header Referer hợp lệ. Đưa crawler của Meta vào danh sách trắng hoặc tắt bảo vệ hotlink cho các đường dẫn phương tiện.
• Hết hạn URL đã ký / URL presigned — Nếu URL phương tiện của bạn có dấu thời gian hết hạn (phổ biến với URL presigned S3), đảm bảo nó không hết hạn trước khi crawler của Meta có thể lấy nó. Đối với bài đăng được lên lịch, hãy tạo URL vẫn còn hiệu lực đến sau thời gian đăng đã lên lịch.
• Lưu trữ phương tiện được quản lý — Nếu bạn sử dụng dịch vụ như Cloudinary, Imgix hoặc tương tự mà bạn không thể chỉnh sửa robots.txt, hãy kiểm tra tài liệu của họ để tìm cài đặt danh sách cho phép crawler Meta/Facebook.

• postId thất bại từ phản hồi lỗi
• Đầu ra của lệnh xác minh curl ở trên
• Nội dung robots.txt của bạn

​

Thử lại bài đăng thất bại

​

Xem thêm

• Instagram API
• Threads API
• Hướng dẫn phương tiện Instagram
• Hướng dẫn phương tiện Threads
• Mã lỗi Ayrshare
• Đăng video thất bại