Meta Media Crawler заблоковано (Instagram / Threads)

​

Симптом

{
  "status": "error",
  "errors": [{
    "action": "post",
    "code": 479,
    "retryAvailable": false,
    "message": "The social network could not fetch the media from this URL, even after Ayrshare re-hosted it on its own CDN (Instagram/Meta subcode 2207052). Ensure the file is publicly reachable by Meta's crawlers (facebookexternalhit / Facebot) — check your robots.txt and any WAF/bot rules — not only in a browser. Retrying the same URL will not help until hosting is fixed.",
    "details": "Media download has failed.: The media could not be fetched from the provided URI. Restricted by robots.txt (HTTP error code 403). Meta subcode 2207052.",
    "platform": "instagram",
    "status": "error"
  }],
  "postIds": [],
  "id": "..."
}

{
  "status": "error",
  "errors": [{
    "action": "post",
    "code": 440,
    "retryAvailable": true,
    "message": "The social network could not ingest the media in time. This is usually transient (for example Meta subcode 2207032 'download too slow' or 2207003 'create media fail'). Retry the post.",
    "details": "Media download has failed.: Media download took too long / could not create media...",
    "platform": "instagram",
    "status": "error"
  }],
  "postIds": [],
  "id": "..."
}

{
  "status": "error",
  "errors": [{
    "retryAvailable": true,
    "status": "error",
    "code": 138,
    "details": "Media download has failed.: The media could not be fetched from the provided URI. Video download failed with: HTTP error code 403. Restricted by robots.txt",
    "action": "post",
    "platform": "instagram",
    "message": "Instagram Error: Instagram cannot process your post at this time. Please try your post again."
  }],
  "postIds": [],
  "id": "..."
}

{
  "status": "error",
  "errors": [{
    "status": "error",
    "code": 379,
    "message": "Error posting to Threads.",
    "action": "post",
    "platform": "threads"
  }],
  "postIds": [],
  "id": "..."
}

​

Чому це відбувається

​

Виправлення: оновіть Ваш robots.txt

​

Рекомендовано: явно дозвольте Meta, залишаючи інші відкритими

User-agent: facebookexternalhit
Allow: /

User-agent: *
Allow: /

​

Розширене: обмежити доступ лише для соціальних видавців

User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: Pinterest
Allow: /

User-agent: *
Disallow: /

​

Перевірте, що Meta може отримати Ваш URL

curl -v --compressed -H "Range: bytes=0-524288" -H "Connection: close" \
  -A "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" \
  "$URL"

• Здорова відповідь: HTTP 200 або 206 з двійковими даними в тілі.
• Заблокована відповідь: HTTP 403 або порожня/HTML-сторінка помилки.

​

Якщо це не виправило проблему

• 24-годинна затримка поширення — Meta кешує robots.txt. Зачекайте до 24 годин після внесення змін, перш ніж повторити спробу.
• Правила WAF або bot-fight — Cloudflare Bot Fight Mode, керовані групи правил AWS WAF та подібні служби можуть блокувати діапазони IP crawler Meta, навіть якщо robots.txt це дозволяє. Перевірте журнали WAF та додайте виняток для facebookexternalhit.
• Захист від hotlink / перевірки Referer — Деякі CDN блокують запити з IP-адрес центрів обробки даних або без дійсного заголовка Referer. Додайте crawler Meta до білого списку або вимкніть захист від hotlink для шляхів медіа.
• Термін дії signed-URL / presigned-URL — Якщо Ваш URL медіа має timestamp закінчення (поширено для S3 presigned URL), переконайтеся, що він не закінчиться до того, як crawler Meta зможе отримати. Для запланованих дописів створюйте URL, які залишаються дійсними значно після запланованого часу.
• Керований медіа-хостинг — Якщо Ви використовуєте службу, як Cloudinary, Imgix або подібну, де Ви не можете редагувати robots.txt, перевірте їхню документацію на предмет налаштування списку дозволів crawler Meta/Facebook.

• Невдалий postId з відповіді про помилку
• Вивід команди перевірки curl вище
• Вміст Вашого robots.txt

​

Повторна спроба невдалого допису

• Код 440 (тимчасовий, retryAvailable: true): прийому медіа просто забракло часу або він натрапив на тимчасову помилку Meta. Повторіть спробу безпосередньо через кінцеву точку Retry Post; змінювати хостинг не потрібно.
• Код 479 (retryAvailable: false): Meta не змогла отримати медіа навіть після того, як Ayrshare розмістив його на власному CDN, тож повторна спроба з тим самим заблокованим URL знову завершиться невдачею. Спочатку виправте хостинг: дозвольте crawler Meta (facebookexternalhit / Facebot) у robots.txt і Вашому WAF або розмістіть медіа на CDN, доступному для Meta. Перевірте командою curl вище, а потім повторіть спробу через кінцеву точку Retry Post.

​

Див. також

• Instagram API
• Threads API
• Instagram Media Guidelines
• Threads Media Guidelines
• Коди помилок Ayrshare
• Публікація відео зазнає невдачі