Meta-Media-Crawler blockiert (Instagram / Threads)

Der Fehlercode 440 (und die verwandten Codes Instagram 138 / Threads 379) wird zurückgegeben, wenn der Publishing-Crawler von Meta Ihre Medien-URL nicht herunterladen kann – am häufigsten, weil robots.txt oder eine Bot-Blocking-Regel auf Ihrem Server dem Crawler den Zugriff verweigert.

Diese Seite behandelt Fehler, bei denen in der Fehlermeldung oder den Details erwähnt wird, dass das soziale Netzwerk die Medien nicht herunterladen konnte, in der Regel mit Verweisen auf facebookexternalhit, robots.txt, "Restricted by robots.txt", "HTTP error code 403" oder den Meta-Fehler 2207052. Bei Seitenverhältnis- oder Formatfehlern zum Instagram-Code 138 lesen Sie stattdessen die Instagram Media Guidelines oder die Threads Media Guidelines.

Symptom

Wenn der Crawler blockiert ist, sehen Sie Fehler wie diese:

Error 440 (primary)

{
  "status": "error",
  "errors": [{
    "action": "post",
    "code": 440,
    "message": "The social network could not download media from this URL (for example Instagram/Meta error 2207052). Ensure the file is publicly reachable by the platform's crawlers (e.g. facebookexternalhit), via media bucket's robots.txt file, not only in a browser.",
    "details": "Media download has failed.: The media could not be fetched from the provided URI...",
    "platform": "instagram",
    "status": "error"
  }],
  "postIds": [],
  "id": "..."
}

Instagram Error 138 (fallback — less specific upstream response)

{
  "status": "error",
  "errors": [{
    "retryAvailable": true,
    "status": "error",
    "code": 138,
    "details": "Media download has failed.: The media could not be fetched from the provided URI. Video download failed with: HTTP error code 403. Restricted by robots.txt",
    "action": "post",
    "platform": "instagram",
    "message": "Instagram Error: Instagram cannot process your post at this time. Please try your post again."
  }],
  "postIds": [],
  "id": "..."
}

Threads Error 379

{
  "status": "error",
  "errors": [{
    "status": "error",
    "code": 379,
    "message": "Error posting to Threads.",
    "action": "post",
    "platform": "threads"
  }],
  "postIds": [],
  "id": "..."
}

Code 440 ist der dedizierte Ayrshare-Code für diesen Fehler und seine Meldung nennt explizit facebookexternalhit und robots.txt – wenn Sie 440 sehen, sind Sie hier richtig. Code 138 wird für dieselbe Grundursache ausgegeben, wenn die Upstream-Antwort weniger spezifisch ist; 138 wird auch für Seitenverhältnis-/Formatprobleme verwendet, sodass die Media-Fetch-Variante durch "Restricted by robots.txt" oder "HTTP error code 403" in details erkennbar ist. Code 379 enthält kein details-Feld – wenn Threads gleichzeitig mit einem Instagram 440 oder 138 fehlschlägt, ist die Grundursache typischerweise dieselbe.

Warum das passiert

Wenn Sie über Ayrshare auf Instagram oder Threads veröffentlichen, rufen die Meta-Server Ihre Medien von der angegebenen URL ab. Dieser serverseitige Abruf verwendet den User-Agent facebookexternalhit. Wenn robots.txt Ihres Servers diesen Crawler ausschließt – oder eine WAF/Bot-Schutzregel ihn blockiert – kann Meta die Datei nicht herunterladen, und die Veröffentlichung schlägt fehl. Für die Veröffentlichung auf Facebook-Seiten wird ein anderer Ingestion-Pfad genutzt, weshalb dieselbe mediaUrl für Facebook funktionieren, für Instagram und Threads aber fehlschlagen kann.

Fix: Aktualisieren Sie Ihre robots.txt

Empfohlen: Meta explizit erlauben, andere Crawler offen lassen

Fügen Sie diese Regeln zu Ihrer robots.txt-Datei hinzu:

robots.txt

User-agent: facebookexternalhit
Allow: /

User-agent: *
Allow: /

Dies erlaubt Metas Crawler ausdrücklich, während Ihre Website für andere Crawler (Google, Bing usw.) geöffnet bleibt. Wenn Sie die meisten Crawler blockieren, aber Social-Media-Plattformen erlauben möchten:

robots.txt

User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: Pinterest
Allow: /

User-agent: *
Disallow: /

Verwenden Sie einen einzelnen User-agent: *-Block, platziert am Ende der Datei. RFC-9309-konforme Crawler führen mehrere Wildcard-Gruppen zu einer zusammen, aber nicht jeder in freier Wildbahn eingesetzte Parser ist RFC-konform – doppelte Wildcard-Gruppen sind eine häufige Ursache dafür, dass Regeln verworfen oder inkonsistent angewendet werden.

Prüfen, ob Meta Ihre URL abrufen kann

Bevor Sie Ihren Beitrag erneut versuchen, verifizieren Sie, dass Metas Crawler nun auf Ihre Medien zugreifen kann. Führen Sie diesen Befehl aus und ersetzen Sie $URL durch Ihre vollständige Medien-URL:

curl -v --compressed -H "Range: bytes=0-524288" -H "Connection: close" \
  -A "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" \
  "$URL"

Healthy response: HTTP 200 oder 206 mit Binärdaten im Body.
Blocked response: HTTP 403 oder eine leere/HTML-Fehlerseite.

Laut Meta-Dokumentation können Änderungen an robots.txt bis zu 24 Stunden benötigen, um sich im Crawler-Cache von Meta zu verbreiten. Wenn die Verifizierung erfolgreich ist, Ihr Beitrag aber weiterhin fehlschlägt, warten Sie und versuchen Sie es später erneut.

Wenn dies das Problem nicht behebt

Wenn Sie robots.txt aktualisiert und mit dem curl-Befehl verifiziert haben, aber weiterhin Fehler sehen:

24-Stunden-Verbreitungsverzögerung – Meta cached robots.txt. Warten Sie nach Änderungen bis zu 24 Stunden, bevor Sie es erneut versuchen.
WAF- oder Bot-Fight-Regeln – Cloudflare Bot Fight Mode, AWS-WAF-Managed-Bot-Regelgruppen und ähnliche Dienste können die Crawler-IP-Bereiche von Meta blockieren, selbst wenn robots.txt dies erlaubt. Prüfen Sie Ihre WAF-Logs und fügen Sie eine Ausnahme für facebookexternalhit hinzu.
Hotlink-Schutz / Referer-Prüfungen – Einige CDNs blockieren Anfragen von Rechenzentrums-IPs oder ohne gültigen Referer-Header. Setzen Sie Metas Crawler auf die Whitelist oder deaktivieren Sie den Hotlink-Schutz für Medien-Pfade.
Ablauf von Signed-/Presigned-URLs – Wenn Ihre Medien-URL einen Ablaufzeitstempel besitzt (häufig bei S3-Presigned-URLs), stellen Sie sicher, dass sie nicht abläuft, bevor Metas Crawler sie abrufen kann. Bei geplanten Beiträgen erzeugen Sie URLs, die bis deutlich nach der geplanten Zeit gültig sind.
Managed Media Hosting – Wenn Sie einen Dienst wie Cloudinary, Imgix oder ähnlich nutzen, bei dem Sie robots.txt nicht bearbeiten können, prüfen Sie in deren Dokumentation eine Allow-List-Einstellung für Meta-/Facebook-Crawler.

Wenn keine dieser Maßnahmen das Problem behebt, kontaktieren Sie den Ayrshare-Support und geben Sie an:

Die fehlgeschlagene postId aus der Fehlerantwort
Die Ausgabe des oben genannten curl-Verifizierungsbefehls
Den Inhalt Ihrer robots.txt

Fehlgeschlagenen Beitrag wiederholen

Sobald Sie das Zugriffsproblem des Crawlers behoben haben, wiederholen Sie Ihren fehlgeschlagenen Beitrag über den Retry-Post-Endpunkt.

​Symptom

​Warum das passiert

​Fix: Aktualisieren Sie Ihre robots.txt

​Empfohlen: Meta explizit erlauben, andere Crawler offen lassen

​Fortgeschritten: Nur für Social-Media-Publisher freigeben

​Prüfen, ob Meta Ihre URL abrufen kann

​Wenn dies das Problem nicht behebt

​Fehlgeschlagenen Beitrag wiederholen

​Siehe auch

Symptom

Warum das passiert

Fix: Aktualisieren Sie Ihre robots.txt

Empfohlen: Meta explizit erlauben, andere Crawler offen lassen

Fortgeschritten: Nur für Social-Media-Publisher freigeben

Prüfen, ob Meta Ihre URL abrufen kann

Wenn dies das Problem nicht behebt

Fehlgeschlagenen Beitrag wiederholen

Siehe auch