> ## Documentation Index
> Fetch the complete documentation index at: https://www.ayrshare.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Meta-Media-Crawler blockiert (Instagram / Threads)

> So beheben Sie Fehlercode 440 (und die verwandten Codes Instagram 138 / Threads 379), verursacht durch robots.txt oder Bot-Regeln, die den Meta-Media-Crawler blockieren.

Der Fehlercode **440** (und die verwandten Codes Instagram **138** / Threads **379**) wird zurückgegeben, wenn der Publishing-Crawler von Meta Ihre Medien-URL nicht herunterladen kann – am häufigsten, weil `robots.txt` oder eine Bot-Blocking-Regel auf Ihrem Server dem Crawler den Zugriff verweigert.

<Note>
  Diese Seite behandelt Fehler, bei denen in der Fehlermeldung oder den Details erwähnt wird, dass das soziale Netzwerk die Medien nicht herunterladen konnte, in der Regel mit Verweisen auf `facebookexternalhit`, `robots.txt`, `"Restricted by robots.txt"`, `"HTTP error code 403"` oder den Meta-Fehler `2207052`. Bei Seitenverhältnis- oder Formatfehlern zum Instagram-Code 138 lesen Sie stattdessen die [Instagram Media Guidelines](/media-guidelines/instagram) oder die [Threads Media Guidelines](/media-guidelines/threads).
</Note>

## Symptom

Wenn der Crawler blockiert ist, sehen Sie Fehler wie diese:

```json Error 440 (primary) theme={"system"}
{
  "status": "error",
  "errors": [{
    "action": "post",
    "code": 440,
    "message": "The social network could not download media from this URL (for example Instagram/Meta error 2207052). Ensure the file is publicly reachable by the platform's crawlers (e.g. facebookexternalhit), via media bucket's robots.txt file, not only in a browser.",
    "details": "Media download has failed.: The media could not be fetched from the provided URI...",
    "platform": "instagram",
    "status": "error"
  }],
  "postIds": [],
  "id": "..."
}
```

```json Instagram Error 138 (fallback — less specific upstream response) theme={"system"}
{
  "status": "error",
  "errors": [{
    "retryAvailable": true,
    "status": "error",
    "code": 138,
    "details": "Media download has failed.: The media could not be fetched from the provided URI. Video download failed with: HTTP error code 403. Restricted by robots.txt",
    "action": "post",
    "platform": "instagram",
    "message": "Instagram Error: Instagram cannot process your post at this time. Please try your post again."
  }],
  "postIds": [],
  "id": "..."
}
```

```json Threads Error 379 theme={"system"}
{
  "status": "error",
  "errors": [{
    "status": "error",
    "code": 379,
    "message": "Error posting to Threads.",
    "action": "post",
    "platform": "threads"
  }],
  "postIds": [],
  "id": "..."
}
```

<Note>
  Code **440** ist der dedizierte Ayrshare-Code für diesen Fehler und seine Meldung nennt explizit `facebookexternalhit` und `robots.txt` – wenn Sie 440 sehen, sind Sie hier richtig. Code **138** wird für dieselbe Grundursache ausgegeben, wenn die Upstream-Antwort weniger spezifisch ist; 138 wird auch für Seitenverhältnis-/Formatprobleme verwendet, sodass die Media-Fetch-Variante durch `"Restricted by robots.txt"` oder `"HTTP error code 403"` in `details` erkennbar ist. Code **379** enthält kein `details`-Feld – wenn Threads gleichzeitig mit einem Instagram 440 oder 138 fehlschlägt, ist die Grundursache typischerweise dieselbe.
</Note>

## Warum das passiert

Wenn Sie über Ayrshare auf Instagram oder Threads veröffentlichen, rufen die Meta-Server Ihre Medien von der angegebenen URL ab. Dieser serverseitige Abruf verwendet den User-Agent `facebookexternalhit`. Wenn `robots.txt` Ihres Servers diesen Crawler ausschließt – oder eine WAF/Bot-Schutzregel ihn blockiert – kann Meta die Datei nicht herunterladen, und die Veröffentlichung schlägt fehl.

Für die Veröffentlichung auf Facebook-Seiten wird ein anderer Ingestion-Pfad genutzt, weshalb dieselbe `mediaUrl` für Facebook funktionieren, für Instagram und Threads aber fehlschlagen kann.

## Fix: Aktualisieren Sie Ihre robots.txt

### Empfohlen: Meta explizit erlauben, andere Crawler offen lassen

Fügen Sie diese Regeln zu Ihrer `robots.txt`-Datei hinzu:

```txt robots.txt theme={"system"}
User-agent: facebookexternalhit
Allow: /

User-agent: *
Allow: /
```

Dies erlaubt Metas Crawler ausdrücklich, während Ihre Website für andere Crawler (Google, Bing usw.) geöffnet bleibt.

### Fortgeschritten: Nur für Social-Media-Publisher freigeben

Wenn Sie die meisten Crawler blockieren, aber Social-Media-Plattformen erlauben möchten:

```txt robots.txt theme={"system"}
User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: Pinterest
Allow: /

User-agent: *
Disallow: /
```

<Warning>
  Verwenden Sie einen einzelnen `User-agent: *`-Block, platziert am Ende der Datei. RFC-9309-konforme Crawler führen mehrere Wildcard-Gruppen zu einer zusammen, aber nicht jeder in freier Wildbahn eingesetzte Parser ist RFC-konform – doppelte Wildcard-Gruppen sind eine häufige Ursache dafür, dass Regeln verworfen oder inkonsistent angewendet werden.
</Warning>

## Prüfen, ob Meta Ihre URL abrufen kann

Bevor Sie Ihren Beitrag erneut versuchen, verifizieren Sie, dass Metas Crawler nun auf Ihre Medien zugreifen kann. Führen Sie diesen Befehl aus und ersetzen Sie `$URL` durch Ihre vollständige Medien-URL:

```bash theme={"system"}
curl -v --compressed -H "Range: bytes=0-524288" -H "Connection: close" \
  -A "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" \
  "$URL"
```

<ul class="custom-bullets">
  <li>**Healthy response:** HTTP 200 oder 206 mit Binärdaten im Body.</li>
  <li>**Blocked response:** HTTP 403 oder eine leere/HTML-Fehlerseite.</li>
</ul>

<Note>
  Laut Meta-Dokumentation können Änderungen an `robots.txt` bis zu 24 Stunden benötigen, um sich im Crawler-Cache von Meta zu verbreiten. Wenn die Verifizierung erfolgreich ist, Ihr Beitrag aber weiterhin fehlschlägt, warten Sie und versuchen Sie es später erneut.
</Note>

## Wenn dies das Problem nicht behebt

Wenn Sie `robots.txt` aktualisiert und mit dem `curl`-Befehl verifiziert haben, aber weiterhin Fehler sehen:

<ul class="custom-bullets">
  <li>**24-Stunden-Verbreitungsverzögerung** – Meta cached `robots.txt`. Warten Sie nach Änderungen bis zu 24 Stunden, bevor Sie es erneut versuchen.</li>
  <li>**WAF- oder Bot-Fight-Regeln** – Cloudflare Bot Fight Mode, AWS-WAF-Managed-Bot-Regelgruppen und ähnliche Dienste können die Crawler-IP-Bereiche von Meta blockieren, selbst wenn `robots.txt` dies erlaubt. Prüfen Sie Ihre WAF-Logs und fügen Sie eine Ausnahme für `facebookexternalhit` hinzu.</li>
  <li>**Hotlink-Schutz / Referer-Prüfungen** – Einige CDNs blockieren Anfragen von Rechenzentrums-IPs oder ohne gültigen `Referer`-Header. Setzen Sie Metas Crawler auf die Whitelist oder deaktivieren Sie den Hotlink-Schutz für Medien-Pfade.</li>
  <li>**Ablauf von Signed-/Presigned-URLs** – Wenn Ihre Medien-URL einen Ablaufzeitstempel besitzt (häufig bei S3-Presigned-URLs), stellen Sie sicher, dass sie nicht abläuft, bevor Metas Crawler sie abrufen kann. Bei geplanten Beiträgen erzeugen Sie URLs, die bis deutlich nach der geplanten Zeit gültig sind.</li>
  <li>**Managed Media Hosting** – Wenn Sie einen Dienst wie Cloudinary, Imgix oder ähnlich nutzen, bei dem Sie `robots.txt` nicht bearbeiten können, prüfen Sie in deren Dokumentation eine Allow-List-Einstellung für Meta-/Facebook-Crawler.</li>
</ul>

Wenn keine dieser Maßnahmen das Problem behebt, [kontaktieren Sie den Ayrshare-Support](https://www.ayrshare.com/contact) und geben Sie an:

* Die fehlgeschlagene `postId` aus der Fehlerantwort
* Die Ausgabe des oben genannten `curl`-Verifizierungsbefehls
* Den Inhalt Ihrer `robots.txt`

## Fehlgeschlagenen Beitrag wiederholen

Sobald Sie das Zugriffsproblem des Crawlers behoben haben, wiederholen Sie Ihren fehlgeschlagenen Beitrag über den [Retry-Post-Endpunkt](/apis/post/retry-post).

## Siehe auch

<ul class="custom-bullets">
  <li>[Instagram API](/apis/post/social-networks/instagram)</li>
  <li>[Threads API](/apis/post/social-networks/threads)</li>
  <li>[Instagram Media Guidelines](/media-guidelines/instagram)</li>
  <li>[Threads Media Guidelines](/media-guidelines/threads)</li>
  <li>[Ayrshare Error Codes](/errors/errors-ayrshare#media-fetch--crawler-access-errors)</li>
  <li>[Video Publishing Fails](/help-center/technical-support/video_publishing_fails)</li>
</ul>
