Meta Media Crawler अवरुद्ध (Instagram / Threads)

Error code 440 (और संबंधित Instagram code 138 / Threads code 379) तब लौटाया जाता है जब Meta का publishing crawler आपके media URL को डाउनलोड नहीं कर सकता — सबसे आम कारण है कि आपके सर्वर पर robots.txt या एक bot-blocking नियम crawler को अस्वीकार कर रहा है।

यह पेज उन विफलताओं को कवर करता है जिनके error message या details में उल्लेख है कि सोशल नेटवर्क media को डाउनलोड नहीं कर सका, आमतौर पर facebookexternalhit, robots.txt, "Restricted by robots.txt", "HTTP error code 403", या Meta error 2207052 का संदर्भ देते हुए। Instagram code 138 पर aspect-ratio या format त्रुटियों के लिए, इसके बजाय Instagram Media Guidelines या Threads Media Guidelines देखें।

लक्षण

जब crawler अवरुद्ध होता है, तो आपको ऐसी त्रुटियाँ दिखाई देंगी:

Error 440 (primary)

{
  "status": "error",
  "errors": [{
    "action": "post",
    "code": 440,
    "message": "The social network could not download media from this URL (for example Instagram/Meta error 2207052). Ensure the file is publicly reachable by the platform's crawlers (e.g. facebookexternalhit), via media bucket's robots.txt file, not only in a browser.",
    "details": "Media download has failed.: The media could not be fetched from the provided URI...",
    "platform": "instagram",
    "status": "error"
  }],
  "postIds": [],
  "id": "..."
}

Instagram Error 138 (fallback — less specific upstream response)

{
  "status": "error",
  "errors": [{
    "retryAvailable": true,
    "status": "error",
    "code": 138,
    "details": "Media download has failed.: The media could not be fetched from the provided URI. Video download failed with: HTTP error code 403. Restricted by robots.txt",
    "action": "post",
    "platform": "instagram",
    "message": "Instagram Error: Instagram cannot process your post at this time. Please try your post again."
  }],
  "postIds": [],
  "id": "..."
}

Threads Error 379

{
  "status": "error",
  "errors": [{
    "status": "error",
    "code": 379,
    "message": "Error posting to Threads.",
    "action": "post",
    "platform": "threads"
  }],
  "postIds": [],
  "id": "..."
}

Code 440 इस विफलता के लिए समर्पित Ayrshare code है और इसका message स्पष्ट रूप से facebookexternalhit और robots.txt का नाम लेता है — यदि आप 440 देखते हैं, तो आप सही पेज पर हैं। Code 138 उसी मूल कारण के लिए उत्सर्जित किया जाता है जब upstream response कम विशिष्ट होती है; 138 का उपयोग aspect-ratio / format मुद्दों के लिए भी किया जाता है, इसलिए media-fetch variant details में "Restricted by robots.txt" या "HTTP error code 403" द्वारा पहचाना जा सकता है। Code 379 में details फ़ील्ड शामिल नहीं है — यदि Threads Instagram 440 या 138 के साथ विफल होता है, तो मूल कारण आमतौर पर वही होता है।

ऐसा क्यों होता है

जब आप Ayrshare के माध्यम से Instagram या Threads पर प्रकाशित करते हैं, तो Meta के servers आपके द्वारा प्रदान किए गए URL से आपका media प्राप्त करते हैं। यह server-side fetch facebookexternalhit User-Agent का उपयोग करती है। यदि आपके सर्वर का robots.txt इस crawler को अनुमति नहीं देता — या एक WAF/bot-protection नियम इसे अवरुद्ध करता है — तो Meta फ़ाइल को डाउनलोड नहीं कर सकता और publish विफल हो जाती है। Facebook Page publishing एक अलग ingestion path का उपयोग करता है, यही कारण है कि वही mediaUrl Facebook के लिए काम कर सकता है लेकिन Instagram और Threads के लिए विफल हो सकता है।

समाधान: अपना robots.txt अपडेट करें

अनुशंसित: Meta को स्पष्ट रूप से अनुमति दें, अन्य को खुला रखें

अपनी robots.txt फ़ाइल में ये नियम जोड़ें:

robots.txt

User-agent: facebookexternalhit
Allow: /

User-agent: *
Allow: /

यह स्पष्ट रूप से Meta के crawler को अनुमति देता है जबकि आपकी साइट को अन्य crawlers (Google, Bing, आदि) के लिए खुला रखता है। यदि आप अधिकांश crawlers को अवरुद्ध करना चाहते हैं लेकिन सोशल मीडिया प्लेटफ़ॉर्म को अनुमति देना चाहते हैं:

robots.txt

User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: Pinterest
Allow: /

User-agent: *
Disallow: /

एक ही User-agent: * block का उपयोग करें, जिसे फ़ाइल के अंत में रखा जाए। RFC 9309-अनुरूप crawlers कई wildcard groups को एक में मर्ज कर देते हैं, लेकिन जंगल में हर parser RFC-अनुरूप नहीं है — डुप्लिकेट wildcard groups नियमों के छूटने या असंगत रूप से लागू होने का एक सामान्य स्रोत हैं।

सत्यापित करें कि Meta आपके URL को प्राप्त कर सकता है

अपनी पोस्ट को पुनः प्रयास करने से पहले, सत्यापित करें कि Meta का crawler अब आपके media तक पहुँच सकता है। इस कमांड को चलाएँ, $URL को अपने पूर्ण media URL से बदलें:

curl -v --compressed -H "Range: bytes=0-524288" -H "Connection: close" \
  -A "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" \
  "$URL"

स्वस्थ response: body में binary data के साथ HTTP 200 या 206।
अवरुद्ध response: HTTP 403 या एक खाली/HTML error पेज।

Meta के दस्तावेज़ के अनुसार, robots.txt परिवर्तनों को Meta के crawler cache के माध्यम से प्रचारित होने में 24 घंटे तक लग सकते हैं। यदि सत्यापन सफल होता है लेकिन आपकी पोस्ट अभी भी विफल होती है, तो प्रतीक्षा करें और बाद में पुनः प्रयास करें।

यदि यह इसे ठीक नहीं करता है

यदि आपने robots.txt अपडेट किया है और curl कमांड से सत्यापित किया है लेकिन फिर भी विफलताएँ देख रहे हैं:

24-घंटे का प्रसार विलंब — Meta robots.txt को cache करता है। परिवर्तन करने के बाद पुनः प्रयास करने से पहले 24 घंटे तक प्रतीक्षा करें।
WAF या bot-fight नियम — Cloudflare Bot Fight Mode, AWS WAF managed bot rule groups, और समान सेवाएँ Meta के crawler IP ranges को अवरुद्ध कर सकती हैं भले ही robots.txt इसे अनुमति दे। अपने WAF logs की जाँच करें और facebookexternalhit के लिए एक अपवाद जोड़ें।
Hotlink protection / Referer जाँच — कुछ CDN data-center IPs से या बिना वैध Referer header के अनुरोधों को अवरुद्ध करते हैं। Meta के crawler को whitelist करें या media paths के लिए hotlink protection अक्षम करें।
Signed-URL / presigned-URL समाप्ति — यदि आपके media URL में एक expiration timestamp है (S3 presigned URLs के साथ सामान्य), तो सुनिश्चित करें कि यह Meta के crawler द्वारा फ़ेच करने से पहले समाप्त न हो। scheduled पोस्ट के लिए, ऐसे URL जनरेट करें जो scheduled समय के बाद भी लंबे समय तक मान्य रहें।
Managed media hosting — यदि आप Cloudinary, Imgix, या समान सेवा का उपयोग करते हैं जहाँ आप robots.txt संपादित नहीं कर सकते, तो Meta/Facebook crawler allow-list setting के लिए उनके दस्तावेज़ की जाँच करें।

यदि इनमें से कोई भी समस्या का समाधान नहीं करता है, तो Ayrshare support से संपर्क करें और शामिल करें:

error response से विफल postId
ऊपर दिए गए curl सत्यापन कमांड का output
आपकी robots.txt सामग्री

विफल पोस्ट का पुनः प्रयास करें

एक बार जब आप crawler access समस्या का समाधान कर लेते हैं, तो Retry Post endpoint का उपयोग करके अपनी विफल पोस्ट का पुनः प्रयास करें।

Help Center

Meta Media Crawler अवरुद्ध (Instagram / Threads)

लक्षण

ऐसा क्यों होता है

समाधान: अपना robots.txt अपडेट करें

अनुशंसित: Meta को स्पष्ट रूप से अनुमति दें, अन्य को खुला रखें

सत्यापित करें कि Meta आपके URL को प्राप्त कर सकता है

यदि यह इसे ठीक नहीं करता है

विफल पोस्ट का पुनः प्रयास करें

यह भी देखें

​लक्षण

​ऐसा क्यों होता है

​समाधान: अपना robots.txt अपडेट करें

​अनुशंसित: Meta को स्पष्ट रूप से अनुमति दें, अन्य को खुला रखें

​उन्नत: केवल social publishers तक सीमित करें

​सत्यापित करें कि Meta आपके URL को प्राप्त कर सकता है

​यदि यह इसे ठीक नहीं करता है

​विफल पोस्ट का पुनः प्रयास करें

​यह भी देखें

लक्षण

ऐसा क्यों होता है

समाधान: अपना robots.txt अपडेट करें

अनुशंसित: Meta को स्पष्ट रूप से अनुमति दें, अन्य को खुला रखें

उन्नत: केवल social publishers तक सीमित करें

सत्यापित करें कि Meta आपके URL को प्राप्त कर सकता है

यदि यह इसे ठीक नहीं करता है

विफल पोस्ट का पुनः प्रयास करें

यह भी देखें