গুগল ওয়েবমাস্টার সরঞ্জাম আমাকে বলে যে রোবটগুলি সাইটম্যাপে অ্যাক্সেস আটকাচ্ছে


11

এটি আমার রোবটস টেক্সট :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.example.org/sitemap.xml.gz

তবে গুগল ওয়েবমাস্টার সরঞ্জাম আমাকে বলে যে রোবটগুলি সাইটম্যাপে অ্যাক্সেস আটকাচ্ছে:

আপনার সাইটম্যাপটি অ্যাক্সেস করতে গিয়ে আমরা একটি ত্রুটির মুখোমুখি হয়েছি। দয়া করে নিশ্চিত করুন আপনার সাইটম্যাপটি আমাদের নির্দেশিকা অনুসরণ করে এবং অবস্থান আপনার দেওয়া এবং তারপর পুনরায় জমা থেকে অ্যাক্সেস করা যেতে পারে: URL দ্বারা সীমাবদ্ধ robots.txt এর

আমি পড়তে যে Google ওয়েবমাস্টার টুলস ক্যাশে robots.txt কিন্তু ফাইল চেয়ে বেশি 36 ঘন্টা আগে আপডেট করা হয়েছে।

হালনাগাদ:

টেস্টের সাইটম্যাপটি হিট করার ফলে গুগল কোনও নতুন সাইটম্যাপ আনতে পারে না। কেবলমাত্র সাবমিট সাইটম্যাপ এটি করতে সক্ষম হয়েছিল। (বিটিডাব্লু, আমি যদি সেখানে আপনার বর্তমান সাইটম্যাপটি পেস্ট না করি তবে 'টেস্ট সাইটম্যাপ'-এর মূল উদ্দেশ্যটি দেখতে পাচ্ছি না - এটি পরীক্ষার আগে আপনাকে যে ঠিকানাটি প্রবেশ করতে বলেছে, সেখান থেকে সাইটম্যাপের একটি নতুন কপি আনবে না - তবে এটি অন্য দিনের জন্য একটি প্রশ্ন।)

একটি নতুন সাইটম্যাপ জমা দেওয়ার পরে (পরীক্ষার পরিবর্তে) পরিস্থিতি পরিবর্তিত হয়েছিল। আমি এখন "ইউআরএল রোবটস.টি.টি . টেক্সট দ্বারা পেয়েছি The সাইটম্যাপে ইউআরএল রয়েছে যা রোবটসটেক্সট দ্বারা অবরুদ্ধ ।" 44 টি ইউআরএলের জন্য। সাইটম্যাপে ঠিক 44 টি ইউআরএল রয়েছে। এর অর্থ হ'ল গুগল নতুন সাইটম্যাপ ব্যবহার করছে তবে এটি এখনও পুরানো রোবট নিয়ম অনুসারে চলছে (যা সবকিছুকে সীমাবদ্ধ রেখেছিল) 44 টি ইউআরএল এর মধ্যে কোনওটিই নেই /wp-admin/বা /wp-includes/(যা কোনওভাবেই অসম্ভব, কারণ যেহেতু রোবটস টেক্সট উপর নির্মিত হয়েছে) একই প্লাগইন দ্বারা ফ্লাই যা সাইটম্যাপ তৈরি করে)।

আপডেট 2:

এটি আরও খারাপ হয়ে যায়: একটি গুগল অনুসন্ধান ফলাফলের পৃষ্ঠায়, হোমপেজের জন্য বিবরণটি পড়ে: "এই সাইটের রোবটস টেক্সটের কারণে এই ফলাফলের জন্য একটি বিবরণ পাওয়া যায় না - আরও জানুন"। অন্যান্য সমস্ত পৃষ্ঠাতে সূক্ষ্ম বিবরণ রয়েছে। হোমপেজের কোনও রোবটস.টিএসটিআরটি বা রোবট মেটা ব্লক করার সূচি নেই।

আমি আটকে গেছি.


গুগল ওয়েবমাস্টার সরঞ্জামসমূহ> স্বাস্থ্য> ব্লক করা ইউআরএলগুলিতে, আপনি অবিলম্বে পরীক্ষা করতে পারেন যে আপনার রোবটস.টি.এক্সটি আপনার সাইটম্যাপ ইউআরএল (বা আপনি পরীক্ষা করতে চান এমন অন্য কোনও URL) ব্লক করে কিনা। দেখে মনে হচ্ছে না যে আপনার বর্তমান রোবটস.টি.এস.টি আপনার সাইটম্যাপটি ব্লক করবে, তবে আপনি বলছেন এটি আপডেট হয়েছে। আপনার robots.txt ফাইলের পূর্ববর্তী সংস্করণটি কি এটিকে অবরুদ্ধ করেছে?
মিঃ হোয়াইট

1
হ্যাঁ, পূর্ববর্তী সংস্করণটি অবরুদ্ধ করেছে। আমি Google অনুমান মাত্র hasnt তার ক্যাশে আপডেট ...
গাইয়া

আমার ঠিক একইরকম সমস্যা. আমার রোবটস টেক্সট ক্যাশে এই বছরের ২৩ শে এপ্রিল, আজ ২৫ শে এপ্রিল এবং ক্যাশে এখনও পুরানো। আমার অপেক্ষার জন্য সময় নেই, আমার এখনই আমার সাইটকে সূচী করার জন্য গুগলবूट করা দরকার (এটি ব্যবসায়িক সাইট) তবে মনে হয় আমি কিছুই করতে পারি না, কতক্ষণ অপেক্ষা না করে অপেক্ষা করুন। এতো হতাশার!

উত্তর:


8

দেখে মনে হবে গুগল সম্ভবত এটি আপডেট করেছে না এটি আপনার রোবটস টেক্সট ফাইলটির ক্যাশে। আপনার বর্তমান robots.txt ফাইলটি (উপরে) দেখে মনে হচ্ছে না এটি আপনার সাইটম্যাপের ইউআরএলটিকে ব্লক করা উচিত।

আমার ধারণা গুগল সবেমাত্র এর ক্যাশে আপডেট করেছে।

অনুমান করার দরকার নেই। "স্বাস্থ্য"> "অবরুদ্ধ ইউআরএল" এর অধীনে গুগল ওয়েবমাস্টার সরঞ্জামগুলিতে (জিডব্লিউটি), আপনি দেখতে পারবেন কখন আপনার রোবটস.টিএসটি শেষবার ডাউনলোড হয়েছিল এবং এটি সফল হয়েছিল কিনা। এটি আপনাকে রোবট.টিএসটিএক্স ফাইল দ্বারা কয়টি ইউআরএল অবরুদ্ধ করা হয়েছে তাও অবহিত করবে।

গুগল ওয়েবমাস্টার সরঞ্জামগুলিতে robots.txt উল্লেখ

আমার মন্তব্যে উল্লিখিত হিসাবে, জিডব্লিউটি-র একটি রোবটস.টেক্সট চেকার সরঞ্জাম ("স্বাস্থ্য"> "অবরুদ্ধ ইউআরএল") রয়েছে। সুতরাং আপনি অবিলম্বে আপনার রোবট.এসএক্সটি (আপনার আসল ফাইলটি পরিবর্তন না করে) পরিবর্তন পরীক্ষা করতে পারেন। উপরের টেক্সারিয়ায় রোবটস.টিএসটিএল ফাইল এবং আপনি নীচের টেক্সারিয়ায় পরীক্ষা করতে চান এমন URL গুলি উল্লেখ করুন এবং এটি আপনাকে অবরুদ্ধ করা হবে কিনা তা আপনাকে জানিয়ে দেবে।


Robots.txt এর ক্যাচিং

একটি রোবটস.টি.এস.টি অনুরোধটি সাধারণত একদিন অবধি ক্যাশে থাকে তবে এমন পরিস্থিতিতে লম্বা সময় ক্যাশে রাখা যেতে পারে যেখানে ক্যাশেড সংস্করণকে রিফ্রেশ করা সম্ভব নয় (উদাহরণস্বরূপ, সময়সীমা বা 5 xxx ত্রুটির কারণে)। ক্যাশেড প্রতিক্রিয়া বিভিন্ন ক্রলারের দ্বারা ভাগ করা যেতে পারে। গুগল সর্বোচ্চ-বয়সের ক্যাশে-নিয়ন্ত্রণ HTTP শিরোনামের ভিত্তিতে ক্যাশে আজীবন বৃদ্ধি বা হ্রাস করতে পারে।

উত্স: গুগল বিকাশকারী - রোবটস.টেক্সট স্পেসিফিকেশন


24 ঘন্টা পরে কি এখনও এটি হতে পারে ??
গায়া

ওয়েবমাস্টার সরঞ্জামগুলিতে রিপোর্ট করা হিসাবে "ডাউনলোড করা" তারিখটি কী? এটি এখনও যদি তা থেকে থাকে তা আপনাকে জানাবে । উপরের স্ক্রিনশটে প্রদর্শিত (আমার একটি সাইট থেকে) হিসাবে, রোবটস.টেক্সট ফাইলটি সর্বশেষ "3 সেপ্টেম্বর, 2012" এ ডাউনলোড হয়েছিল (3 দিন আগে) তবে আমার ক্ষেত্রে ফাইলটি ডাউনলোড করার দরকার নেই যেহেতু কিছুই পরিবর্তন হয়নি (সর্বশেষ-পরিবর্তিত শিরোনামটি একই হওয়া উচিত)। গুগল কতবার আপনার রোবটস.টিএসটিএল ফাইলটি আনবে আপনার সার্ভারের সেট অনুসারে মেয়াদ উত্তীর্ণ হবে এবং শেষ-সংশোধিত শিরোনামের উপর নির্ভর করবে।
মিঃউইট

22 ঘন্টা আগে ডাউনলোড হয়েছে এবং শিরোনামটির মেয়াদ শেষ হবে + 24 ঘন্টা। আমি কয়েক ঘন্টা পরে আবার চেষ্টা করব এটি সমাধান করা উচিত!
গাইয়া

এটা এটা করতে না। গুগল নতুন সাইটম্যাপ ব্যবহার করছে তবে এটি এখনও পুরানো রোবটস টেক্সট বিধি দ্বারা চলছে (যা সবকিছুকে সীমাবদ্ধ রেখেছিল)
গায়া

"এটি এটি করেনি" - গুগল এখনও এটি আপনার রোবটসটিটিএসটি ফাইলের ক্যাশে আপডেট করেছে না? যদিও আপনি বলছেন যে আপনি ফাইলটি 36+ ঘন্টা আগে পরিবর্তন করেছেন এবং এটি 22 ঘন্টা আগে ডাউনলোড হিসাবে রিপোর্ট করা হয়েছে ?! আপনি যখন আপনার robots.txt ফাইলের লিঙ্কটিতে ক্লিক করেন তখন আপনি কী দেখতে পাচ্ছেন?
মিঃ হোয়াইট

2

আমার সাইটের ক্ষেত্রে আমার একই সমস্যা ছিল কারণ WP ইনস্টল করার সময় আমি অনুসন্ধান ইঞ্জিন বা একই বিকল্পের সাহায্যে ট্র্যাক না করে নির্বাচন করি।

এই সমস্যা সমাধানের জন্য:

  1. ওয়েবমাস্টার সরঞ্জামগুলিতে যান ক্রলগুলি URL মুছে ফেলুন এবং www.example.com/robots.txtএই বিকল্পটির সাথে আপনার জমা দিন -> সামগ্রী পরিবর্তন করার জন্য ক্যাচ থেকে সরান বা ...
  2. এক মিনিট অপেক্ষা করো
  3. আপনার সাইটম্যাপ URL টি পুনরায় জমা দিন res
  4. শেষ
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.