আমি কীভাবে গুগলকে নতুন রোবটস.টিএসটি ফাইল পড়তে উত্সাহিত করতে পারি?


22

আমি সবেমাত্র একটি নতুন সাইটে আমার robots.txt ফাইল আপডেট করেছি; গুগল ওয়েবমাস্টার সরঞ্জামগুলি প্রতিবেদন করে যে এটি আমার শেষ আপডেটের 10 মিনিট আগে আমার রোবট.টিএসটিটি পড়েছে।

যত তাড়াতাড়ি সম্ভব আমার রোবটস টেক্সট পুনরায় পড়তে আমি গুগলকে উত্সাহিত করতে পারি?

আপডেট: সাইট কনফিগারেশন এর অধীনে | ক্রলার প্রবেশ | পরীক্ষাগার

হোম পেজ অ্যাক্সেস শো:

গুগলবোটটি http://my.example.com/ থেকে অবরুদ্ধ করা হয়েছে

এফওয়াইআই: গুগল সর্বশেষে যে রোবটস.টেক্সট পড়েছে তা দেখে মনে হচ্ছে:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

আমি কি নিজেকে পায়ে গুলি চালিয়েছি, বা অবশেষে এটি পড়তে হবে: http: ///robots.txt (এটি এটি শেষবার পড়ার মতো হয়েছিল)?

আমার যা করা দরকার তা সম্পর্কে কোনও ধারণা?


এফওয়াইআই: সাইটটি নতুন, এবং এই বার্তাটি সেটিংস | ক্রল রেটে প্রদর্শিত হচ্ছে: "আপনার সাইটটিকে বিশেষ ক্রল রেট সেটিংস অর্পণ করা হয়েছে You আপনি ক্রল রেট পরিবর্তন করতে সক্ষম হবেন না।"
qxotk

এফওয়াইআই: আমি গুগল গ্রুপগুলিতে একটি পোস্ট পেয়েছি যা বলেছে যে গুগল রোবটস টেক্সট পড়বে "দিনে অন্তত একবার" - কেউ কি তা নিশ্চিত করতে পারে? [গুগল গ্রুপ পোস্টিং এখানে: গ্রুপ. google.com/group/google_webmaster_help-indexing/… ]
Qxotk

এফওয়াইআই: 1 দিন কেটে গেছে, এবং গুগল এখনও আমার আপডেট হওয়া রোবটস টেক্সট পড়েনি।
qxotk

এখানে একই সমস্যা, এটি কোনও "বৈশিষ্ট্য" নয় ...
mate64

উত্তর:


25

অন্য কেউ যদি এই সমস্যার মুখোমুখি হন তবে গুগল-বটকে রোবটস.টিএসটিএসটি ফাইলটি পুনরায় ডাউনলোড করতে বাধ্য করার উপায় রয়েছে।

স্বাস্থ্য -> গুগল হিসাবে আনুন - [1] এ যান এবং এটি /robots.txt এনেছেন

এটি ফাইলটি পুনরায় ডাউনলোড করবে এবং গুগল ফাইলটি পুনরায় পার্স করবে।

[1] আগের গুগল ইউআইতে এটি ছিল 'ডায়াগনস্টিক্স -> গুগলবোট হিসাবে আনা'।


11
দুর্ভাগ্যক্রমে এটি কাজ করবে না যদি আপনার রোবটস টেক্সট সেট করা থাকে Disallow: /। পরিবর্তে আনার প্রতিবেদন "রোবটস টেক্সট দ্বারা অস্বীকৃত": /।
স্টুডিজেক

3
পরের বার এই লাইন যুক্ত করুন। মঞ্জুরি দিন:
/robots.txt

আমি 'ডায়াগনস্টিকস' খুঁজে পাচ্ছি না, সম্ভবত ইউআই বদলেছে?
ডেভিড রিক্সিটেলি

2
ঠিক আছে, এটি এখন স্বাস্থ্য> গুগল হিসাবে আনা।
ডেভিড রিক্সিটেলি

আমি যখন রোবটস.টিএসটিটি আনার চেষ্টা করি তখন আমার পক্ষে কাজ করে না। ত্রুটি: "পৃষ্ঠাটি এই মুহুর্তে ক্রল করা যায়নি কারণ এটি গুগলবট ডাউনলোড করা অতি সাম্প্রতিক রোবটস টেক্সট ফাইল দ্বারা অবরুদ্ধ করা হয়েছে Note নোট করুন যে আপনি যদি সম্প্রতি রোবটস.টি.এস.টি. ফাইলটি আপডেট করেছেন তবে তা রিফ্রেশ হওয়ার আগে দু'দিন সময় লাগতে পারে। আপনি রোবটস.টেক্সট সম্পর্কে সহায়তা কেন্দ্র নিবন্ধে আরও তথ্য পেতে পারেন।
ইন্দ্রেেক

4

আমি জানি এটি খুব পুরানো, তবে ... আপনি যদি ভুল রোবটস.টেক্সট আপলোড করেন (সমস্ত পৃষ্ঠাগুলি প্রত্যাখ্যান করে), আপনি নিম্নলিখিত চেষ্টা করতে পারেন:

  • তারপরে সঠিক পৃষ্ঠাগুলির অনুমতি দেওয়ার জন্য প্রথমে আপনার রোবট ডট টেক্সটটি সংশোধন করুন
  • আপনার পৃষ্ঠাগুলি সহ সাইটম্যাপ.এক্সএমএল আপলোড করুন

গুগল এক্সএমএল সাইটম্যাপটি পড়ার চেষ্টা করার সাথে সাথে এটি রোবটস টেক্সট আবার পরীক্ষা করবে, গুগলকে আপনার রোবটস.এসটিএসটি পুনরায় পড়তে বাধ্য করবে।


এটি আমার পক্ষে কাজ করে না। এটি বলে যে সাইটম্যাপটি
জেমস

1

ঠিক আছে. আমি যা করেছি তা এখানেই রয়েছে এবং কয়েক ঘন্টার মধ্যে গুগল আমার রোবটস টেক্সট ফাইলগুলি পুনরায় পড়বে।

আমাদের পরিচালিত প্রতি 1 টি সাইটের জন্য আমাদের কাছে 2 টি সাইট রয়েছে। আসুন তাদের ক্যানোনিকাল সাইট (www.mysite.com) এবং খালি-ডোমেন সাইট (mysite.com) বলি।

আমাদের সাইটগুলি সেটআপ রয়েছে যাতে mysite.com সর্বদা www.mysite.com এ একটি 301 পুনর্নির্দেশ ফিরিয়ে দেয়।

গুগল ওয়েবমাস্টার সরঞ্জামগুলিতে আমি উভয় সাইট সেটআপ করার পরে, এটি বলেছিলাম যে www.mysite.com হ'ল প্রচলিত সাইট, এটি শীঘ্রই ক্যানোনিকাল সাইটে রোবট.এসটিএসটি ফাইলটি পড়ার পরে।

আমি সত্যিই জানি না কেন, তবে যা ঘটেছিল।


3
আমি জানি এটি পুরানো, তবে আপনার নিজের উত্তর গ্রহণ করা 100% বৈধ
মার্ক হেন্ডারসন

0

কিছু দিনের জন্য গুগল স্ক্যানের ব্যবধান ছোট করুন।

এছাড়াও, আমি আপনার রোবটগুলি পরীক্ষা করার জন্য বোতামটি দেখেছি। টেক্সট, এটি এটি গুগলে বাধ্য করতে পারে তবে আমি নিশ্চিত নই।


আপনি আরো নির্দিষ্ট হতে পারে? আমি দেখছি: সাইট কনফিগারেশন | ক্রলার প্রবেশ | Robots.txt পরীক্ষা করুন, তবে এটি আপনার লাইভ রোবটস.টেক্সট ফাইল নয়, বাক্সে আটকানো পাঠ্যটি পরীক্ষা করে। এছাড়াও, এটি সর্বশেষ ডাউনলোড করার সময় এটি আমাকে বলেছিল। আপনি যে "যাচাই" বোতামটি বলছেন তা কোথায়?
qxotk
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.