গুগল ওয়েবমাস্টার সরঞ্জামগুলি এটি দেখতে পারে, তবে আমি এটি খুঁজে পাচ্ছি না। এটি কীভাবে উত্পন্ন হয় বা ফাইল স্ট্রাকচারটি কোথায় তা সম্পর্কে কোনও ধারণা? আমি আমার মূলটিতে ফাইলটি দেখতে পাচ্ছি না। আমার ওয়েবসাইটটি http://mikewills.me এ এবং রোবট.টেক্সট ফাইলের URL টি হ'ল http://mikewills.me/robots.txt ।
শেষ পর্যন্ত, গুগল আমার সাইটকে সূচি দিচ্ছে না এবং আমি কীভাবে রোবটস টেক্সট সম্পাদনা করব তা বোঝার চেষ্টা করছি যাতে সূচিকরণ অনুমোদিত হয়। ইনডেক্সিংয়ের অনুমতি দেওয়ার জন্য আমি গোপনীয়তার বিকল্পটি পরিবর্তন করেছি, তবে এটি রোবটস.টিএসটিএস আপডেট হয়নি।