আমি এই প্রশ্নের উত্তরগুলি পড়েছি, তবে তারা এখনও আমার প্রশ্নটি উন্মুক্ত রেখে দেয়: গুগল কি রোবট.টেক্সটকে ক্যাশে করে?
গুগল ওয়েবমাস্টার সরঞ্জামগুলিতে আমার রোবটস টেক্সটটির পুনরায় ডাউনলোডের জন্য কোনও উপায় খুঁজে পাইনি ।
কিছু ত্রুটির মাধ্যমে, আমার রোবটস.টেক্সট এর সাথে প্রতিস্থাপন করা হয়েছিল:
User-agent: *
Disallow: /
এবং এখন আমার সমস্ত সামগ্রী গুগল অনুসন্ধান ফলাফল থেকে সরানো হয়েছে।
স্পষ্টতই, আমি যত তাড়াতাড়ি সম্ভব এটি সংশোধন করতে আগ্রহী। আমি ইতিমধ্যে robots.txt প্রতিস্থাপন করেছি , তবে গুগলকে ক্যাশেড সংস্করণ আপডেট করার কোনও উপায় খুঁজে পাচ্ছি না।
1
কেবল আপনার সমস্ত পৃষ্ঠাগুলিকে রোবটগুলিতে ডায়াগুলি.এসটিএসটি সাধারণত গুগলের ফলাফলগুলি থেকে সম্পূর্ণরূপে অপসারণ করার পক্ষে পর্যাপ্ত হওয়া উচিত না , যতক্ষণ না অন্য সাইটগুলি এখনও তাদের সাথে লিঙ্ক করে।
—
ইলমারি করোনেন
হুম এটি একটি জটিল। জেনকার্ট ইউআরএলগুলি রোবটস.টিএসটিএক্স ওয়েব ক্রলার বটকে বিভ্রান্ত করছে বলে মনে হচ্ছে এবং আপনি এটি জানার আগে আপনি ইউআরএলগুলি ব্লক করেছেন যা আপনি অবরুদ্ধ করতে চান না। আমার অভিজ্ঞতা হ'ল আপনি রোবটস.টেক্সট ছাড়াই ভাল, তবে কেবল একটি পরিষ্কার ওয়েবসাইট রাখছেন। এই রোবটগুলির কারণে আমি অনেক ওয়েব র্যাঙ্কের জায়গা হারিয়েছি valid যেহেতু জেনকার্ট ডায়নামিক ইউআরএল ব্যবহার করে বলে মনে হচ্ছে এটি রোবটস.টেক্সট ওয়েব ক্রলারকে বিভ্রান্ত করছে যার ফলস্বরূপ ইউআরএলগুলি ব্লক করা যা আপনি অবরুদ্ধ হওয়ার আশা করেন না। নিশ্চিত না যে এটি