প্রশ্ন ট্যাগ «google-cache»

আমি এক সপ্তাহ আগে আমার একটি সাইটে একটি রোবটস.টিএসটি ফাইল যুক্ত করেছি, যা গুগলবটকে নির্দিষ্ট ইউআরএল আনার চেষ্টা থেকে বিরত থাকতে হবে। তবে এই উইকএন্ডে আমি গুগলবট দেখতে পাচ্ছি ঠিক সেই ইউআরএলগুলি লোড করা। গুগল কি রোবটস.টি.এইচটিএসকে ক্যাশে করে এবং যদি তা হয় তবে তা করা উচিত?

17 googlebot  robots.txt  google-cache