উত্তর:
এই দুটি ক্ষেত্রে ক্রলারের কী আলাদা আচরণ হয়?
খালি যে একটি রোবটস.টি.এস.টি. ফাইলটি খুঁজে পাওয়া যায় না তার থেকে সত্যই আলাদা নয়, উভয়ই ক্রলিংয়ের অনুমতি দেয় না।
এই প্রশ্নটিতে এখানে404 বর্ণিত হিসাবে ক্রলাররা রোবটস.টি.এস.টি. ফাইলে অনুরোধ করলে আপনি আপনার সার্ভার লগগুলিতে প্রচুর ত্রুটি পেতে পারেন ।
সুতরাং, খালি রোবটসটিটিএসটি মুছে ফেলা কি নিরাপদ?
হ্যাঁ, উপরের সাবধানতা সহ with