আমার কাছে একটি সাইট রয়েছে যা নিয়ামক কারণে, সূচকযুক্ত বা স্বয়ংক্রিয়ভাবে অনুসন্ধান করা যায় না। এর অর্থ হ'ল আমাদের সমস্ত রোবটকে দূরে রাখতে হবে এবং সাইটটি স্পিডিংয়ের হাত থেকে আটকাতে হবে।
স্পষ্টতই আমাদের কাছে একটি রোবটস.টি.এস.টি. ফাইল আছে যা শুরু থেকেই সমস্ত কিছু অস্বীকার করে। তবে, রোবটসটিটিএসটি ফাইলটি পর্যবেক্ষণ করা কেবলমাত্র ভাল আচরণ করা রোবটগুলিই। সম্প্রতি আমাদের সাথে কম আচরণ করা রোবট নিয়ে কিছু সমস্যা হয়েছে। আমি কয়েকজন ব্যবহারকারী-এজেন্টকে নিষিদ্ধ করার জন্য অ্যাপাচি কনফিগার করেছি তবে এটি কাছাকাছি পাওয়া খুব সহজ।
সুতরাং, প্রশ্নটি হল, রোবটের মতো আচরণ সনাক্ত করতে এবং প্রতিক্রিয়া জানাতে আপাচি কনফিগার করার কোনও উপায় আছে (সম্ভবত কোনও মডিউল ইনস্টল করে?)? অন্য কোন ধারণা?
এই মুহুর্তে আমি যা করতে পারি তা লগগুলির ম্যানুয়াল পরিদর্শনের উপর ভিত্তি করে আইপি ঠিকানাগুলি নিষিদ্ধ করা এবং এটি কেবল একটি কার্যকর টেকসই কৌশল নয়।