উত্তর:
ইমেল সংগ্রহ করা বা দুর্বলতার জন্য আপনার সাইটের পরীক্ষা করা কোনও বট আপনার রোবটস টেক্সটকে সম্মান করবে না। প্রকৃতপক্ষে এই দূষিত বটগুলি আপনার সাইটের মানচিত্রের জন্য রোবটস টেক্সটকে দেখে at আপনার যদি কোনও পয়েন্ট থাকে Disallow:তবে এটি আপনার সাইটে আরও ভাল আক্রমণ করার জন্য ব্যবহৃত হবে। আপনার সাইটটিকে ম্যানুয়ালি দেখছে এমন একজন হ্যাকারকে আপনি অস্বীকার করার চেষ্টা করছেন এমন কোনও ফাইল / ডিরেক্টরি পরীক্ষা করার জন্য অতিরিক্ত সময় ব্যয় করা উচিত।
robots.txt আপনার ওয়েবসাইটের সুরক্ষা বাড়িয়ে তুলবে না বা ই-মেইল ঠিকানা কাটা আটকাবে না। robots.txt অনুসন্ধান ওয়েবসাইটগুলির জন্য আপনার ওয়েবসাইটের অংশগুলি বাদ দিতে একটি গাইড। এগুলি সূচিযুক্ত করা হবে না এবং যে কোনও বিভাগে আপনি সর্বজনীন অনুসন্ধান ইঞ্জিনগুলিতে দেখাতে চান না তার জন্য ব্যবহার করা উচিত।
তবে এটি কোনওভাবেই সুরক্ষা বাড়াতে বা ই-মেইল কাটা রোধ করতে আপনার সম্পূর্ণ সাইট ডাউনলোড করা থেকে অন্য কোনও বটকে আটকাবে না। সুরক্ষা বাড়ানোর জন্য আপনাকে প্রমাণীকরণ যুক্ত করতে হবে এবং সুরক্ষিত বিভাগগুলির বাইরে কেবলমাত্র অনুমোদিত ব্যবহারকারীদেরই অনুমতি দেওয়া উচিত। ই-মেইল ঠিকানা কাটা রোধ করার জন্য কোনও ওয়েবসাইটটিতে ই-মেইলগুলি সরল পাঠ্যে (বা সহজেই অনির্বচনীয় পাঠ্য) রাখবেন না।
Robots.txt ফাইলটি কেবল একটি অনুরোধ হিসাবে কাজ করে যে বট এবং মাকড়সা নির্দিষ্ট সামগ্রীর কিছু টুকরা একা রেখে দেয়; এটি আসলে তাদের অ্যাক্সেসকে আটকাতে পারে না। "ভাল" বটগুলি এটি সম্মান করবে, তবে "খারাপ "গুলি (সম্ভবত আপনি যেগুলি ব্লক করতে চান) এটিকে উপেক্ষা করবে এবং যাইহোক প্রসারিত হবে।
Robots.txt এর পরিবর্তে, আপনাকে ক্যাপচ্যা কোডগুলি ব্যবহার করতে হবে।