আমার সাইটে আমার কয়েকটি পৃষ্ঠাগুলি রয়েছে যা আমি অনুসন্ধান ইঞ্জিনগুলি দূরে রাখতে চাই, তাই আমি তাদের আমার robots.txtফাইলে এইভাবে বারণ করলাম :
User-Agent: *
Disallow: /email
তবুও আমি সম্প্রতি লক্ষ্য করেছি যে গুগল এখনও কখনও কখনও তাদের অনুসন্ধানের ফলাফলগুলিতে pages পৃষ্ঠাগুলির লিঙ্কগুলি ফেরত দেয়। কেন এটি ঘটে এবং আমি কীভাবে এটি বন্ধ করতে পারি?
পটভূমি:
বেশ কয়েক বছর আগে আমি একটি ক্লাবের জন্য একটি সাধারণ ওয়েব সাইট তৈরি করেছিলাম যার সাথে আমার কোনও আত্মীয় জড়িত ছিল pages তারা তাদের পৃষ্ঠায় ইমেল লিঙ্কগুলি রাখতে চেয়েছিল, তাই সেই ই-মেইল ঠিকানাগুলিকে খুব বেশি পরিমাণে শেষ না করে চেষ্টা করার চেষ্টা চালিয়ে যেতে হয়েছিল স্প্যাম তালিকাগুলি, সরাসরি mailto:লিঙ্কগুলি ব্যবহার না করে আমি সেই লিঙ্কগুলিকে আমার নিজের সাইটে চলমান একটি সাধারণ রিডাইরেক্টর / ঠিকানার ফসল কাটা স্ক্রিপ্টের দিকে নির্দেশ করি। এই স্ক্রিপ্টটি আসল mailto:ইউআরএল 301 পুনর্নির্দেশে ফিরে আসবে , বা যদি এটি সন্দেহজনক অ্যাক্সেস প্যাটার্ন সনাক্ত করে, প্রচুর এলোমেলো নকল ই-মেইল ঠিকানা এবং এই জাতীয় আরও পৃষ্ঠাগুলির লিঙ্কযুক্ত একটি পৃষ্ঠা। বৈধ অনুসন্ধানের বটগুলি ফাঁদ থেকে দূরে রাখতে, আমি robots.txtলিখিত পুনর্নির্দেশকারীর লিঙ্ক এবং ফাঁদ পৃষ্ঠাগুলির উভয়ই পুরো জায়গাটিকে অস্বীকার করে উপরে বর্ণিত নিয়মটি সেট আপ করেছি ।
ঠিক সম্প্রতি, তবে ক্লাবের একজন লোক গুগলে নিজের নামের জন্য অনুসন্ধান করেছিল এবং যখন প্রথম পৃষ্ঠার ফলাফলগুলির মধ্যে একটির পুনঃনির্দেশক স্ক্রিপ্টের লিঙ্ক ছিল, তখন তাদের ইমেল ঠিকানা সম্বলিত একটি শিরোনাম ছিল দ্বারা আমার নাম। অবশ্যই তারা তাত্ক্ষণিকভাবে আমাকে ইমেল করেছিল এবং গুগলের সূচী থেকে তাদের ঠিকানা কীভাবে পাওয়া যায় তা জানতে চেয়েছিল। আমিও বেশ অবাক হয়েছিলাম, যেহেতু আমার ধারণা ছিল না যে গুগল এ জাতীয় ইউআরএলগুলি মোটেও সূচিবদ্ধ করবে, সম্ভবত আমার robots.txtনিয়ম লঙ্ঘন করে ।
আমি গুগলে একটি অপসারণের অনুরোধ জমা দেওয়ার ব্যবস্থা করেছিলাম, এবং মনে হয় এটি কার্যকর হয়েছে, তবে আমি কেন জানতে চাই এবং কেন গুগল আমার পছন্দটিকে ঘৃণা robots.txtকরছে এবং কীভাবে নিশ্চিত করা যায় যে অস্বীকৃত পৃষ্ঠাগুলির কোনওটি তার মধ্যে প্রকাশিত হবে না? অনুসন্ধান ফলাফল.
পুনশ্চ. আমি আসলে একটি সম্ভাব্য ব্যাখ্যা এবং সমাধান খুঁজে পেয়েছি, যা এই প্রশ্নটি প্রস্তুত করার সময় আমি নীচে পোস্ট করব, তবে আমি ভেবেছিলাম যে অন্য কারওর মতো সমস্যা হতে পারে তবে আমি এটিকে যাইহোক জিজ্ঞাসা করব । আপনার নিজের উত্তর পোস্ট করতে দ্বিধা বোধ করবেন না। অন্যান্য অনুসন্ধান ইঞ্জিনগুলিও এটি করে কিনা তা জানতে আগ্রহী হব এবং একই সমাধানগুলি সেগুলির জন্যও কার্যকর কিনা।
robots.txtফাইল কেউ এর গাড়ীবারান্দা পাশে একটি ছোট "কোন অনধিকার প্রবেশকারী" চিহ্ন ভালো হয়। এটি যাদু নয় এবং (যদি না কোনও দর্শকের স্পষ্টভাবে এটি অনুসন্ধান না করা হয়) তবে তারা তার অস্তিত্বের সামান্য প্রভাবিত না হয়েও আপনার সম্পত্তিতে ঘুরে বেড়াতে পারে। ফ্লাডলাইট এবং রেজারওয়্যারের বেড়াগুলির ইন্টারনেট সমতুল্য রয়েছে, তবে এটি যদি আপনি চানrobots.txtতবে তা নয়।