আমার একটি উপ-ডিরেক্টরি রয়েছে যা আমি অনুসন্ধান ইঞ্জিন ওয়েব ক্রোলারগুলি থেকে আড়াল করতে চাই।
এটি করার একটি উপায় হ'ল robots.txtসার্ভারের মূল ডিরেক্টরিতে একটি (স্ট্যান্ডার্ড উপায়) use যাইহোক, যে কেউ ওয়েবসাইটের ইউআরএল জানেন এবং কিছু প্রাথমিক ওয়েব জ্ঞান থাকতে পারে তিনি রোবটস টেক্সট সামগ্রীগুলি অ্যাক্সেস করতে পারবেন এবং নিষ্ক্রিয় ডিরেক্টরিগুলি স্পট করতে পারবেন।
আমি এড়ানোর জন্য একটি উপায় ভেবেছিলাম, তবে আমি নিশ্চিত না যে এটি কাজ করবে কিনা।
যাক Xউপ-যে ডিরেক্টরি আমি বাদ দেওয়ার বিষয়ে নাম হও। ওয়েব ক্রলার সূচিবদ্ধ থামাতে ওয়ান ওয়ে Xডিরেক্টরি এবং একই সময়ে কেউ শনাক্ত করতে কঠিন করে তুলতে Xরুট থেকে ডিরেক্টরির robots.txt, অ্যাড হয় robots.txtমধ্যে Xডিরেক্টরি পরিবর্তে রুট ডিরেক্টরিটি।
আমি যদি এই সমাধানটি অনুসরণ করি তবে আমার নিম্নলিখিত প্রশ্নগুলি রয়েছে:
- ওয়েব ক্রলারগুলি কি
robots.txtসাব-ডিরেক্টরিতে এটি আবিষ্কার করবে ? (প্রদত্ত যে,robots.txtইতিমধ্যে একটি বিদ্যমান এবং মূল ডিরেক্টরিতে) যদি
robots.txtহয়Xউপ-ডিরেক্টরি, তারপর আমি আপেক্ষিক বা পরম পাথ ব্যবহার করা উচিত ?:User-agent: * Disallow: /X/অথবা
User-agent: * Disallow: /