Robots.txt এ ব্যবহারকারী-এজেন্টদের একত্রিত করুন

Question

ব্যবহারকারী-এজেন্টদের একসাথে তালিকাভুক্ত করা যেতে পারে, এর পরে রোবট.এসটিএসটি- তে তাদের মতো সাধারণ নিয়ম অনুসরণ করা যায় ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

Comments

আপনি অনুমতি না দিয়ে user-agent: *অনুসরণ না করে কেন এমন কোনও কারণ আছে ? "অনুমোদিত" ব্যবহারকারী-এজেন্টগুলির তালিকাটি আপনি যে তালিকাটিকে অস্বীকার করতে চান তার চেয়ে বেশি দীর্ঘ?

— মাইক হডসন

এসও তেও দেখুন: এক লাইনে একাধিক ব্যবহারকারী-এজেন্ট

— আনুর

Answer 1

হ্যাঁ. ধরে নিই যে আপনার এজেন্টের নামগুলি সঠিকভাবে নির্দিষ্ট করা হয়েছে, দেখে মনে হচ্ছে এটি কাজ করা উচিত। আপনি আরও পড়তে চাইলে এখানে একটি সংস্থান রয়েছে। https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Comments

মূল robots.txt এর বৈশিষ্ট একমত: "যদি একাধিক ব্যবহারকারী-এজেন্ট ক্ষেত্র বর্তমান রেকর্ড একাধিক রোবট জন্য একটি অভিন্ন এক্সেস নীতি বর্ণনা করে।"

— ইলমারি করোনেন