ইউআরএলগুলি ব্লক করার জন্য আমরা রোবটস.টি.এস.টি. ফাইলে রেজেক্স ব্যবহার করতে পারি?

Question

আমার কয়েকটি গতিশীল উত্পন্ন URL আছে।

এই ইউআরএলগুলিকে একটি রোবটস.টিএসটিএল ব্লক করতে আমি কি রেজেক্স ব্যবহার করতে পারি?

Comments

আপনি যে পৃষ্ঠাগুলিতে ক্রল / ইনডেক্স করতে চান না তাতে রোবট মেটা ট্যাগগুলি সেট করাও উপযুক্ত ।

— অ্যান্ড্রু লট

@ অ্যান্ড্রুলট আমার ক্ষেত্রে আমার আরও বেশি 500 পৃষ্ঠা রয়েছে, তাই আমি ভেবেছিলাম রোবটস টেক্সটে রেজেেক্স ব্যবহার করব ..

— সুধীরা এনজেএস

তাহলে আপনার সাইটের কোডের একটি নিয়ম সম্ভবত আরও সহায়ক helpful

— অ্যান্ড্রু লট

Answer 1

নিয়মিত এক্সপ্রেশনগুলি রোবট.টিএসটিএসটিতে বৈধ নয়, তবে গুগল, বিং এবং কিছু অন্যান্য বটগুলি কিছু প্যাটার্ন মেলাকে স্বীকৃতি দেয়।

বলুন আপনি যদি ইউআরএল-এ থাকা যে exampleকোনও URL টি ব্লক করতে চান তবে আপনি ওয়াইল্ড কার্ড এন্ট্রি ব্যবহার করতে পারেন *

User-agent: *
Disallow: /*example

আপনি ডলার চিহ্নও ব্যবহার করতে পারেন specify নির্দিষ্ট করে দিতে যে URL গুলি অবশ্যই শেষ হবে। সুতরাং আপনি যদি সমস্ত ইউআরএলগুলি অবরুদ্ধ করতে চান exampleতবে যে exampleURL টি আপনি ব্যবহার করতে পারেন তার অন্য কোথাও থাকা URL গুলি নয় :

User-agent: *
Disallow: /*example$

গুগলের জন্য আরও গভীরতার তথ্য এখানে পাওয়া যাবে: রোবটস.টেক্সট স্পেসিফিকেশন , এখানে বিং: এখানে কীভাবে একটি রবটস.টেক্সট ফাইল তৈরি করতে হয় এবং এখানে মোজ সম্পর্কে একটি ইন্টারেক্টিভ গাইড রয়েছে here

Comments

পারফেক্ট, * ঠিক কাজ করছে, ওয়েব মাস্টার টুলে পরীক্ষিত .. ধন্যবাদ ম্যাক্স ... :)

— সুধীরা এনজেএস

আমি আপনার রোবটস টেক্সট ফাইলটিতে খুব অভিনব নির্দেশাবলীর ব্যবহার থেকে সতর্কতা চাই; এগুলি সত্যই, পরে ডিবাগ করা সত্যিই শক্ত hard জিনিসগুলি যতটা সম্ভব সহজ করার চেষ্টা করুন। এও মনে রাখবেন যে রোবটসটিটিএসটি কেস-সংবেদনশীল, সুতরাং আপনার সাইটের উপর নির্ভর করে আপনাকে নির্দেশের বিকল্প সংস্করণ যুক্ত করতে হতে পারে।

— জন মুইলার

যদি

— রেজেক্সকে