আমি কিভাবে রোবটস.টিএসটিএস্টের সাথে একটি সম্পূর্ণ ডিরেক্টরিকে অস্বীকার করব?

Question

আমার বর্তমানে দুটি সাইট রয়েছে যার উপরে আমি কাজ করছি যা একটি শপিং কার্ট এবং অন্য একটি ক্রেতা। উভয় একই ডোমেন নামের অধীনে যেমন উদাহরণস্বরূপ

http://example.com/first_url 
http://example.com/second_url 

এই দুটি ইউআরএলের নীচে অনেকগুলি পৃষ্ঠা রয়েছে

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

আমি কীভাবে মূল ইউআরএল /first_urlএবং /second_urlখুব এবং সমস্ত উপ পৃষ্ঠা এবং উপ ডিরেক্টরিগুলি বঞ্চিত করব? আমি এই জাতীয় কিছু ভাবছিলাম কিন্তু আমি জানি না এটি কাজ করে কি না এবং এটি সঠিক বাক্য গঠন ছিল কিনা

Disallow: /first_url/*/
Disallow: /second_url/*/

Comments

আমি মনে করি আপনার বাক্য গঠন ঠিক আছে তবে অতিরিক্ত /

Answer 1

এই ডিরেক্টরিগুলি ব্লক করতে আপনার পিছনে স্ল্যাশ লাগবে না। এটি কাজ করবে:

Disallow: /first_url/*
Disallow: /second_url/*

গুগলের এই সহায়তা পৃষ্ঠাটি এটি বেশ ভালভাবে কভার করে।

Comments

আপনি কেবল "বাতিল / / প্রথম_আরএল" করতে পারেন। পেছনের ওয়াইল্ডকার্ড উপেক্ষা করা হয়। বিকাশকারীদের

— //webmasters

উদাহরণস্বরূপ / ইউআরএল / টেস্ট?টেস্ট =1

— গ্যারেথ ডেইন

Answer 2

আপনি এটি আপনার ডিফল্ট হিসাবে ব্যবহার করতে পারেন robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

তারকা এই বিভাগের অধীনে থাকা সমস্ত কিছুকে মঞ্জুর করা সক্ষম করবে। এমনকি সেই নির্দিষ্ট ইউআরএল টাইপ করে আপনি সেই বিভাগের অধীনে একটি নির্দিষ্ট জিনিসকে অস্বীকার করতে পারেন।

Comments

আপনি প্রারম্ভিক স্ল্যাশ মিস করছেন ব্যতীত এটি গৃহীত উত্তরের চেয়ে আলাদা নয়। রোবটগুলিতে নিয়মগুলি বাতিল করুন t txt সমস্তই স্ল্যাশ দিয়ে শুরু করা উচিত। ডকুমেন্টেশনে

— এভাবেই রয়েছে