3
কেবলমাত্র সাবডোমেনকে নিষ্ক্রিয় করতে আমি কীভাবে রোবট.টিএসটিএস ব্যবহার করতে পারি?
আমার কোড বেস বিভিন্ন পরিবেশের (বাস, উপস্থাপনকারী, তাহলে dev) & সাব-ডোমেন (মধ্যে ভাগ করা আছে staging.example, dev.example, ইত্যাদি) এবং শুধুমাত্র দুটি ক্রল করার জন্য অনুমতি দেওয়া হবে (অর্থাৎ। www.exampleএবং example)। সাধারণত আমি সংশোধন করে /robots.txtসংযোজন করতাম Disallow: /, তবে ভাগ করা কোড বেসের কারণে আমি /robots.txtসমস্ত (উপ) ডোমেনকে প্রভাবিত না …