1 ইউআরএলগুলি ব্লক করার জন্য আমরা রোবটস.টি.এস.টি. ফাইলে রেজেক্স ব্যবহার করতে পারি? আমার কয়েকটি গতিশীল উত্পন্ন URL আছে। এই ইউআরএলগুলিকে একটি রোবটস.টিএসটিএল ব্লক করতে আমি কি রেজেক্স ব্যবহার করতে পারি? 23 robots.txt regular-expression