আমি পছন্দ করি না যে আমি আমার ওয়েব সার্ভারের অ্যাক্সেস.লগে 404 টি ত্রুটি দেখতে পেয়েছি । আমি এই ত্রুটিগুলি পাচ্ছি কারণ ক্রোলাররা একটি রোবটস.টিএসটিএল ফাইল খোলার চেষ্টা করে , তবে কোনওটিই খুঁজে পেল না। সুতরাং আমি একটি সাধারণ রোবটস.টি.এস.টি. ফাইল রাখতে চাই যা 404 ত্রুটিগুলিকে আমার লগ ফাইলে প্রদর্শিত হতে আটকাবে।
ন্যূনতম বৈধ রোবট.টেক্সট ফাইল কী যা সাইটের সমস্ত কিছু ক্রল করার অনুমতি দেবে?
উত্তর:
এখানে ইঙ্গিত হিসাবে , আপনার ওয়েব সার্ভারের শীর্ষ স্তরের ডিরেক্টরিতে robots.txt নামের একটি পাঠ্য ফাইল তৈরি করুন । আপনি এটিকে খালি রেখে দিতে পারেন বা যুক্ত করতে পারেন:
User-agent: *
Disallow:
আপনি যদি রোবটগুলিকে সবকিছু ক্রল করতে চান । যদি তা না হয় তবে আরও উদাহরণের জন্য উপরের লিঙ্কটি দেখুন।
সেরা সর্বনিম্ন robots.txtএকটি সম্পূর্ণ খালি ফাইল।
অন্য কোনও "নাল" নির্দেশাবলী যেমন একটি খালি Disallowবা Allow: *কেবল অপ্রয়োজনীয় নয় কারণ সেগুলি অপ-অপস নয়, তবে অপ্রয়োজনীয় জটিলতা যুক্ত করে।
আপনি যদি ফাইলটি সম্পূর্ণ খালি না চান - বা আপনি এটিকে আরও মানব-পঠনযোগ্য করতে চান - কেবল #চরিত্রের সাথে শুরু করে একটি মন্তব্য যুক্ত করুন , যেমন # blank file allows all। ক্রলাররা শুরু হওয়া লাইন উপেক্ষা করে #।
আমি এটি বলব;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
এটি গুগলকে সমস্ত কিছু ক্রল করার অনুমতি দেবে তবে গুগলকে আপনার অ্যাডমিন প্যানেল ক্রল করতে অস্বীকার করবে। যা আপনার জন্য একটি আদর্শ পরিস্থিতি।