আসক বট রয়েছে, যা এই শিরোনামটি সেট করে:
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
এটি বিবেচনা করে, আমার নিম্নলিখিত প্রশ্নগুলি রয়েছে:
Mozilla/2.0বা Mozilla/5.0?বর্তমান মান মেনে চলতে কীভাবে আমার ব্যবহারকারী এজেন্টটিকে আমার ফর্ম্যাট করা উচিত সে সম্পর্কে অন্য কোনও পরামর্শ স্বাগতের চেয়ে বেশি।
উত্তর:
আমি মোটামুটি বৃহত্তর ওয়েব ক্রলারের প্রাথমিক ডিজাইনার এবং লেখক (মেটাড্যাটালাবস / এমএমবোট (আর্কাইভ লিঙ্কটি দেখুন) )। আপনি যে বিষয়টিকে আমাদের কাছে অত্যন্ত গুরুত্বপূর্ণ তা স্পর্শ করে যা জিজ্ঞাসা করছেন - সম্ভবত ক্রলার চালানোর সবচেয়ে গুরুত্বপূর্ণ অংশ: ভদ্রতা।
প্রথম: "মজিলা" জিনিসটির কারণ হ'ল আপনার ব্রাউজারের ক্ষমতাগুলি কী তা সাইটটিকে বলা। যদি আপনার বট ব্রাউজারের মতো কাজ করার চেষ্টা না করে, আপনার "মোজিলা" জিনিসটি অন্তর্ভুক্ত করার কোনও বিশেষ কারণ নেই।
আপনার ব্যবহারকারী এজেন্ট স্ট্রিং এবং অন্যান্য ভদ্রতা সম্পর্কিত আইটেম হিসাবে:
এমন একটি নাম নির্বাচন করুন যা আপনি জানেন যে অন্য কেউ ব্যবহার করছে না। আমার সন্দেহ হয় যে আপনি যদি "Goofybot" ব্যবহার করেন তবে আপনি ভাল থাকবেন। তবে আমি এটি পরীক্ষা করে দেখতে চাই।
আপনার ব্যবহারকারী এজেন্ট স্ট্রিংটিতে বট সম্পর্কিত আরও তথ্যের একটি লিঙ্ক অন্তর্ভুক্ত করা উচিত। উদাহরণস্বরূপ, আমাদের স্ট্রিং "এমএলবট (www.metadatalabs.com/MLbot)" পড়ে।
নিশ্চিত হয়ে নিন যে কেউ যদি "Goofybot" অনুসন্ধান করেন তবে অনুসন্ধানের ফলাফলগুলিতে সেই পৃষ্ঠাটি উচ্চতর (পছন্দনীয় প্রথম) is
বট সম্পর্কে আপনার পৃষ্ঠায় বলা উচিত আপনি কী জন্য তথ্য ব্যবহার করছেন, আপনি কোন আইপি ঠিকানা থেকে ক্রল করেছেন এবং লোকেদের বট সমস্যা সম্পর্কে আপনার সাথে যোগাযোগ করার একটি উপায় অন্তর্ভুক্ত করা উচিত।
"গ্রাহক সর্বদা সঠিক" দর্শনটি ব্যবহার করে আপনার যে কোনও প্রশ্ন বা অভিযোগের দ্রুত জবাব দেওয়া উচিত। মনে রাখবেন, আপনার বট যদি এমন সমস্যা তৈরি করে যার বিষয়ে এই ব্যক্তি অভিযোগ করছেন তবে এটি সম্ভবত এক ডজন অন্যান্য সাইটগুলিতে সমস্যা সৃষ্টি করেছে যার বিষয়ে কেউ অভিযোগ করেনি। তারা হয় সমস্যাগুলি দেখেনি বা তারা কেবলমাত্র আপনার আইপি ঠিকানায় একটি ব্লক রেখেছিল।
আপনার বটকে কোনও নির্দিষ্ট ডোমেন নাম অ্যাক্সেস করতে বাধা দেওয়ার জন্য আপনার সুবিধাগুলিটি তৈরি করা উচিত। কিছু লোক চায় না যে আপনি মোটেও ক্রল করুন এবং কোনও রোবটস.টিএসটিএক্স তৈরি করার বা অ্যাক্সেস বা htaccess এ ব্লক করার অ্যাক্সেস বা প্রযুক্তিগত দক্ষতা পাবেন না। আমরা দেখতে পেলাম যে এই ক্ষমতা আমাদের কাউকে বলতে দেয়, "আমরা দুঃখিত, এমএলবট একটি সমস্যার কারণ হয়ে দাঁড়িয়েছে We আমরা এটি আবার আপনার সাইটটিকে আর হামাগুড়ি না দেওয়ার নির্দেশ দিয়েছি" " সম্ভবত অবাক হওয়ার মতো বিষয় নয়, যা মানুষকে খুব দ্রুত শান্ত করে।
আপনি যদি ইতিমধ্যে রোবটস টেক্সটকে সম্মান না করেন তবে এটি করুন। রোবটস.টেক্সট উপেক্ষা করার চেয়ে দ্রুত কোনও খারাপ খ্যাতি আপনাকে পাবে না।
কি দারুন. এটি আমার প্রত্যাশার চেয়ে দীর্ঘতর ছিল। গত চার বছরে, আমি এই ভুলগুলিকে প্রত্যেকের উপরে করেছি এবং এর বাইরেও করেছি। আমরা দেখতে পেলাম যে, আমরা যদি আমরা যা করছি সে সম্পর্কে খোলাখুলি হয়ে সততার সাথে কথা বলি (আমাদের অভিযোগ পাওয়ার আগে ভুল সম্পর্কে তথ্য পোস্ট করা সহ) বেশিরভাগ ওয়েবমাস্টাররা আমাদের একজন ভাল ইন্টারনেট নাগরিক হিসাবে দেখেন।
মোজিলা / ২.০ এবং মজিলা / ৫.০ উভয়ই মজিলা ব্রাউজারের উল্লেখ। এটি অনেক ক্রলারের সাহায্যে এটি মূলত অর্থহীন হয়ে গেছে, তবে আপনার ক্রলারের সাথে এটির আচরণ করতে সাইটটিকে বলা উচিত কারণ এটি কোনও নিয়মিত ব্রাউজারের মাধ্যমে কোনও এলোমেলো ব্যবহারকারী ব্রাউজ করে would
আপনি কে এবং কেন আপনি নিম্নলিখিত বিভাগে ক্রল করছেন সে সম্পর্কে কোনও পৃষ্ঠার সাথে লিঙ্ক করা কোনও URL অন্তর্ভুক্ত করা ভাল শিষ্টাচার is জিভে জিজ্ঞাসা করুন কেবল নাম নিয়েই চলে যেতে পারেন তবে আপনার একটি URL অন্তর্ভুক্ত করা উচিত।
যেমন
Mozilla/5.0 (compatible; http://example.org/)
এটি ওয়েব অ্যাডমিনদের আপনি কেন তাদের সাইট ক্রল করছেন তা নির্ধারণ করতে এবং আপনার ক্রলারটি কীভাবে আচরণ করছে তাতে যদি সমস্যা হয় তবে আপনার সাথে যোগাযোগ করতে সহায়তা করবে।
আমি মনে করি নিম্নলিখিত লিঙ্কগুলি সাহায্য করতে পারে: