আমি <head>বছরের পর বছর ধরে আমার সাইটগুলির মধ্যে নিম্নলিখিত লাইনটি ব্যবহার করছি :
<meta name="revisit-after" content="3 days" />
আমি সম্প্রতি আবিষ্কার করেছি যে এটি গুগল বুঝতে পারে এমন কোনও মেটা ট্যাগগুলির মধ্যে একটি নয় , যার অর্থ আমি গ্রহণ করি যে এটি অন্তর্ভুক্ত করার কোনও অর্থ নেই এবং এটি বছরের পর বছর ধরে কোনও লাভই করে নি।
অনুসন্ধান ইঞ্জিনগুলি প্রায়শই একটি ওয়েবসাইট ডিফল্টরূপে ক্রল করে এবং এই ফ্রিকোয়েন্সিটি বাড়াতে বা হ্রাস করার জন্য কোন নির্ভরযোগ্য উপায় রয়েছে?
উত্তর:
গুগল ওয়েবমাস্টার সরঞ্জামগুলিতে গুগল কত দ্রুত আপনার সাইট ক্রল করে তা আপনি নিয়ন্ত্রণ করতে পারেন ।
আপনার সাইটের ক্রল রেট প্রতিটি ভিজিটে আপনার সাইট ক্রল করার জন্য Googlebot দ্বারা ব্যবহৃত সময় নির্ধারণ করে। আমাদের লক্ষ্যটি আপনার সার্ভারের ব্যান্ডউইথের উপর লক্ষণীয় প্রভাব তৈরি না করেই আপনার সাইটটিকে পুরোপুরি ক্রল করা (যাতে আপনার পৃষ্ঠাগুলি সূচিকৃত এবং অনুসন্ধান ফলাফলগুলিতে ফিরে আসতে পারে!)। যদিও বেশিরভাগ ওয়েবমাস্টাররা ডিফল্ট ক্রল সেটিংস (যেমন কোনও পরিবর্তনের প্রয়োজন হয় না, নীচে তার চেয়ে বেশি) ব্যবহার করে ভাল থাকেন, কিছু ওয়েবমাস্টারদের আরও নির্দিষ্ট প্রয়োজন থাকতে পারে।
গুগলবোট পরিশীলিত অ্যালগরিদম নিয়োগ করে যা প্রতিটি সাইট এটি দেখার জন্য কতটা ক্রল করবে তা নির্ধারণ করে। বেশিরভাগ সাইটের জন্য, "গুগল আমার ক্রল রেট নির্ধারণ করুন" বিকল্পটি বেছে নেওয়া সবচেয়ে ভাল, এটি ডিফল্ট। তবে আপনি যদি একজন উন্নত ব্যবহারকারী হন বা আপনি যদি আপনার সার্ভারের সাথে ব্যান্ডউইথ সমস্যার মুখোমুখি হন তবে আপনি নিজের ক্রল রেটটিকে আপনার ওয়েব সার্ভারের জন্য সবচেয়ে অনুকূল গতিতে অনুকূলিত করতে পারেন। কাস্টম ক্রল রেট বিকল্পটি আপনাকে প্রতি সেকেন্ডে সর্বাধিক সংখ্যার অনুরোধের জন্য গুগলবোট অন্তর্দৃষ্টি প্রদান করতে এবং আপনার পরিবেশের জন্য সেরা যে অনুরোধগুলি অনুভব করে তার মধ্যে সেকেন্ডের সংখ্যার জন্য আপনাকে দেয়।
গুগলবট ক্রম রেটের মানগুলির সীমা নির্ধারণ করে যা আপনি ওয়েবমাস্টার সরঞ্জামগুলিতে পাবেন। এটি আপনার সার্ভারের ক্ষমতা সম্পর্কে আমাদের বোঝার উপর ভিত্তি করে। এই পরিসীমা বিভিন্ন কারণের ভিত্তিতে এক সাইট থেকে অন্য সাইটে এবং সময়ের সাথে সাথে পরিবর্তিত হতে পারে। ডিফল্ট থেকে কম-মান থেকে ক্রল রেট সেট করা গুগলের অনুসন্ধান ফলাফলগুলিতে আপনার সাইটের কভারেজ এবং তাজাতে প্রভাব ফেলতে পারে। তবে এটি ডিফল্টের চেয়ে বেশি মান হিসাবে সেট করা আপনার কভারেজ বা র্যাঙ্কিংয়ের উন্নতি করবে না। যদি আপনি কোনও কাস্টম ক্রল রেট সেট করেন তবে নতুন হারটি 90 দিনের জন্য কার্যকর হবে যার পরে এটি গুগলের প্রস্তাবিত মানটিকে পুনরায় সেট করে।
আপনি এই সেটিংটি কেবলমাত্র ব্লগস্পট ডটকমের মতো বৃহত ডোমেইনে হোস্ট করা নয় মূল স্তরের সাইট এবং সাইটগুলির জন্য ব্যবহার করতে পারেন (আমাদের জন্য তাদের জন্য বিশেষ সেটিংস বরাদ্দ রয়েছে)। ক্রল রেট সেটিংটি চেক করতে, ওয়েবমাস্টার সরঞ্জামগুলিতে সাইন ইন করুন এবং সেটিংস ট্যাবটি দেখুন। আপনার যদি অতিরিক্ত প্রশ্ন থাকে তবে গুগল কীভাবে আপনার সাইট ক্রল করে বা ওয়েবমাস্টার সহায়তা ফোরামে আপনার প্রশ্নগুলি পোস্ট করে সে সম্পর্কে আরও জানতে ওয়েবমাস্টার সহায়তা কেন্দ্রে যান।
অন্যথায় আপনাকে সম্ভবত নিজের ফিল্টারিং সিস্টেম তৈরি করতে হবে যা তাদের ব্যবহারকারীর এজেন্টগুলি ছিটিয়ে দেয় এবং তাদের ব্যবহারকারী-এজেন্ট ভিত্তিক অনুসন্ধান ইঞ্জিনের বটগুলিকে অনুমতি দেয় বা অস্বীকার করে। তবে এটি কেবল তাদের ফ্রিকোয়েন্সি হ্রাস করতে প্রভাবিত করবে।
আপনার প্রশ্নের দ্বিতীয় অংশের উত্তর দিতে, আপনি ওয়েবমাস্টার সরঞ্জামগুলি ব্যবহার করে গুগলকে বলতে পারেন
ক্রল রেট পরিবর্তন করতে:
ওয়েবমাস্টার সরঞ্জামগুলির হোম পৃষ্ঠায়, আপনার পছন্দসই সাইটে ক্লিক করুন।
সাইট কনফিগারেশনের অধীনে, সেটিংস ক্লিক করুন।
ক্রল রেট বিভাগে, আপনি যে বিকল্পটি চান তা নির্বাচন করুন।
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
উপর বিং প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী এটা বোঝায় এই পোস্টে যা সেটিং পরামর্শ দেওয়া হচ্ছে Crawl-Delay: Xযেখানে x সেকেন্ডের সংখ্যা প্রতিটি অনুরোধের মধ্যে অপেক্ষা করতে হয়।
অবশ্যই সাইটম্যাপগুলি নির্দেশ করে যে কত ঘন ঘন পৃষ্ঠাগুলি পরিবর্তন হয়।