আমি জানুয়ারী 11 এ আমার ওয়েবসাইট চালু করেছি এবং এটি গুগলে সূচিত হয় যা দুর্দান্ত - এ পর্যন্ত প্রায় 300 পৃষ্ঠার সামগ্রী pages আমি জুনের শেষের দিকে এবং জুলাইয়ের শুরুতে ক্রল পরিসংখ্যান কী হয়েছিল তা বোঝার চেষ্টা করছি। কী কারণে ব্যাপক চূড়ান্ত হয়েছে? এর মানে কী এগিয়ে যাওয়া? আমার আরও কিছু করা উচিত?
উত্তর:
যদি আপনি মনে করেন যে তারা আপনার সাইটে অতিরিক্ত ক্রল করছে (সম্ভবত গভীর কন্টেন্টটিও হারিয়েছে) আপনার অবশ্যই নিশ্চিত হওয়া উচিত যে আপনার এইচটিটিপি শিরোনামগুলি 'শেষের সংশোধিত' সময় ইত্যাদির মতো ভাল মানের প্রত্যাবর্তন করছে ইত্যাদি Google । বোনাস হিসাবে আপনার সাইটটি ক্যাশে সম্পর্কিত (এটি প্রক্সি বা ব্রাউজার ভিত্তিক হোক) সাথে আরও ভাল আচরণ করবে এবং এভাবে কিছুটা দ্রুত বোধ করবে।
আপনি কী URL টি ক্রল হচ্ছে তা অধ্যয়ন করতে ভাল করতে চান (আপনার সার্ভার লগগুলি পর্যালোচনা করে)। যদি তারা একই ইউআরএলটি বার বার রেকর্ড করে থাকে তবে আপনার অবশ্যই সমস্যা আছে। এটির একটি সাধারণ বৈকল্পিক হ'ল যদি আপনার কাছে এমন একটি পৃষ্ঠা থাকে যা অনুরোধ ভেরিয়েবলগুলি ব্যবহার করে বিভিন্ন উপায়ে প্রদর্শিত হতে পারে। গুগলবট সেই সমস্ত ভেরিয়েবলগুলির প্রতিটি সংমিশ্রণকে ক্রল করার চেষ্টা করতে পারে ।
ক্রল অপারেটর হিসাবে আমি যে উদাহরণটির মুখোমুখি হয়েছি তা হ'ল এমন একটি পৃষ্ঠা যা বিশ টি শিরোনামের একটি তালিকা ছিল, যার কোনও সংমিশ্রণ প্রসারিত হতে পারে। মূলত, সেই পৃষ্ঠাটিতে 2 ^ 20 টি বিভিন্ন ইউআরএল ছিল!
নিশ্চিত হয়ে নিন যে গুগলবোট মূলত একই পৃষ্ঠাটিকে বার বার তুচ্ছভাবে বিভিন্ন পরামিতিগুলির সাথে হামাগুড়ি দিয়ে আটকেছে না (এটি আমি এতে জড়িয়ে পড়েছি দেখেছি)
আমার ধারণা, গুগল সাইটের বয়স, জনপ্রিয়তা (আপনার সাইটের লিঙ্কগুলি), মার্কআপ এবং শিরোলেখ, সঠিক সাইটের মানচিত্র ইত্যাদির সাথে ক্রল রেট পরিবর্তন করে They (পরিবর্তনের কমপক্ষে 2 সপ্তাহ আগে)।
সুতরাং আমি যখন 2 বছর আগে আমার ব্লগ প্রকাশ করেছি তখন সমস্ত বিষয়বস্তু সূচী করতে গুগল কয়েক মাস লেগেছিল এবং নতুন পোস্টগুলিকে সূচী করতে সপ্তাহগুলি লেগেছিল। অনুসন্ধানের ফলাফলের যে কোনও পোস্ট এখন আমি প্রকাশের দিনেই দেখছি।
এটি সহজ, গুগল নতুন সাইট পছন্দ করে না তবে প্রবীণদের সম্মান করে।