দ্রষ্টব্য : এই উত্তরটি দিন দিন অতিক্রান্ত।
ইন্টারনেট আর্কাইভের ওয়েব সংগ্রহে সবচেয়ে বড় অবদানকারী আলেকসান ইন্টারনেট। অ্যালেক্সা তার উদ্দেশ্যে যে ক্রল করে সেগুলি কয়েক মাস পরে আইএতে দান করা হয়েছে। প্রশ্নে উল্লিখিত অনুমোদন বিধি যুক্ত করা সেই ক্রলগুলিকে প্রভাবিত করে না, তবে ওয়েব্যাক তাদের 'প্রতিবিম্বিতভাবে' সম্মান করবে (অ্যাক্সেস অস্বীকার করবে, উপাদানটি এখনও সংরক্ষণাগারে থাকবে - আপনি যদি সত্যই আপনার উপাদানটি বাইরে রাখতে চান তবে আপনার আলেক্সার রোবট বাদ দেওয়া উচিত) ইন্টারনেট সংরক্ষণাগার)
অ্যালেক্সার ক্রলগুলি প্রভাবিত করার উপায় থাকতে পারে তবে আমি তার সাথে পরিচিত নই।
যেহেতু আইএ তার নিজস্ব ক্রলার তৈরি করেছে (হেরিট্রিক্স) তারা নিজস্ব ক্রলগুলি শুরু করেছে, তবে তাদের লক্ষ্যবস্তু ক্রল হবে (তারা লাইব্রেরি অফ কংগ্রেসের জন্য নির্বাচনী হামাগুড়ি দিয়েছিল এবং ফ্রান্স এবং অস্ট্রেলিয়ায় জাতীয় ক্রল করেছে ইত্যাদি)। গুগল এবং আলেক্সা যে ধরণের টেকসই বিশ্ব স্কেল ক্রল চালায় সেগুলিতে তারা জড়িত না। আইএর বৃহত্তম ক্রলটি ছিল 2 বিলিয়ন পৃষ্ঠাগুলি ক্রল করার জন্য একটি বিশেষ প্রকল্প।
যেহেতু এই ক্রলের সময়সূচী প্রকল্পের নির্দিষ্ট কারণের থেকে আহরণ করা পরিচালিত হয়, আপনাকে প্রভাবিত করতে পারবে না কত ঘন ঘন তারা আপনার সাইট ভিজিট বা যদি তারা আপনার সাইট ভিজিট করুন।
আইএ আপনার সাইটের কীভাবে এবং কখন ক্রল করে তা সরাসরি প্রভাবিত করার একমাত্র উপায় হ'ল তাদের সংরক্ষণাগার- পরিষেবা পরিষেবাটি ব্যবহার করা। এই পরিষেবাটি আপনাকে কাস্টম ক্রলগুলি নির্দিষ্ট করতে দেয়। ফলস্বরূপ তথ্যগুলি (শেষ পর্যন্ত) আইএর ওয়েব সংগ্রহের সাথে সংযুক্ত করা হবে। এটি অবশ্য একটি প্রদত্ত সাবস্ক্রিপশন পরিষেবা।