প্রশ্ন ট্যাগ «internet-archive»

কোনও সাইটে ইন্টারনেট সংরক্ষণাগার সংরক্ষণাগারটি নিয়ন্ত্রণ করার কোনও ব্যবস্থা আছে কি? আমি যুক্ত করতে পারি এমন সমস্ত পৃষ্ঠা বাতিল করতে জানি : User-agent: ia_archiver Disallow: / আমি কি বটকে বলতে পারি যে আমি চাই যে তারা আমার সাইটটি মাসে একবার, বা বছরে একবার ক্রল করবে? আমার কাছে একটি সাইট / …

13 cache  internet-archive 

আমার একটি ওয়েবসাইট রয়েছে যা আমি বেশিরভাগই অনুসন্ধান ইঞ্জিনগুলির দ্বারা সূচীকরণ করতে চাই না, তবে আমি সংরক্ষণাগার.org এ অনন্তকাল ধরে সংরক্ষণ করতে চাই না want সুতরাং আমার robots.txtসাথে এটি শুরু: User-agent: * Disallow: / আজ, আর্কাইভ.অর্গ অনুযায়ী robots.txtতাদের বটগুলিকে অনুমতি দেওয়ার জন্য আমাকে নিম্নলিখিতগুলিতে যুক্ত করতে হবে : User-agent: ia_archiver …

10 web-crawlers  robots.txt  internet-archive