প্রশ্ন ট্যাগ «web-crawlers»

আমি কোনও সাইটকে নতুন ডোমেনে স্থানান্তরিত করেছি। সাইটটি নিজেই বেশ সোজা (এটি জ্যাকিল ব্যবহার করে) এবং ডিস্কাস থ্রেডের স্থানান্তর ব্যতীত সবকিছু ঠিকঠাক হয়ে গেছে। আমি আংশিক সাফল্য পেয়েছি - কিছু থ্রেড সফলভাবে স্থানান্তরিত হয়েছে, তবে সমস্ত নয়। আমি ডোমেন মাইগ্রেশন উইজার্ড (যা কয়েকটি ধরা পড়েছিল), ইউআরএল ম্যাপার (যা কিছু ধরা …

9 web-crawlers 

আমি Ask.comআমার সাইটম্যাপটি পিন করতে অনুসন্ধান ইঞ্জিনগুলির মধ্যে একটি হিসাবে ব্যবহার করছি। আমি যখন আজ আমার সাইটম্যাপকে আমার সাইটম্যাপটিকে পুনরায় সূচিকাগুলি করতে গিয়েছিলাম, ওয়েবসাইটটি ( http://submitted.ask.com/ping ) বলে যে এটি আর নেই? আমি একটি ডিএনএস সন্ধান করেছি submissions.ask.comএবং দেখে মনে হচ্ছে Ask.comসাবডোমেনটি সরিয়ে ফেলেছে, তবে তাদের ওয়েবসাইট ক্রলারের FAQ এখনও …

9 search-engines  sitemap  web-crawlers  ping 

আমার কাছে একটি সাইট রয়েছে যা নিয়ামক কারণে, সূচকযুক্ত বা স্বয়ংক্রিয়ভাবে অনুসন্ধান করা যায় না। এর অর্থ হ'ল আমাদের সমস্ত রোবটকে দূরে রাখতে হবে এবং সাইটটি স্পিডিংয়ের হাত থেকে আটকাতে হবে। স্পষ্টতই আমাদের কাছে একটি রোবটস.টি.এস.টি. ফাইল আছে যা শুরু থেকেই সমস্ত কিছু অস্বীকার করে। তবে, রোবটসটিটিএসটি ফাইলটি পর্যবেক্ষণ করা …

9 apache  web-crawlers  user-agent