কোন সাইটগুলিতে কোনও বट्स আসলে মূল্যবান?

Question

অনেকগুলি বট লিখেছেন এবং বিশাল পরিমাণে এলোমেলো বটগুলি দেখে যা একটি সাইট ক্রল করার জন্য ঘটেছে, আমি ওয়েবমাস্টার হিসাবে ভাবছি, কোন সাইটগুলি বটগুলি আসলে কী মূল্য দেবে?

আমার প্রথম চিন্তাটি হ'ল যে সাইটগুলিতে বটগুলি অনুমতি দেওয়া সম্ভব সম্ভাব্যভাবে এতে আসল ট্র্যাফিক আনতে পারে। কোনও সাইটগুলিতে সত্যিকারের ট্র্যাফিক প্রেরণ করা হয় না বলে জানা যায় এমন বটগুলিকে অনুমতি দেওয়ার কোনও কারণ আছে এবং কীভাবে আপনি এই "ভাল" বটগুলি চিহ্নিত করবেন?

Comments

+1: ভাল প্রশ্ন; তবে আপনার প্রশ্নের উত্তর দেওয়া শক্ত কারণ অনেকগুলি বট রয়েছে।

— জিস্টোলোইন

@ জিসটোলোয়েন: হ্যাঁ, আমি জানি এটি একটি কঠিন প্রশ্ন; প্রকৃতপক্ষে, আমি জিজ্ঞাসা করার কারণটি হ'ল কারণ যে অ-মেজর সার্চ ইঞ্জিন সম্পর্কে আমি জানি এটি বিলিয়ন পৃষ্ঠাগুলি সূচিবদ্ধ করেছে যে তারা কীভাবে ওয়েবে প্রচুর পরিমাণে অ্যাক্সেস করতে অক্ষম ছিল সে সম্পর্কে অভিযোগ করছিল কারণ সাইটগুলি অ-প্রধান অনুসন্ধান ইঞ্জিনগুলিকে অবরুদ্ধ করার চেষ্টা করেছিল।

— ভুল

সম্পর্কিত: en.wikipedia.org/wiki/Spider_trap

— গরুর হাঁসের

@ ব্লাউন্ডস সময় দেওয়ার জন্য ধন্যবাদ। আমি যদি প্রশ্নটি বিশ্লেষণ করতে সক্ষম হয়েছি তবে আমি নিজেই এটি সম্পাদনা করতাম :)

— অসন্তুষ্ট গোট

@ ডিসগ্রান্টলড গোট: সমস্যা নেই, সম্পাদনাগুলির জন্য ধন্যবাদ!

— 13:50 এ

Answer 1

সাধারণ বটের ক্ষেত্রের মধ্যে, এটি সমস্ত কি আপনি প্রশংসা করেন তার উপর নির্ভর করে এবং কেবল আপনি এটি সিদ্ধান্ত নিতে পারেন। অবশ্যই গুগল, বিং / এমএসএন / ইয়াহু!, বাইদু এবং ইয়ানডেক্স রয়েছে। এগুলি হ'ল প্রধান অনুসন্ধান ইঞ্জিন। এছাড়াও বিভিন্ন এসইও এবং ব্যাকলিংক সাইট রয়েছে। সঠিক বা ভুল, আমি বেশ কয়েকটি বড় ব্যক্তির আমার সাইটে অ্যাক্সেসের অনুমতি দিই তবে সাধারণত তারা অকেজো সাইট। আমি সংরক্ষণাগার.অর্গটি কেবলমাত্র রোবটস.টেক্সটেই নয়, ডোমেনের নাম এবং আইপি ঠিকানা দ্বারা অবরুদ্ধ করেছি। এটি কারণ যে তারা বড় সময়গুলিতে রোবটগুলি উপেক্ষা করে! এটি এমন একটি বিষয় যা আপনার জন্য অনুভূতি অর্জন করা প্রয়োজন। এজেন্ট নাম দ্বারা বোকা বোকা না। প্রায়শই তারা খারাপ লোকদের দ্বারা নকল হয়। আজকাল, আমি বৈদু বলে দাবি করা উত্স থেকে হাজার হাজার পৃষ্ঠা অনুরোধ পাচ্ছি, কিন্তু তা নয়। ডোমেইন নাম এবং আইপি অ্যাড্রেস ব্লকগুলি দ্বারা এই মাকড়সাগুলি জানুন এবং সেই স্তরে তাদের মোকাবেলা করতে শিখুন। ভাল লোকেরা রোবটস টেক্সট মেনে চলে।

তবে আপনাকে অবশ্যই সতর্ক করতে হবে, এখানে প্রচুর পরিমাণে স্টিলথ বটস, দুর্বৃত্ত বটস, স্ক্র্যাপারস এবং আরও রয়েছে যে আপনি আপনার লগ বিশ্লেষণ ঘন ঘন অনুসন্ধান করতে এবং ব্লক করতে চাইবেন। এই 5uck5! তবে এটা করতে হবে। আজকাল তাদের কাছ থেকে এরা সবচেয়ে বড় হুমকি হ'ল আপনার সাইটের নিম্ন মানের লিঙ্ক। আমার আপডেট হওয়া এন্টি-বট সুরক্ষা কোডটি আমি এই বছর কার্যকর করেছি automatically 77০০ নিম্ন মানের লিঙ্কগুলি স্বয়ংক্রিয়ভাবে বাদ পড়েছে। অবশ্যই, আমার কোডটির এখনও কাজ দরকার তবে আপনি পয়েন্টটি পান। খারাপ বটগুলি এখনও সাইটের সম্ভাব্যতা চুরি করে।

এটির হ্যাং পাওয়ার আগে আপনি খুব বেশি দিন নন।

Answer 2

যখন সার্চ ইঞ্জিন প্রায় কোনও ট্র্যাফিক প্রেরণ করছিল না তখন আমার সার্ভারকে হ্রাস করতে আমার সাথে বৈডু বট সমস্যা ছিল। এই বটগুলি রোবট.টিএসটি ফাইলকে সম্মান করে না তাই বাইদু বটগুলি ব্লক করতে কেবল আপনার htccess ফাইলে নিম্নলিখিতটি আটকে দিন।

# User-agent: Baiduspider
# Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
# Baiduspider+(+http://www.baidu.com/search/spider.htm)

# IP range
# 180.76

RewriteCond %{REMOTE_ADDR} ^180\.76\. [OR]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* - [F,L]

আমার কাছে বিং / মাইক্রোসফ্ট মাকড়সা খুব দ্রুত ক্রল করতে সমস্যা হয়েছে, বৈদুর বিপরীতে তারা রোবট.এসটিএসটি ফাইলকে সম্মান করে না;

User-agent: bingbot
Crawl-delay: 1

User-agent: msnbot
Crawl-delay: 1