বৌদু আমার সাইটে পাগলের মতো হামাগুড়ি দেয় কেন


12

আমি যখন আমার অ্যাপাচি লগটি পরীক্ষা করছি তখন আমি দেখতে পাচ্ছি যে গত 2 সপ্তাহ ধরে বৌদু প্রতিদিন 10 বার আমার ওয়েবসাইট ক্রল করছে।

এটি যে আমি এটি সম্পর্কে খুব যত্ন করি তা নয় তবে তিনি কেন এটি করছেন তা সম্পর্কে আমি সত্যিই আগ্রহী। এটি আসন্ন লিঙ্কগুলির সাথে একটি খুব ছোট একটি একক পৃষ্ঠার ওয়েবসাইট।

এর পিছনে কি কোনও কারণ আছে?

220.181.108.169 [10/Mar/2012:10:41:29 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.197 [10/Mar/2012:11:02:02 +0100] "GET / ...robots.txt +(+http://www.baidu.com/search/spider.htm)"
123.125.71.100 [10/Mar/2012:11:33:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:11:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.116 [10/Mar/2012:12:24:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [10/Mar/2012:12:25:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.111 [10/Mar/2012:13:33:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:13:34:03 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:14:12:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [10/Mar/2012:14:23:41 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:14:23:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.94 [10/Mar/2012:15:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.183 [10/Mar/2012:15:26:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.92 [10/Mar/2012:17:45:55 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.71 [10/Mar/2012:17:45:57 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.79 [10/Mar/2012:17:46:04 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.103 [10/Mar/2012:17:47:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.179 [10/Mar/2012:17:48:37 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.108 [10/Mar/2012:18:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.185 [10/Mar/2012:18:38:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.96 [10/Mar/2012:19:25:50 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:19:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.101 [10/Mar/2012:20:25:51 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:20:26:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [10/Mar/2012:21:33:38 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [10/Mar/2012:21:34:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.170 [10/Mar/2012:21:57:39 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.98 [10/Mar/2012:22:26:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [10/Mar/2012:22:26:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.104 [10/Mar/2012:23:34:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:23:34:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.110 [11/Mar/2012:00:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:00:34:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.103 [11/Mar/2012:02:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.177 [11/Mar/2012:02:37:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:03:34:30 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [11/Mar/2012:03:35:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [11/Mar/2012:04:35:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [11/Mar/2012:04:36:16 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.115 [11/Mar/2012:05:34:31 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:05:35:12 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:06:24:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.181 [11/Mar/2012:06:24:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.112 [11/Mar/2012:07:40:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:07:41:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.95 [11/Mar/2012:08:29:42 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [11/Mar/2012:08:30:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [11/Mar/2012:09:35:23 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:09:36:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.106 [11/Mar/2012:10:39:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.165 [11/Mar/2012:10:40:11 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [11/Mar/2012:11:23:57 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"

আপনি কি বাইদু ডটকম থেকে কোনও জৈব ট্র্যাফিক পান? যদি না হয় তবে মাকড়সাটি যদি এটির মতো আপনার ব্যান্ডউইথটি খায় তবেই আমি তা ব্লক করব।
আনাজিও

জৈব ট্রাফিক বলতে কী বোঝায় সে সম্পর্কে নিশ্চিত নন, তবে আপনি যদি বৌডু অনুসন্ধান ইঞ্জিন ব্যবহারকারী ব্যবহারকারীদের থেকে বোঝাতে চান তবে উত্তরটি আমি দিচ্ছি না। এটি খুব বেশি ব্যান্ডউইথ বা রিসোর্স গ্রহণ করছে না। এটা ঠিক যে আমি কৌতূহল বৌদিকে কেন এত ক্রল হচ্ছে।
যোকোলোকো

1
হ্যাঁ আমি এটাই বলতে চাইছি যদি এটি খুব বেশি ব্যান্ডউইথ গ্রহণ না করে তবে অবিরত না হলে আমি চিন্তা করব না। আপনি সর্বদা তাদের ইমেল করতে পারে। "আপনি যদি বাইদুস্পিডারের কোনও অযৌক্তিক অ্যাক্সেস পেয়ে থাকেন তবে দয়া করে আমাদের স্পাইডারহেল্প @ বিডইউ ডটকম এ জানান"
আনাজিও

1
আপনি কেবলমাত্র কোনও সার্চ ট্র্যাফিক পেতে না চাইলে কেবলমাত্র একটি সার্চ ইঞ্জিন স্পাইডারকেই আমি ব্লক করতাম, কেবল আপনি বর্তমানে কোনও গ্রহণ না করেই - বিশেষত বিবেচনা করে যে বাজারের দিক থেকে বাইদু বিশ্বের তৃতীয় বৃহত্তম সার্চ ইঞ্জিন considering ভাগ।
লজ মেজেস্টে

3
আপনার সাইটের সূচি অনুসারে পর্যাপ্ত পরিমাণ না পাওয়া পর্যন্ত বাইদু খুব আক্রমণাত্মক। বাইদু বলে দাবি করা আছে এমন স্ক্র্যাপার রয়েছে, আমি জিনিসগুলি হাতছাড়া হয়ে গেলে তাদের চিহ্নিত করতে এবং নিষিদ্ধ করার জন্য বটসভস ব্রাউজার ডট কম ব্যবহার করি । ইয়ানডেক্স একই ধরণের ট্র্যাফিক তৈরি করতে পারে।
ফায়াসকো ল্যাবগুলি

উত্তর:


7

এটি আপনার খুব বেশি চিন্তা করা উচিত বলে মনে হচ্ছে না, গুগল আমার সাইটগুলিকে একইভাবে ক্রল করে তবে এটি একটি নকল বট হতে পারে, তাই নীচের লিঙ্কগুলি দেখুন ...

বাইডু স্পাইডার অনবরত জিজ্ঞাসিত প্রশ্ন (যেমন, Chrome অনুবাদে নির্মিত) এই বলার আছে: -

৪. কেন বাইডস্পাইডার ক্রমাগত আমার সাইট ক্রল করে? সর্বশেষ তথ্য উপস্থাপন করা হয়েছে তা নিশ্চিত করার জন্য, বাইডস্পাইডার আপনার সাইটে প্রায়শই নতুন পৃষ্ঠা বা পৃষ্ঠাগুলি ক্রল করে। বাইডস্পাইডারের ক্রলিংটি যুক্তিসঙ্গত কিনা তা দেখতে দয়া করে লগটি পরীক্ষা করুন।

স্প্যামার বা অন্যান্য ঝামেলা প্রস্তুতকারকদের দ্বারা অতিরিক্ত ক্রলিং এড়ানোর জন্য যারা বাইডস্পাইডার হওয়ার ভান করে, আপনি লগটি পরীক্ষা করতে পারেন। আপনি যখন কোনও অস্বাভাবিক ক্রলিং দেখতে পান তবে দয়া করে আমাদের স্পাইডারহেল্প @ বাইডু.কম এ জানান এবং বাইদস্পাইডারের লগ সরবরাহ করুন।

বাইডু ওয়েবমাস্টার সরঞ্জামগুলির নিজস্ব সংস্করণটি সরবরাহ করে (নিজেরাই সরঞ্জামগুলিতে অ্যাক্সেস করার সময় ক্রোমের অনুবাদ ফাংশন প্রয়োজন হবে) সম্ভবত তাদের জন্য সাইন আপ করার ফলে কিছু উত্তর পাওয়া যেতে পারে। গুগল ডাব্লুএমটি ক্রল রেট পরিচালনা করার সীমাবদ্ধ ক্ষমতা সরবরাহ করে, সম্ভবত তাদের সরঞ্জামটি কিছু অনুরূপ কার্যকারিতা সরবরাহ করে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.