আমার হোস্টিং অ্যাকাউন্টের মধ্যে আমার কয়েকটি ওয়েবসাইটে আমার বট সমস্যা বাড়ছে। বোটগুলি আমার সম্পূর্ণ হোস্টিং অ্যাকাউন্টের জন্য 98% এর বেশি আমার সিপিইউ সংস্থান এবং আমার ব্যান্ডউইথের 99% ব্যবহার করে। এই বটগুলি আমার সাইটের জন্য প্রতি ঘন্টা 1 গিগাবাইটের বেশি ট্র্যাফিক জেনারেট করে । এই সাইটগুলিতে সকলের জন্য বাস্তব মানুষের ট্রাফিক হয় 100 কম মেগাবাইট / মাস ।
এই বটগুলি ব্লক করতে আমি উভয়ই রোবট.টিএসটিএসটি এবং .htaccess ফাইল নিয়ে বিস্তৃত গবেষণা করেছি তবে সমস্ত পদ্ধতি ব্যর্থ হয়েছে।
স্ক্রিপ্ট ডিরেক্টরিতে অ্যাক্সেস ব্লক করার জন্য আমি রোবটসটিটিএসটি ফাইলগুলিতে কোডও রেখেছি, তবে এই বটগুলি (গুগল, এমএস বিং, এবং ইয়াহু) বিধিগুলি উপেক্ষা করে এবং যাইহোক স্ক্রিপ্টগুলি চালায়।
আমি গুগল, এমএস বিং এবং ইয়াহু বটগুলি সম্পূর্ণরূপে ব্লক করতে চাই না, তবে আমি সেখানে ক্রল রেট সীমাবদ্ধ করতে চাই। এছাড়াও, robots.txt ফাইলটিতে ক্রল-বিলম্বের বিবৃতি যুক্ত করা বটগুলি ধীর করে না। সমস্ত বর্তমান সাইটের জন্য আমার বর্তমান রোবটসটিটিএসটি এবং .htacces কোডটি নীচে বর্ণিত।
ক্রল হারকে পরম সর্বনিম্নে কমিয়ে আনার জন্য আমি মাইক্রোসফ্ট এবং গুগল ওয়েবমাস্টার উভয় সরঞ্জামই সেটআপ করেছি, তবে তারা এখনও 10 টি হিট / সেকেন্ডের হারে এই সাইটগুলিকে হিট করছে।
তদ্ব্যতীত, আমি যখনই কোনও ফাইল আপলোড করি যা ত্রুটির কারণ হয়ে থাকে তখন পুরো ভিপিএস ওয়েবসভারটি কয়েক সেকেন্ডের মধ্যেই নীচে নেমে যায় যে এই বটগুলি দ্বারা আঘাত হানার কারণে আমি সাইটটি অ্যাক্সেসও করতে পারি না।
আমার ওয়েবসাইটে ট্র্যাফিকের অন-স্লট বন্ধ করতে আমি কী করতে পারি?
আমি আমার ওয়েব হোস্টিং সংস্থাকে (সাইট 5.com) বিগত মাসগুলিতে এই সমস্যাটি সম্পর্কে অনেকবার জিজ্ঞাসা করার চেষ্টা করেছি এবং তারা এই সমস্যায় আমাকে সহায়তা করতে পারে না।
আমার সত্যিকারের যা দরকার তা হ'ল আরএসএস 2 এইচটিএমএলপিপি স্ক্রিপ্ট চালানো থেকে বটগুলি প্রতিরোধ করা। আমি উভয় সেশন এবং কুকিজ চেষ্টা করেছিলাম এবং উভয়ই ব্যর্থ হয়েছিল।
robots.txt এর
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow:
User-agent: Adsbot-Google
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: bingbot
Disallow:
User-agent: Slurp
Disallow:
User-Agent: Yahoo! Slurp
Disallow:
# Directories
User-agent: *
Disallow: /
Disallow: /cgi-bin/
Disallow: /ads/
Disallow: /assets/
Disallow: /cgi-bin/
Disallow: /phone/
Disallow: /scripts/
# Files
Disallow: /ads/random_ads.php
Disallow: /scripts/rss2html.php
Disallow: /scripts/search_terms.php
Disallow: /scripts/template.html
Disallow: /scripts/template_mobile.html
.htaccess
ErrorDocument 400 http://english-1329329990.spampoison.com
ErrorDocument 401 http://english-1329329990.spampoison.com
ErrorDocument 403 http://english-1329329990.spampoison.com
ErrorDocument 404 /index.php
SetEnvIfNoCase User-Agent "^Yandex*" bad_bot
SetEnvIfNoCase User-Agent "^baidu*" bad_bot
Order Deny,Allow
Deny from env=bad_bot
RewriteEngine on
RewriteCond %{HTTP_user_agent} bot\* [OR]
RewriteCond %{HTTP_user_agent} \*bot
RewriteRule ^.*$ http://english-1329329990.spampoison.com [R,L]
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ [NC]
RewriteRule (.*) index.php
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]
# Don't show directory listings for directories that do not contain an index file (index.php, default.asp etc.)
Options -Indexes
<Files http://english-1329329990.spampoison.com>
order allow,deny
allow from all
</Files>
deny from 108.
deny from 123.
deny from 180.
deny from 100.43.83.132
সংযুক্ত ব্যবহারকারী এজেন্ট বট চেক কোড দেখানোর জন্য আপডেট করুন
<?php
function botcheck(){
$spiders = array(
array('AdsBot-Google','google.com'),
array('Googlebot','google.com'),
array('Googlebot-Image','google.com'),
array('Googlebot-Mobile','google.com'),
array('Mediapartners','google.com'),
array('Mediapartners-Google','google.com'),
array('msnbot','search.msn.com'),
array('bingbot','bing.com'),
array('Slurp','help.yahoo.com'),
array('Yahoo! Slurp','help.yahoo.com')
);
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
foreach($spiders as $bot) {
if(preg_match("/$bot[0]/i",$useragent)){
$ipaddress = $_SERVER['REMOTE_ADDR'];
$hostname = gethostbyaddr($ipaddress);
$iphostname = gethostbyname($hostname);
if (preg_match("/$bot[1]/i",$hostname) && $ipaddress == $iphostname){return true;}
}
}
}
if(botcheck() == false) {
// User Login - Read Cookie values
$username = $_COOKIE['username'];
$password = $_COOKIE['password'];
$radio_1 = $_COOKIE['radio_1'];
$radio_2 = $_COOKIE['radio_2'];
if (($username == 'm3s36G6S9v' && $password == 'S4er5h8QN2') || ($radio_1 == '2' && $radio_2 == '5')) {
} else {
$selected_username = $_POST['username'];
$selected_password = $_POST['password'];
$selected_radio_1 = $_POST['group1'];
$selected_radio_2 = $_POST['group2'];
if (($selected_username == 'm3s36G6S9v' && $selected_password == 'S4er5h8QN2') || ($selected_radio_1 == '2' && $selected_radio_2 == '5')) {
setcookie("username", $selected_username, time()+3600, "/");
setcookie("password", $selected_password, time()+3600, "/");
setcookie("radio_1", $selected_radio_1, time()+3600, "/");
setcookie("radio_2", $selected_radio_2, time()+3600, "/");
} else {
header("Location: login.html");
}
}
}
?>
আমি আরএসএস 2 এইচটিএমএলপিপি স্ক্রিপ্টের শীর্ষেও নীচে যুক্ত করেছি
// Checks to see if this script was called by the main site pages, (i.e. index.php or mobile.php) and if not, then sends to main page
session_start();
if(isset($_SESSION['views'])){$_SESSION['views'] = $_SESSION['views']+ 1;} else {$_SESSION['views'] = 1;}
if($_SESSION['views'] > 1) {header("Location: http://website.com/index.php");}
rss2html.phpআপনার সাইটটি কীভাবে ব্যবহার হচ্ছে? পিএইচপি এর মাধ্যমে অন্তর্ভুক্ত, পুনর্নির্দেশ, অ্যাজাক্স ....?
file_get_contents...? অদ্ভুত বলে মনে হচ্ছে। ফাইলটি অন্য সার্ভারে আছে বা কিছু?
robots.txt? রোবটগুলির আপডেট হওয়া সংস্করণটি পড়তে সময় নিতে পারে।