গুগলবট আমার সার্ভারটিকে শক্তভাবে আঘাত করছে - এবং যদিও আমি ওয়েবমাস্টার সরঞ্জামগুলিতে ক্রলরেট সেট করেছি তবে এটি এখনও আমার সার্ভারে বোঝা বাড়িয়ে রাখে এবং বাকি সাধারণ ওয়েব ট্র্যাফিকের জন্য অ্যাপাচিকে ধীর করে দেয়।
কোনও ইউজার এজেন্ট স্ট্রিংয়ের উপর ভিত্তি করে ইউএফডাব্লু ব্যবহার করে প্রতি সেকেন্ড / মিনিটে সীমাবদ্ধ / হার-সীমা সংযোগগুলি কী সম্ভব?
যদি না হয় তবে আমি গুগলবটের আইপি ব্যাপ্তিগুলির জন্য এটি কীভাবে করব?
উত্তর:
আপনি সরাসরি ইউএফডাব্লু দিয়ে এটি করতে পারবেন না, তবে আপনাকে সঠিক আইপটবেবল বিধিগুলি যুক্ত করতে হবে /etc/ufw/before.rules।
আমি আপনাকে iptables শেখার পরামর্শ দিই। একটি হিসাবে (অনুকূলিত নয়) প্রারম্ভিক পয়েন্ট এর মত কিছু
-A ufw-before-input -p tcp --syn -dport 80 -m recent --name LIMIT_BOTS --update --seconds 60 --hitcount 4 --rcheck -j DROP
-A ufw-before-input -p tcp -dport 80 -m string --algo bm --string "NotWantedUserAgent" -m recent --name LIMIT_BOTS --set ACCEPT
কাজ করতে পারে, যেখানে আপনার অবশ্যই NotWantedUserAgentসঠিকটি দিয়ে প্রতিস্থাপন করা দরকার । এই নিয়মগুলিতে একটি নির্দিষ্ট বট থেকে প্রতি মিনিটে নতুন সংযোগের সংখ্যা সীমাবদ্ধ করা উচিত - আমি সেগুলি পরীক্ষা করে নিই এবং জানি না যে তারা কোনও নির্দিষ্ট বট থেকে সত্যিই কাজের চাপ হ্রাস করে কিনা।