গতিশীলভাবে অতিরিক্ত এইচটিটিপি ব্যান্ডউইথ ব্যবহার অবরুদ্ধ করছেন?


24

4 জুন ওয়েব ট্র্যাফিকের জন্য আমাদের ক্যাকটি গ্রাফগুলিতে এটি দেখে আমরা কিছুটা অবাক হয়েছিলাম :

আমরা আমাদের আইআইএস লগগুলিতে লগ পার্সার চালিয়েছিলাম এবং দেখা যাচ্ছে যে এটি ইয়াহু এবং গুগল বটগুলি আমাদেরকে সূচক করে দেওয়ার একটি নিখুঁত ঝড় ছিল .. সেই 3 ঘন্টার সময়কালে আমরা 3 টি বিভিন্ন গুগল আইপি থেকে 287 কে হিট দেখেছি, এবং ইয়াহু থেকে 104k পেয়েছি। সেকি?

যদিও আমরা গুগল বা ইয়াহু ব্লক করতে চাই না, এটি আগে প্রকাশিত হয়েছে। আমরা একটি সিসকো পিক্স 515E এ অ্যাক্সেস পেয়েছি এবং আমরা এটি সামনে রাখার কথা ভাবছি যাতে আমরা আমাদের ওয়েব সার্ভারগুলিকে সরাসরি স্পর্শ না করে গতিশীলভাবে ব্যান্ডউইথ অপরাধীদের সাথে ডিল করতে পারি।

তবে এটাই কি সেরা সমাধান? আমি ভাবছি যে এমন কোনও সফ্টওয়্যার বা হার্ডওয়্যার আছে যা আমাদের আসল সময়ে আদর্শভাবে অতিরিক্ত ব্যান্ডউইথ ব্যবহার শনাক্ত করতে এবং আটকাতে সহায়তা করতে পারে ? সম্ভবত আমাদের ওয়েব সার্ভারের সামনে আমরা কিছুটা হার্ডওয়্যার বা ওপেন সোর্স সফ্টওয়্যার রাখতে পারি?

আমরা বেশিরভাগ উইন্ডোজ শপ কিন্তু আমাদের কিছু লিনাক্স দক্ষতাও রয়েছে; PIX 515E পর্যাপ্ত পরিমাণে না থাকলে আমরা হার্ডওয়্যার কেনার জন্যও উন্মুক্ত। আপনি কি সুপারিশ করতেন?

উত্তর:


23

যদি আপনার PIX ওএসের 7.2 বা তার বেশি সংস্করণ চলছে, বা এটিতে আপগ্রেড করা যায় তবে আপনি ফায়ারওয়াল স্তরে QOS নীতিমালা প্রয়োগ করতে পারেন। বিশেষত এটি আপনাকে ট্র্যাফিক গঠনের অনুমতি দেয় এবং আপনাকে বটগুলি দ্বারা ব্যবহৃত ব্যান্ডউইথকে সীমাবদ্ধ করতে দেয়। সিসকো এখানে ভাল গুডি আছে


এই উত্তরের সাথে আমার একমাত্র সমস্যাটি হ'ল পোস্টারটি গুগল বা ইয়াহুকে ব্লক করতে (বা অবনমিত করতে) চায় না বরং বরং তাদের "দুর্দান্ত ক্রল করা" চায়।
কেপিডব্লিউএনসি

1
কিউওএস ব্লক করার বিষয়ে নয়। সে কারণেই স্যাম কোগান লিখেছিলেন "আপনাকে বট দ্বারা ব্যবহৃত ব্যান্ডউইথকে সীমাবদ্ধ করার অনুমতি দেওয়া উচিত "।
পাইওটার ডব্রোগোস্ট

9

আমি ইয়াহু সম্পর্কে নিশ্চিত নই তবে আপনি গুগলের বট ইনডেক্সগুলি আপনার ফ্রিকোয়েন্সি কনফিগার করতে পারেন। গুগল ওয়েবমাস্টারগুলিতে একবার দেখুন । আমি নিশ্চিত নই যে ইয়াহু তেমন কিছু আছে কিনা। যা আপনার ট্রাফিক 50% পর্যন্ত হ্রাস করতে পারে।

বিকল্পভাবে, কিছু ওয়েব সার্ভার সংযোগ প্রতি ট্র্যাফিক সীমাবদ্ধ করতে পারে যাতে আপনি এটি চেষ্টা করতে পারেন। আমি ব্যক্তিগতভাবে হার্ডওয়্যার সমাধানগুলি থেকে দূরে থাকি কারণ এটি সম্ভবত আরও বেশি ব্যয় করে।


ইয়াহু সাইট এক্সপ্লোরার আছে।
Amok

9

ক্রলিং লোড কমাতে - এটি কেবল মাইক্রোসফ্ট এবং ইয়াহুর সাথে কাজ করে। গুগলের জন্য, আপনাকে তাদের ওয়েবমাস্টার সরঞ্জামগুলির মাধ্যমে ( http://www.google.com/webmasters/ ) ধীরে ধীরে ক্রলিং গতি নির্দিষ্ট করতে হবে ।

এটি বাস্তবায়ন করার সময় খুব সাবধানতা অবলম্বন করুন কারণ আপনি যদি ক্রলটি খুব বেশি করে ধীরে ধীরে করেন তবে রোবটগুলি আপনার সমস্ত সাইটের কাছে যেতে সক্ষম হবে না এবং আপনি সূচী থেকে পৃষ্ঠাগুলি হারাতে পারেন।

এখানে কয়েকটি উদাহরণ রয়েছে (এগুলি আপনার robots.txtফাইলে যায়):

# Yahoo's Slurp Robot - Please wait 7 seconds in between visits

User-agent: slurp
Crawl-delay: 7

# MSN Robot - Please wait 5 seconds in between visits

User-agent: msnbot
Crawl-delay: 5

সামান্য পরিমাণে অফ-টপিক, তবে আপনি কোনও সাইটম্যাপ বা সাইটম্যাপ সূচক ফাইলটিও নির্দিষ্ট করতে পারেন।

আপনি যদি আপনার সেরা ইউআরএলগুলির একটি বিস্তৃত তালিকা সহ অনুসন্ধান ইঞ্জিন সরবরাহ করতে চান তবে আপনি এক বা একাধিক সাইটম্যাপ অটোডিস্কোভারি নির্দেশিকাও সরবরাহ করতে পারেন। অনুগ্রহ করে নোট করুন যে ব্যবহারকারী-এজেন্ট এই নির্দেশিকার জন্য প্রযোজ্য নয়, তাই আপনি কিছু অনুসন্ধান সাইটের জন্য ম্যাপ নির্দিষ্ট করতে এটি ব্যবহার করতে পারবেন না তবে সমস্ত অনুসন্ধান ইঞ্জিন।

# Please read my sitemap and index everything!

Sitemap: http://yourdomain.com/sitemap.axd

4

আমরা একটি ওয়াচগার্ড ফায়ারওয়াল ব্যবহার করি (আমাদের একটি এক্স 1000 যা এখন জীবনের শেষ)। তাদের অনেকগুলি ফৌটার রয়েছে যা ব্লক করা ডোমেন বা আইপিসকে ঘিরে আবার ঘুরে বেড়ায় যারা আবার সময় এবং সময় দেখা হয় বা অবসেস পরিমাণে ব্যান্ডউইথ ব্যবহার করে।

এটির জন্য কিছু টুইট করার প্রয়োজন হবে কারণ আপনি স্ট্রোকলফ্লোতে জোন স্কিটকে অবরুদ্ধ করতে চাইবেন না :)


3

আমি মাইক্রোসফ্ট আইএসএ সার্ভার 2006 এর সুপারিশ করব Spec বিশেষত এই প্রয়োজনের জন্য, এটি ডিফল্টরূপে প্রতি আইপি প্রতি 600 HTTP রিকুয়েস্ট / মিনিটের মধ্যে সীমাবদ্ধ থাকবে এবং আপনি জোন স্কিটির জন্য একটি ব্যতিক্রম আবেদন করতে পারবেন (দুঃখিত, আমি বুঝতে পারি যে "রসিকতা" ইতিমধ্যে তৈরি হয়েছে! )।

আপনার কাছে অ্যাপ্লিকেশন-স্তরের ফিল্টারিংয়ের অতিরিক্ত সুবিধা রয়েছে, একাধিক ওয়েবসার্ভারগুলিতে লোড-ব্যালেন্সের ক্ষমতা (সেই সার্ভারগুলিতে এনএলবি পরিবর্তে), ভিপিএন সমাপ্তি ইত্যাদি রয়েছে commercial সেখানে প্রচুর বাণিজ্যিক এক্সটেনশন পাওয়া যায় এবং এমনকি আপনার নিজের আইএসপিআই ফিল্টার লিখতেও পারেন আপনি সাহসী বোধ করছেন।

এটি স্পষ্টতই ওপেন সোর্স নয় তবে এটি একটি উইন্ডোজ শপের সুবিধাগুলি এবং পণ্য হার্ডওয়্যারে চালিত।


এটি মোডিফাইগ রোবটস টেক্সট সহ সর্বাধিক নমনীয় পন্থা
জিম বি

ধন্যবাদ। আমি একমত যে ক্রলদের কিছু দিকনির্দেশ দেওয়া দরকার!
রবিন এম

2

এই ধরণের আকার তৈরির সমস্যাটি পরিচালনা করতে আমরা ফাউন্ড্রি লোড-ব্যালেন্সারগুলি (বিশেষত এসআই 850) ব্যবহার করি, এটি এসআইএন-বন্যার মতো অন্যান্য 'নাস্তি'গুলিকেও পরিচালনা করে you তবে আপনাকে বলছি কিছুটা ওভারকিল হতে পারে।


2

ব্লুয়েট (পূর্বে প্যাকটিয়ার) প্যাকেট শাপার পণ্যগুলি ট্র্যাফিকের দ্বারা পরিচালিত ট্র্যাফিকের উপর অতিরিক্ত ব্যবহার গতিশীলভাবে করতে পারে।


1

আপনি যে কোনও শালীন ক্ষমতা / মদ এর নিয়মিত সিসকো রাউটারের সাথে প্রাথমিক হার-সীমাবদ্ধতাও সম্পাদন করতে পারেন। আপনি কি সিসকো রাউটার ব্যবহার করছেন?

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.