দুর্ব্যবহারকারী রোবটগুলি মোকাবেলা করার কৌশলগুলি


9

আমার কাছে একটি সাইট রয়েছে যা নিয়ামক কারণে, সূচকযুক্ত বা স্বয়ংক্রিয়ভাবে অনুসন্ধান করা যায় না। এর অর্থ হ'ল আমাদের সমস্ত রোবটকে দূরে রাখতে হবে এবং সাইটটি স্পিডিংয়ের হাত থেকে আটকাতে হবে।

স্পষ্টতই আমাদের কাছে একটি রোবটস.টি.এস.টি. ফাইল আছে যা শুরু থেকেই সমস্ত কিছু অস্বীকার করে। তবে, রোবটসটিটিএসটি ফাইলটি পর্যবেক্ষণ করা কেবলমাত্র ভাল আচরণ করা রোবটগুলিই। সম্প্রতি আমাদের সাথে কম আচরণ করা রোবট নিয়ে কিছু সমস্যা হয়েছে। আমি কয়েকজন ব্যবহারকারী-এজেন্টকে নিষিদ্ধ করার জন্য অ্যাপাচি কনফিগার করেছি তবে এটি কাছাকাছি পাওয়া খুব সহজ।

সুতরাং, প্রশ্নটি হল, রোবটের মতো আচরণ সনাক্ত করতে এবং প্রতিক্রিয়া জানাতে আপাচি কনফিগার করার কোনও উপায় আছে (সম্ভবত কোনও মডিউল ইনস্টল করে?)? অন্য কোন ধারণা?

এই মুহুর্তে আমি যা করতে পারি তা লগগুলির ম্যানুয়াল পরিদর্শনের উপর ভিত্তি করে আইপি ঠিকানাগুলি নিষিদ্ধ করা এবং এটি কেবল একটি কার্যকর টেকসই কৌশল নয়।


আপনি যদি অ্যাপাচি মডিউলগুলি সম্পর্কে জিজ্ঞাসা করছেন (মোড_ ডেভাসিভ পরীক্ষা করে দেখুন) এবং আপনার সমাধানটি কিছু কাস্টম লগ পার্সিং এবং আইপিটবেল বিধিগুলির সাথে জড়িত হতে পারে তবে নির্দিষ্ট বট আচরণগুলি অবরুদ্ধ করার বিষয়ে আপনার যদি প্রশ্ন থাকে তবে এই বিষয়টি সার্ভারফল্ট ডট কমের পক্ষে আরও ভাল প্রার্থী হতে পারে ।
ড্যান্লেফ্রি

উত্তর:


7

আপনি কোনও লুকানো পৃষ্ঠায় লিঙ্ক করতে পারেন যা দেখার পরে, বটের ইউজারেজেন্ট এবং আইপি ঠিকানাটি ক্যাপচার করে এবং তারপরে একটি বা উভয়কে একটি .htaccess ফাইলে সংযুক্ত করে দেয় যা এগুলি স্থায়ীভাবে অবরুদ্ধ করে। এটি স্বয়ংক্রিয় হয় তাই এটি বজায় রাখার জন্য আপনাকে কিছু করতে হবে না।


এটি একটি খুব আকর্ষণীয় ধারণা, যদিও তারা যদি খুব সাধারণ ব্যবহারকারী-এজেন্ট ব্যবহার করে তবে আপনি কোনও ব্যবহারকারী-এজেন্টকে স্বয়ংক্রিয়ভাবে লক আউট করতে চাইবেন না।
ক্রিস

আমি তখন আইপি ঠিকানার সাথে লেগে থাকতাম। এছাড়াও যদি আপনি আমি ঠিকানাগুলি ব্যবহার করেন এবং আইপিগুলির একটি ব্লক থেকে কোনও প্যাটার্ন দেখতে পান তবে আপনি স্বতন্ত্র আইপিগুলির দীর্ঘ তালিকা বজায় রাখার পরিবর্তে সহজেই তাদের সকলকে একটি সাধারণ নিয়ম দিয়ে ব্লক করতে পারেন।
জন কনডে

3
আপনার সাইটটি ক্রলিংয়ে খারাপ বটগুলি ক্রমাগতভাবে থামানো থেকে আপনি বর্ণিত পদ্ধতিটি ব্যবহার করতে পারেন। তবে 1) বাইপাস করা সম্ভব (খারাপ বটস - এবং তাদের মাস্টারগুলি - কীভাবে হনিপটগুলি সনাক্ত করতে পারে এবং সেগুলি কীভাবে এড়ানো যায় তা শিখতে পারে); এবং 2) এই পদ্ধতিটি এমন মানবিক ব্যবহারকারীদের বৈধতা অবরুদ্ধ করতে পারে যেগুলি আইপিগুলি পুনরায় বরাদ্দ করা হয়েছে যা ব্লটলিস্ট করা হয়েছে যা ভুল আচরণের সাথে সম্পর্কিত বলে অন্তর্ভুক্ত রয়েছে। আপনার যদি নিজের সাইটটিকে সূচিযুক্ত বা স্বয়ংক্রিয়ভাবে সিচ না করার আইনী বা নিয়ামক বাধ্যবাধকতা থাকে তবে আপনাকে অবশ্যই যথাযথ প্রমাণীকরণ ব্যবহার করতে হবে এবং কেবলমাত্র অনুমোদিত ব্যবহারকারীদের অ্যাক্সেস দিতে হবে। অন্য সব কিছুই নিরাপদ নয়।
ফ্রি র‌্যাডিকাল

চমৎকার ধারণা. তবে, আমি যদি এটি প্রয়োগ করি তবে আমি বাজি ধরে রাখি যে আমি ঘটনাক্রমে নিজেই হানিপোটকে আঘাত করতে থাকি এবং নিজের সাইট থেকে অবরুদ্ধ থাকি।
JW01

@ JW01 এড়াতে আপনাকে যা করতে হবে তা হ'ল যে পৃষ্ঠাটি তা পরিচালনা করে না। যেহেতু এটিতে কোনও বিষয়বস্তু নেই যা করা সহজ।
জন কনডে

2

আপনি অন্যদের জন্য খারাপ আইপি সনাক্তকরণে কাজ করাতে পিগিব্যাক করতে পারেন অ্যাপাচি মডিউল যা প্রকল্প হানিপটের আইপি ব্ল্যাকলিস্টের সাথে ইন্টারফেস করে । আপনি যদি এটি বড় আকারে করছেন তবে হানিপোট চালানোর প্রস্তাব দেওয়া সম্ভবত ভদ্র হবে।


আমি যখন আমার সাইটে প্রকল্প হনিপোটের আইপি ব্ল্যাকলিস্ট যুক্ত করেছিলাম তখন আমি অবাক হয়ে গিয়েছিলাম। বছর ব্যাথা এত সহজেই বাজেদের ব্লক করে শেষ হয়েছিল। আমি মনে করি আপনি এটির সাথে অনুসন্ধান ইঞ্জিনের বটগুলিও সনাক্ত করতে পারেন। সুতরাং, এর জন্য আরও 1
JW01

তবে বিষয়টির ক্রুশটি হ'ল: আপনার যদি সর্বজনীন পৃষ্ঠাগুলি থাকে তবে সেগুলি সূচীকরণের আশা করুন। সুতরাং, এক ধরণের প্রমাণীকরণের প্রয়োজন। মাইকেল হ্যাম্পটনের উত্তর দেখুন
JW01

2

গিসল হ্যানিমায়ার যেভাবে একটি মন্তব্যে উল্লেখ করেছেন , এটি করার সর্বোত্তম উপায় হ'ল সমস্ত ব্যবহারকারীর লগইন প্রয়োজন এবং লগ ইন না করে এমন কাউকেই সীমাবদ্ধ সামগ্রী সরবরাহ করবেন না।

যদি আপনার কোনও কারণে লগইনগুলির প্রয়োজন না হয় তবে এখনও আপনি কয়েকটি ফ্যালব্যাক ব্যবহার করতে পারেন (অস্বীকৃতি: এগুলি উভয়ই হয় আংশিক বা সম্পূর্ণ আমার দোষ):

  1. OWASP ModSecurity কোর রুল সেট এমনকি যখন বট একটি ব্রাউজার হিসাবে নিজেকে লুকিয়ে রাখলেও পদক্ষেপ গ্রহণ করেছে (যেমন ঢং করছেনা তার user-agent স্ট্রিং), অটোমেশন সনাক্ত করার জন্য ডিজাইন করা নিয়ম একটি সংখ্যা উপস্থিত রয়েছে। আপনি যদি আপনার সার্ভারের সম্পূর্ণ নিয়ন্ত্রণে থাকেন যেমন ভিপিএস, ডেডিকেটেড সার্ভার বা তার চেয়ে বড় কিছু, তবে আপনি মোডসিকিউরিটির সাহায্যে এই নিয়মগুলি ব্যবহার করতে পারেন ।

    এই নিয়ম সেটে অন্যান্য বিভিন্ন বিধিও রয়েছে যা বিভিন্ন প্রকারের অনুচিত কার্যকলাপ বন্ধ করে দেয়; যদি আপনি এটি না তাকান, আপনি অবশ্যই করা উচিত।

  2. আপনি যদি নিজের সার্ভারের সম্পূর্ণ নিয়ন্ত্রণে না থাকেন (যেমন আপনি শেয়ার্ড ওয়েব হোস্টিংয়ে রয়েছেন) এবং আপনার হোস্ট আপনাকে নিজের মোডসিকিউরিটি বিধিগুলি ব্যবহার করতে দেয় না তবে আপনি অ্যাপ্লিকেশন পর্যায়ে কিছু চেষ্টা করতে পারেন, যেমন আমার নিজের খারাপ আচরণ । ব্লগ স্প্যাম এবং কন্টেন্ট স্ক্র্যাপারগুলির সাথে লড়াই করার জন্য আমি এই প্রকল্পটি 2005 সালে শুরু করেছি যারা আপনাকে উদ্বেগ করে। এটি যে কোনও পিএইচপি-ভিত্তিক ওয়েব সাইটে যুক্ত করা যেতে পারে।

    আমার এও লক্ষ্য করা উচিত যে খারাপ আচরণের অনেকগুলি বিধি মোডসিকিউরিটি কোর রুল সেটে অন্তর্ভুক্ত করা হয়েছে, সুতরাং যতক্ষণ আপনি এই বিধিগুলি সক্ষম করেছেন ততক্ষণ উভয়টি চালানো বরং অপ্রয়োজনীয় হবে। এই বিধিগুলি খারাপ আচরণ থেকে উদ্ভূত হিসাবে কোর রুল সেটে বর্ণিত।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.