প্রশ্ন ট্যাগ «web-crawler»

আমি খুঁজে পেয়েছি যে ম্যাকাফি সাইটএডভাইজার আমার ওয়েবসাইটটিকে "সুরক্ষার সমস্যা হতে পারে" বলে রিপোর্ট করেছে । ম্যাকাফি আমার ওয়েবসাইট সম্পর্কে যা ভাবেন সে সম্পর্কে আমি সামান্যই চিন্তা করি (আমি এটিকে নিজেরাই সুরক্ষিত করতে পারি এবং যদি তা না হয়, ম্যাকাফি অবশ্যই সেই সংস্থা নয় যে আমি সাহায্যের জন্য বলছি, আপনাকে …

30 web-crawler 

অন্যান্য আইপি মাস্কারের পিছনে থাকা বটগুলি কীভাবে বড় সাইটগুলি (যেমন উইকিপিডিয়া) মোকাবেলা করে? উদাহরণস্বরূপ, আমার বিশ্ববিদ্যালয়ে, সকলেই উইকিপিডিয়া অনুসন্ধান করে এটি একটি গুরুত্বপূর্ণ বোঝা দেয়। তবে, আমি যতদূর জানি উইকিপিডিয়া কেবল বিশ্ববিদ্যালয়ের রাউটারের আইপি জানতে পারে, তাই যদি আমি একটি "আনলাসড" বট স্থাপন করি (অনুরোধের মধ্যে কেবলমাত্র একটি ছোট বিলম্ব …

12 web-crawler 

আমার কোনও নির্দিষ্ট ব্যক্তির সাথে আমার সমস্যা হচ্ছে যারা আক্রমণাত্মক উপায়ে আমার সাইটটিকে স্ক্র্যাপ করে রাখে; ব্যান্ডউইথ এবং সিপিইউ সংস্থান নষ্ট। আমি ইতিমধ্যে এমন একটি সিস্টেম প্রয়োগ করেছি যা আমার ওয়েব সার্ভার অ্যাক্সেস লগগুলিকে টেইল করে, একটি নতুন ডাটাবেসে নতুন আইপি যুক্ত করে, সেই আইপি থেকে করা অনুরোধের সংখ্যার উপর …

10 ip  isp  whois  web-crawler  ip-blocking 

আমি কিছুক্ষণ আগে অ্যাপাচি ইনস্টল করেছি এবং আমার অ্যাক্সেস.লগের তাত্ক্ষণিক দৃষ্টিভঙ্গি থেকে দেখা যায় যে সমস্ত ধরণের অজানা আইপি সংযোগ করছে, বেশিরভাগ স্থিতি কোড 403, 404, 400, 408 দিয়ে। তারা কীভাবে সন্ধান করছে তা আমার কোনও ধারণা নেই I আমার আইপি, কারণ আমি এটি কেবল ব্যক্তিগত ব্যবহারের জন্যই ব্যবহার করি …

8 apache-2.2  web-crawler