7
ওয়েব সাইটগুলি ক্রল করার সময় কীভাবে একজন ভাল নাগরিক হবেন?
আমি এমন কিছু কার্যকারিতা বিকাশ করতে যাচ্ছি যা বিভিন্ন পাবলিক ওয়েব সাইটগুলিকে ক্রল করবে এবং সেগুলিতে ডেটা প্রক্রিয়া করবে / একত্রিত করবে। ই-মেইল ঠিকানাগুলির সন্ধানের মতো দুষ্টু কিছুই নয় - আসলে এটি এমন কিছু যা আসলে তাদের সাইটে অতিরিক্ত ট্র্যাফিক চালাতে পারে। কিন্তু আমার দ্বিমত আছে. সম্মান দেওয়া ব্যতীত robots.txt, …