2
5 মিলিয়ন ওয়েব পৃষ্ঠাগুলি স্ক্র্যাপ করার সর্বাধিক দক্ষ (সময়, ব্যয়) উপায়?
আমার কাছে ওয়েব পৃষ্ঠাগুলির একটি তালিকা রয়েছে যা আমার স্ক্র্যাপ করতে, পার্স করতে এবং তারপরে ফলাফলটি ডেটাবেজে সংরক্ষণ করতে হয়। মোট প্রায় 5,000,000। আমার কাছে যাওয়ার সর্বোত্তম উপায় সম্পর্কে আমার বর্তমান অনুমানটি হ'ল ~ 100 ইসি 2 উদাহরণ স্থাপন করা, প্রতিটি উদাহরণকে 50,000 পৃষ্ঠাগুলি স্ক্র্যাপে সরবরাহ করা এবং তারপরে চালানো …