ডুয়াল কোর এবং 4 জিবি রামের সাথে উইন্ডোজ এক্সপিতে সাইগউইনের সাথে স্ক্রিপ্ট চলমান
cat url_list.txt | xargs -P50 wget -i
আমি মাধ্যমে টানাজাল করার চেষ্টা করছি 4GB এর URL টি ডাউনলোড (প্রায় 43 মিলিয়ন)
প্রায় প্রথম ঘন্টা ঠিকঠাক কাজ করে, তারপরে ব্যাশ শেল এবং ডাউনলোডগুলি ইউআরএল তালিকার মাধ্যমে এটির মাত্র 2% সত্ত্বেও বন্ধ হয়ে যায়।
ভুল হতে পারে কোন ধারণা?
এটি কেন এক ঘন্টা পরে থামছে ডিবাগ করার সর্বোত্তম উপায়?
উত্তর:
এটি সম্ভাব্য উইজেটের কিছু ফাইল ডাউনলোড করতে সময় নিচ্ছে। স্তব্ধ হয়ে যাওয়ার সময়কালে স্মৃতিতে কোনও উইজেট / এক্সার্গস প্রক্রিয়া রয়েছে কি? যদি তাই হয়, আপনি xargs -P50 পতাকাটি বরাদ্দ করার সাথে সাথে এটি কি 50 টি সম্পূর্ণ প্রক্রিয়া রয়েছে, বা এটি কোনওভাবে এই সংখ্যাটির উপরে লম্বা হয়েছে বা এই সংখ্যার চেয়ে কম এবং নতুন কোনও উদাহরণ সঠিকভাবে তৈরি হচ্ছে না? যদিও এটি সাইগউইনের অধীনে পরিচালিত হচ্ছে, উইন্ডোতে প্রক্রিয়া তালিকাটি নিজেই দেখুন, কারণ প্রতিটি উইজেট ডাউনলোডের ক্ষেত্রে টাস্ক ম্যানেজারে একটি উদাহরণ চালু করা উচিত।
আমি ধরে নিই ইউআরএলগুলি বিভিন্ন সাইটের জন্য। সেক্ষেত্রে আপনি এমন সাইটগুলিতে আঘাত করতে পারেন যা প্রতিক্রিয়া করতে ধীর এবং আপনার উইজেটগুলির একটি ঝুলিয়ে রাখবে। যেহেতু আপনার 50 টি চলমান, তাই কিছু না হওয়ার আগে আপনাকে সেই 50 টি সাইটের মধ্যে আঘাত করতে হবে।
এটি কেস কিনা তা দেখার জন্য একটি ঝুলন্ত উইজেটকে মেরে ফেলার চেষ্টা করুন এবং দেখুন যে সেটির পরে যদি তা অনস্ক্রিত হয়।
ইউআরএলগুলিকে এড়িয়ে যাওয়ার জন্য আপনি উইজেটকে একটি সময়সীমা দিতে পারেন:
wget -T 60