কীভাবে উইজেট দ্রুত বা মাল্টিথ্রেডিং করবেন?

Question

আমি সবেমাত্র আমার কম্পিউটারের হার্ডওয়্যার (সিপিইউ + মাদারবোর্ড + গ্রাফিক কার্ড + মেমরি + হার্ড ডিস্ক) আপগ্রেড করেছি, যাতে একটি নতুন ওএস ইনস্টল করা প্রয়োজন। আমি কমান্ড debian-6.0.6-amd64-netinst.isoদিয়ে ডাউনলোড করার চেষ্টা করেছি wgetকিন্তু গতিটি এত ধীর যে আমি সহ্য করতে পারিনি। 4Kb/s ~ 17 Kb/s, চলমান কচ্ছপের মতো ধীর গতিতে বা আমি যদি Chrome ব্যবহার করি তবে আরও ধীর।

আমি উইজেটের সহায়তা তথ্যটি পড়েছি , দেখে মনে হচ্ছে কোনও বিকল্প নেই যা এটি আরও দ্রুত তৈরি করতে পারে।

উইজেট দ্রুত তৈরি করার মতো উপায় আছে কি ? অথবা এটি মাল্টি-থ্রেডিং ডাউনলোড করা সম্ভব?

PS: আমার ব্যান্ডউইথ 4M আমি এই আদেশটি ব্যবহার করি:

wget -c url  http://hammurabi.acc.umu.se/debian-cd/6.0.6/amd64/iso-cd/debian-6.0.6-amd64-netinst.iso

Comments

উইজেট স্রেফ আপনার সংযোগটি ব্যবহার করে। সুতরাং যদি এটি ধীর হয়, সার্ভারের সাথে আপনার সংযোগটি স্থির করে। হতে পারে আপনি ধীর, সম্ভবত সার্ভারটি। বিটিডব্লিউ 4 এমবিট = 0.5 এমবি / এস, ক্ষয় ইত্যাদির কথা উল্লেখ না করা

— ডা_বুনসেন

@Dr_Bunsenআপনার পরামর্শের জন্য আপনাকে ধন্যবাদ, আমি @Gufranপ্রস্তাবিত আদেশটি চেষ্টা করেছি axel:, প্রস্থের তুলনায় wget, axelআগের চেয়ে দ্রুত is আমি মনে করি বেশিরভাগ পরিস্থিতিতে আমার ডাউনলোডের গতির বাধা 1 । কিছু ব্যান্ডউইদথ দখল করেছে (যেমন আপনি বলেছেন: আমি ধীর )। ঘ । একক-থ্রেডিং। ঘ । সার্ভারটি ধীর। তবে 1 এবং 3 পয়েন্টের সাথে আমার কিছু করার নেই ।

— তিফি

@ তিফাই ওয়ান সম্ভাবনা যদি axelএকই দূরবর্তী সার্ভারটি ব্যবহার করার সময় মাল্টি-থ্রেড উইজেটের চেয়ে ভাল পারফর্ম করে তবে আপনার বক্স এবং রিমোট সার্ভারের মধ্যে বিলম্ব খুব বেশি। রিমোট সার্ভারে আপনার পিং পরীক্ষা করুন।

— জন সিউ

আপনি কি এইচটি ট্র্যাক চেষ্টা করেছেন? httrack.com/page/1/en/index.html

— অ্যামন্তেথি

Answer 1

কেন চেষ্টা axelকরবেন না ? এটি সম্পূর্ণরূপে কমান্ড লাইন ভিত্তিক ডাউনলোডার।

দ্বারা ইনস্টল axelএবং স্প্যান ডাউনলোড করুন

axel -a -n [Num_of_Thread] link1 link2 link3 ...

'[Num_of_Thread]'আপনি ডাউনলোড করতে চাইছেন এমন প্রতিটি লিঙ্কের জন্য সমান্তরাল সংযোগের সংখ্যা কোথায় where

-a শুধু একটি উন্নত অগ্রগতি বার প্রদর্শন করুন।

অন্যান্য অনেক ডাউনলোড ম্যানেজারের বিপরীতে, অক্ষর একটি একক থ্রেড ব্যবহার করে সরাসরি গন্তব্য ফাইলে সমস্ত ডেটা ডাউনলোড করে। এটি শেষে কিছুটা সময় সাশ্রয় করে কারণ প্রোগ্রামটি ডাউনলোড করা সমস্ত অংশকে একত্রে করতে হয় না।

Comments

কমান্ড লাইনের একাধিক প্যারামিটার না থাকলে, কার্ল বা উইজেটের পরিবর্তে অ্যাকেল ব্যবহার করার জন্য সম্ভবত কোনও উপায় আছে কিনা তা সম্ভবত উদ্বোধন করছি alias

— sorin

আমি মনে করি এই ফাইলটি একটি ফাইল ডাউনলোডের জন্য পর্যাপ্ত নয়। দয়া করে, প্রয়োজনে আমাকে সংশোধন করুন। আমার চেষ্টা এখানে জিজ্ঞাসা করুনবুন্টু.কিউ

— লোপোল্ড হার্টজ 준영

Answer 2

আমি চেষ্টা axelউপরে Gufran এর সুপারিশ কিন্তু এটা অতিশয় আমাকে হতাশ। আমার লক্ষ্য ছিল এর সিএলআই প্রতিস্থাপনের সন্ধান করা DownThemAllকারণ এটি সিপিইউ এবং হার্ড ডিস্কটিকে হোগ করে এবং এমনকি 8-কোর ম্যাক প্রোতে পুরো সিস্টেমকে ধীর করে দেয়। আমিও একটি মাল্টি প্রতিস্থাপন চেয়েছিলেন wgetএবং curlনা একটি স্ক্রিপ্ট যে এই একাধিক দৃষ্টান্ত রান কিছু kludge। সুতরাং আমি আরও অনুসন্ধান করেছি এবং আমি এখনই যা মনে করি তা হ'ল চূড়ান্ত সর্বাধিক আধুনিক মাল্টিথ্রেডেড সিএলআই ডাউনলোডার রয়েছে - এরিয়া 2 । আমার যে বড় সমস্যাটি ছিল axelতা হ'ল এসএসএল-এর মাধ্যমে ফাইলগুলি ডাউনলোড করা 'জাল'। আমি এটি দিয়ে এটি ধরা tcdump। এটি httpsলিঙ্কগুলি সাধারণ হিসাবে ডাউনলোড করা হয়েছিলhttp। এটি সত্যিই আমাকে খুব হতাশ করেছে এবং আমি যদি পরীক্ষা না করে থাকি তবে আমার কাছে সুরক্ষার ভ্রান্ত ধারণা তৈরি হত। আমি সন্দেহ করি যে সুরক্ষায় এই গুরুতর লঙ্ঘন সম্পর্কে অনেকেই জানেন। ফিরে আসা aria2, এটি অন্য যে কোনও ডাউনলোডারের চেয়ে বেশি উন্নত। এটি এইচটিটিপি (এস), এফটিপি, বিটটোরেন্ট এবং মেটালিংক প্রোটোকলকে সমর্থন করে, মাল্টিপ্লাটফর্ম এবং ডাউনলোড গেরিলা। এটি সিটিইউ বা হার্ড ডিস্কে ডিটিএর বিপরীতে কোনও লোড ছাড়াই আমার আইএসপির ব্যান্ডউইদথকে সর্বাধিক বাড়িয়ে তোলে। ম্যান পেজটি বিশাল। আমি এর অনেকগুলি বিকল্পের কয়েকটির বেশি কখনও ব্যবহার করব না। এবং ওহ, বিটিডাব্লু, আমি এর এসএসএল পারফরম্যান্সটি পরীক্ষা করেছি tcdumpএবং এটি শক্ত, জাল নয়। আমি একটি স্ক্রিপ্ট লিখেছিলাম যা ডিটিএ এর আচরণের অনুকরণ করে, যদি এটির সুবিধে না হয়।

সর্বাধিক ব্যান্ডউইথ পেতে আমি যে কমান্ডটি ব্যবহার করি তা হ'ল

aria2c --file-allocation=none -c -x 10 -s 10 -d "mydir" URL

-cডাউনলোড ধারাবাহিকতা পারবেন যদি এটা বিঘ্নিত পায়, -x 10এবং -s 10সার্ভার 10 সংযোগ পর্যন্ত অনুমতি, এবং -d "mydir"নির্দেশিকাতে আউটপুট ফাইল mydir।

aria2files.sh:

#!/bin/bash

filename="$1" # get filename from command line argument

while read -r line
do
    if [ "$line" ] # skip blank lines
    then
        if [[ "$line" =~ (https?|ftp)\:\/\/ ]] # line contains a URL, download file
        then
            echo "URL: '$line'"
            aria2c --file-allocation=none -c -x 10 -s 10 -d "$currdir" "$line"
        else # line contains a directory name, create directory if not already present
            echo "Directory: '$line'"
            currdir="$line"
            if [ ! -d "$currdir" ]
            then
                mkdir -p "$currdir" # '-p' enables creation of nested directories in one command
            fi
        fi
    fi
done < "$filename"

এটি বিন্যাসের একটি পাঠ্য ফাইল পড়ে:

files.txt:

dierctory 1
url1
url2
…
directory 2/subdirectory/sub-subdirectory/…
url3
url4
…
…
…

স্ক্রিপ্টটি কমান্ড লাইন থেকে ফাইলের নামটি পড়বে:

aria2files.sh files.txt

এটি তাদের ডিরেক্টরি এবং ডাউনলোডগুলি তৈরি করে। এটি দ্বিতীয় উদাহরণ হিসাবে প্রদর্শিত নেস্টেড ডিরেক্টরি তৈরি করতে পারে।

আরও তথ্যের জন্য আমার পোস্ট বাশ স্ক্রিপ্টটি কোনও পাঠ্য ফাইলে তালিকাভুক্ত নির্দিষ্ট ডিরেক্টরিগুলিতে ইউআরএল থেকে ফাইলগুলি ডাউনলোড করতে দেখুন ।

Comments

আপনি কি এখানে নিজের পদ্ধতিটি প্রয়োগ করতে পারেন জিজ্ঞাসা করুন জিজ্ঞাসুবন্টু / কি aria2c -x10 -s10 http://horatio.cs.nyu.edu/mit/tiny/data/tiny_images.bin।

— লিও লোপোল্ড হার্টজ 준영

ধন্যবাদ @ hmj6jmh! একটি Rapsberry পাই মডেল 3 রেকর্ড জন্য: wget -4 -c <https://URL/ISO_FILE>আমাকে ~ 40 কিলোবাইট / সেকেন্ড (দেয় 87300K .......... .......... 11% 38.7K 4h28mযখন একই ফাইল সঙ্গে ডাউনলোড aria2c --disable-ipv6 -cদেয় ~ 250 কিলোবাইট / সেকেন্ড ( 144MiB/717MiB(20%) CN:1 DL:250KiB ETA:39m3s])।

— tuk0z

আপনি যদি (আমার মত) সোর্সফোর্জ এড়াতে চান, এরিয়া 2 হ'ল সংগ্রহস্থলের অংশ, তাই আপনি এটি ইনস্টল করতে পারেনsudo apt install aria2

— বার

ভাল উত্তর. যে সাইটগুলিতে এইচটিটিপিএস-কেবলমাত্র জোর করে, তাদের জন্য axelস্ট্রেট-আপ কাজ করে না। এটি HTTPS ব্যবহারের জন্য আপডেট করা হয়েছে বলে মনে হয়, তবে সেই সংস্করণটি এখনও আমার সংগ্রহস্থলগুলিতে নেই। aria2আমার জন্য ভাল কাজ করেছে।

— উইন্ডোজস্ক্যাপিস্ট 21