আমি কীভাবে দ্রুত 900,000 ফাইলগুলি অনুলিপি করব?

9

আমাকে কিছু ডেটা অনুলিপি করতে হবে যাতে উইন্ডোজ কম্পিউটারে প্রায় 30 গিগাবাইটের মধ্যে 900,000 ক্ষুদ্র ফাইল রয়েছে। তবে এটি অনুলিপি করে দেড় ঘন্টার মধ্যে সেট আপ করতে সক্ষম হওয়া দরকার এবং বেশিরভাগ ফাইলের উন্মাদতার কারণে এটি একটি USB হার্ড ড্রাইভটি অনুলিপি করতে 5+ ঘন্টা সময় নিতে পারে। এটিকে মোকাবেলার জন্য আরও ভাল / দ্রুততর উপায় আছে যেমন কোনও ধরণের ব্লক অনুলিপি করা? ধন্যবাদ

usb-storage file-transfer

— জো লিগা
সূত্র

8

এটি একক, নন-এসএসডি ডিস্কের বাইরে থাকা কোনও ফাইল-ভিত্তিক অনুলিপিটির জন্য খুব আক্রমণাত্মক লক্ষ্য হতে চলেছে । কেবলমাত্র সমস্ত ফাইলের গণনা করা এবং অনেকগুলি ফাইলের জন্য ফাইল সিস্টেম এন্ট্রি এবং মেটাডেটা নিয়ে কাজ করা একটি উল্লেখযোগ্য পরিমাণ সময় নেয়।

— আফরাজায়

5

আপনি কি হার্ড ড্রাইভ এবং গন্তব্যে স্থান সরাতে সক্ষম? এটি মাদারবোর্ড ব্যাক প্লেনের মাধ্যমে স্থানান্তরিত করা দ্রুততম গতি হবে।

— আইটম

1

xkcd.com/949

— user541686

এই প্রশ্নটি ব্লগ দেখতে চান? উত্তর বা ভোট করে সহায়তা মেটা ।

— তামারা উইজসম্যান

7

প্রচুর সংখ্যক ফাইলের সাথে, টার আর্কাইভ তৈরি করা ভাল যাতে আপনার সাথে ডিল করার জন্য কম ফাইল থাকে। আপনি যদি ইউএসবি ২.০ বহিরাগত হার্ড ড্রাইভ ব্যবহার করছেন তবে আপনার ইউএসবি 3.0.০, ইএসএটিএ ব্যবহার করা বা দ্রুত স্থানীয় নেটওয়ার্ক ব্যবহার করা উচিত।

আপনার সোর্স ওএস কী? যদি আপনার উভয় অপারেটিং সিস্টেম লিনাক্স হয়, আপনি টার্ক, জিজিপ এবং টার্গেট মেশিনে এসএসএসের মাধ্যমে ফাইলগুলি পাইপ করতে পারতেন। উইন্ডোজের জন্যও এই জাতীয় কার্যকারিতা পেতে আপনি উইন্ডোজে সাইগউইন ইনস্টল করতে পারেন।

আপডেট:
" এসসিপি গতি উন্নত করতে টার এবং এসএসএইচ ব্যবহার করে " পোস্টে এসএসএস-এর মাধ্যমে টের সামগ্রী পাঠাতে প্রয়োজনীয় আদেশগুলি বর্ণনা করা হয়েছে।

— dabest1
সূত্র

tar এখনও এক এক করে সমস্ত ফাইল পড়বে।

— টমাস অ্যান্ড্রেল

হ্যাঁ, তবে আপনি এটি কেবল একবারই করবেন এবং scp এর মতো অন্যান্য কমান্ড পৃথক ফাইলগুলির সাথে ডিল করে বিলম্বিত হবে না। যদি ফাইলগুলিকে টার্গেট আর্কাইভে টার্গেট মেশিনে রাখা যায়, তবে আপনি অনেকের পরিবর্তে একটি ফাইল লেখার ক্ষেত্রেও সময় সাশ্রয় করছেন।

— dabest1

আমি ধরে নিই যে ইউএসবি সংযোগটি হ'ল বাধা। সুতরাং @arcyqwerty পরামর্শ হিসাবে ড্রাইভের একটি কাঁচা চিত্র নেওয়া আমার কাছে সেরা সমাধান বলে মনে হচ্ছে। আমি কিছু বাস্তব ফলাফল দেখতে আগ্রহী হতে হবে, সম্ভবত আমি সম্পূর্ণ ভুল!

— টমাস অ্যান্ড্রেল

1

@ টোমা - প্রচুর ক্ষুদ্র ক্ষুদ্র ফাইল নিয়ে কাজ করার সময় আমার অভিজ্ঞতা অনুসারে , হার্ড ড্রাইভটি বাধা। প্রতিটি ফাইলের পঠনের জন্য বরাদ্দ বিটম্যাপের শিরোনাম দরকার হয় এবং তারপরে প্রকৃত ফাইল সামগ্রীগুলির জন্য অন্য মাথা অনুসন্ধান করা প্রয়োজন। ফলস্বরূপ, হার্ড ড্রাইভটি বেশিরভাগ সময় অনুসন্ধানে ব্যয় করে এবং আসলে ফাইল পড়ার খুব কম সময় ব্যয় করে।

— ভুয়া নাম

2

উদাহরণস্বরূপ, 1 কে ফাইল সহ, আমি আমার গিগাবিট ল্যানে ~ 1-5 এমবিপিএস পাই। বড় ফাইলগুলির সাথে (প্রতিটি গিগা বাইট), আমি ~ 80-90 এমবিপিএস পাই। এটি সব অনুক্রমের পাঠ সম্পর্কে।

— ভুয়া নাম

8

হার্ড ড্রাইভটি যদি ইউএসবি ইন্টারফেস থেকে এবং এসটিএ / এটিএ-তে সরানো যায় তবে আমি এটিকে গন্তব্য কম্পিউটারে ইনস্টল করব। অন্যরা যেমন উল্লেখ করেছে আপনি তেমন দ্রুত স্থানান্তর গতি পাবেন। অনুলিপি করার জন্য, ধরে নিই যে আপনি উইন্ডোজ আছেন, আমি একটি সাধারণ রোবকোপি করব। এটি বিকল্প হিসাবে তত দ্রুত আপনি আশা করতে পারেন যত তাড়াতাড়ি অন্যান্য বিকল্প আছে যদিও।

ROBOCOPY /E /B /MT 'source' 'destination'

আমি এই সমস্ত ফাইলকে সংকুচিত করা এড়াতে চেষ্টা করব যদিও, ফাইলগুলিকে সরিয়ে দেওয়ার চেয়ে কমপ্রেস করার এবং সরানোর ভাল সময় আছে time

* রোবোকপির জন্য / এমটি বিকল্প যুক্ত করা হয়েছে। আপনি বহু-থ্রেড পরিবেশে থাকাকালীন এটি স্থানান্তরকে ব্যাপকভাবে গতিতে পারে।

— লি হ্যারিসন
সূত্র

হবে /MTস্থানীয় একক ডিস্ক স্থানান্তর সাহায্য, বা বৃহদায়তন ডিস্ক পিটুনি কারণ? সার্ভারের মধ্যে বৃহত্তর শেয়ারের অনুলিপি করার পক্ষে এটি সাধারণ, তবে তারা প্রায়শই নেটওয়ার্কের ওপরে এবং RAID অ্যারে থেকে আইওপিএস উন্নত করার কারণে উভয়ই বিলম্বিত করেছে।

— আফরাজায়

আমি আসলে এই দিকটি সম্পর্কে খুব বেশি মন্তব্য করতে পারি না। আমি প্রতি রাতে আমার সমস্ত ভিএস প্রকল্পের ব্যাকআপ নিতে রোবোকপি ব্যবহার করি, যদিও এটির জন্য প্রায় 10 জিবি মূল্য রয়েছে। ইতিমধ্যে বিদ্যমান ফাইলগুলি অনুলিপি করা না হওয়ায় কেবল মুহুর্তের বিষয় লাগে। আমি কয়েক মাস আগে এই রবোকপি বেঞ্চমার্কগুলি পেয়েছি

— লি হ্যারিসন

আমার অভিজ্ঞতা হিসাবে, যদি আপনার ড্রাইভের ঘেরে ইউএসবি থেকে সাটা অ্যাডাপ্টারটি দেশীয় কমান্ড কুইং সমর্থন করে তবে আমি / এমটি স্যুইচ থেকে একটি উল্লেখযোগ্য পারফরম্যান্স উত্সাহ পাই।

— দীর্ঘায়ু

6

আপনি পুরো ফোল্ডার / ড্রাইভের চিত্র নেওয়ার চেষ্টা করতে পারেন

লিনাক্স সিস্টেমে আপনি ddফাইল সিস্টেমের কাঁচা অনুলিপি পেতে এবং একক বৃহত ফাইল হিসাবে এটি অনুলিপি করতে পারেন।

উইন্ডোজে ছবিটি বের করার জন্য আপনাকে সাইগউইন বা ddছবিগুলি প্রক্রিয়া করতে সক্ষম এমন একটি প্রোগ্রাম ইনস্টল করতে হবে ।

— arcyqwerty
সূত্র

এটাই টিকিট।

— টমাস অ্যান্ড্রেল

3

আপনি যে কম্পিউটারে উত্স ফাইলগুলি সেটআপ করছেন সেখানে ডিস্কটি ইনস্টল করুন এবং ডিস্কে ডিস্ক স্থানান্তর করুন। ইউএসবি ভুলে যান। এমনকি তারের মাধ্যমে স্থানান্তরিত করা (মেশিনগুলি একসাথে নেটওয়ার্ক করা) ইউএসবি (দ্রুত ইউএসবি 2.0 এবং 1 জিবিপিএস এনআইসি) ধরে নেওয়া দ্রুত হবে। এটি যদি পুনরাবৃত্ত ইভেন্ট হয় তবে পরিবর্তে প্রতিলিপিটি দেখুন।

— পল একারম্যান
সূত্র

3

বিকল্প rsyncসহ ব্যবহার করুন z।

-z,         --compress              compress file data during the transfer
            --compress-level=NUM    explicitly set compression level
            --skip-compress=LIST    skip compressing files with suffix in LIST

এটি নেটওয়ার্কের মাধ্যমে স্থানান্তরের গতি বাড়িয়ে তুলবে। সুতরাং সম্ভবত আপনার ক্ষেত্রে কার্যকর নয়।

আরও কিছু পড়ার পরে আমি বুঝতে পেরেছিলাম যে, একটি স্থানীয় হার্ড ড্রাইভ থেকে অন্যটিতে ডেটা অনুলিপি করার সময় আমাদের '-z' পতাকা ব্যবহার করা উচিত নয়, এটি ওভারহেড বৃদ্ধি করে increases @ ফেকনাম থেকে মন্তব্য করার জন্য ধন্যবাদ।

— শচীন দিবেকার
সূত্র

1

rsync স্থানীয় স্থানান্তরগুলির জন্য সংকোচন করে না (বা একটি ল্যানের মাধ্যমে, আমি বিশ্বাস করি)। এছাড়াও, এর কোনও উপকার হবে না, যেহেতু আসল সমস্যাটি ফাইলগুলি পড়ার সময় নেওয়া হয় , তাদের তারের মাধ্যমে না পাঠানো হয় (প্রতিটি ফাইল পড়লে ন্যূনতমভাবে দুটি অপারেশন লাগবে)।

— ভুয়া নাম

@ ফেকনাম +1 আপনি ঠিক বলেছেন, কিছু পড়ার পরে আমি আপনার বক্তব্য পেয়েছি। আমি আমার উত্তর আপডেট করেছি।

— শচীন দিভেকার

1

আপনি দ্রুত আপনার হার্ড ড্রাইভের সীমাবদ্ধতার দিকে এগিয়ে চলেছেন। প্রকৃতপক্ষে, বর্তমান পণ্য ড্রাইভের সাথে প্রতি ফাইল-অনুলিপি অপারেশন দিয়ে আপনার স্থানান্তর সময়কে মেডিড করা অসম্ভব।

ধরে নিচ্ছি যে প্রতিটি ফাইলের জন্য 1 এইচডি সন্ধান এবং সন্ধানের সময় 7 এমএস দরকার (যা কিছুটা আদর্শিক, বাস্তবে, প্রতিটি ফাইলের জন্য দুটি সিকের প্রয়োজন হবে , যদি না ভলিউম বিটম্যাপটি রামে ক্যাশে করা হয়), সর্বোপরি আপনি ~ 142 ফাইল / সেকেন্ড পরিচালনা করবেন ( \ $ \ frac {1000} {7} = 142.8 ... \ $)।

ওপি স্পেস সহ (30 জিবি, 900,000 ফাইল) যা ফাইল প্রতি K 33 কে (K $ \ frac rac 30,000,000k k ,000 900,000} = ~ 33.3 ... \ $। 33 কেবি * 142 = 4.68 এমবিপিএস)।

ন্যূনতম সময় 5 Mbps 30 গিগাবাইট স্থানান্তর করতে ~ 1 ঘন্টা, 40 মিনিট (\ $ অর্থাত \ frac {30,000} {5} = = 6,000 \ $ সেকেন্ড। \ $ অর্থাত \ frac {6,000} {60} = 100 \ হল $ মিনিট বা 1:40 ঘন্টা)

অতএব, MB এমবিপিএসের চেয়ে আরও দ্রুত গতি অর্জন করা অসম্ভব এবং এটি একটি আদর্শ ড্রাইভের সাথে (এবং কম অপারেশন সন্ধান করুন This এটি প্রতি ফাইলের জন্য একটি সন্ধানের জন্য। বাস্তবে, এটি দুটি হবে)। আপনি ডিস্কের কার্য সম্পাদন দ্বারা সম্পূর্ণ সীমাবদ্ধ ।

পারফরম্যান্স আরও ভাল হওয়ার একমাত্র উপায় হ'ল এটি সম্পূর্ণ ফাইল-সিস্টেম এবং পার্টিশনটি যথাযথভাবে অনুলিপি করা। ddলিনাক্স এ এটি করতে পারেন।

আপনি কি করতে চেষ্টা করছেন?

— জাল নাম
সূত্র

টেক্স কি অন্য কারও জন্য কাজ করছে? মনে হচ্ছে এটি আমার কাছে রেন্ডার হবে না।

— ভুয়া নাম

0

ফাইলগুলি কেবল একটি ফাইলে সংরক্ষণাগারভুক্ত করতে 7zip ব্যবহার করে দেখুন। যদি সম্ভব হয় তবে একটি নোটবুকের সাথে অ্যাডহক সংযোগ সহ ডাব্লুএলএএন ব্যবহার করুন।

— ott--
সূত্র

1

বা আরও ভাল, সরাসরি ইথারনেট সংযোগ, গিগ-ই

— জার্নম্যান গিক

0

@Arcyqwery এর উত্তরের সাথে সম্পর্কিত, আপনি এটি সংক্ষেপ করতে সক্ষম হতে পারেন এবং একই সাথে এটিকে একটি বড় ফাইলে পরিণত করতে পারেন। এটি প্রক্রিয়াটিকে কিছুটা বেগবান করবে।

এটি টেরাকপির মতো প্রোগ্রাম ব্যবহার করাও উপযুক্ত , কারণ এটি সাধারণত ডিফল্ট উইন্ডোজ অনুলিপি কার্যকারিতার চেয়ে দ্রুত হয়। আপনার ক্ষেত্রে অনুরূপ পরিস্থিতিতে পরীক্ষা করা উচিত কিনা তা পরীক্ষা করার জন্য।

— soandos
সূত্র

0

আমারও তেমন কেস হয়েছিল। আমি অ্যান্টি-ভাইরাস বন্ধ করে দিয়েছি, অনুলিপিটির গতি 3MB / s থেকে 12MB / s তে পরিবর্তিত হয়েছে।

— Rm558
সূত্র