নেটওয়ার্ক জুড়ে 20TB ডেটা স্থানান্তর করতে আমার কোন প্রোগ্রাম ব্যবহার করা উচিত?

Question

আমার 20TB ডেটা একটি বজ্র অ্যারেতে অনুলিপি করতে হবে। যেখানে বাক্সে ডেটা রয়েছে তার একটি বজ্র সংযোগ নেই, সুতরাং এর জন্য আমাকে স্থানীয় 1 জিবি নেটওয়ার্কটি ব্যবহার করতে হবে। (হ্যাঁ, এটি চিরদিনের জন্য লাগবে)।

আমি ফাইলজিলা / এসএফটিপি ব্যবহার করার চেষ্টা করেছি, তবে ক্রুটি বড় আকারের হয়ে উঠলে এটি ক্র্যাশ হয়ে গেছে। আরএসসিএনসি কি স্কিপ যেতে হবে?

Comments

আপনি কি পুরানো ডিভাইসটি থেকে ড্রাইভটি বের করে সরাসরি এটিকে সংযুক্ত করতে পারবেন?

উপরের মন্তব্য সহ কনকুর। শারীরিক স্থানান্তর বৃহত্তম ব্যান্ডউইথ আছে।

— সিয়ুয়ান রেন

আমি কার্বন কপি ক্লোনারকে পছন্দ করি, যা আরএসসিএনসি এর উপর ভিত্তি করে একটি দুর্দান্ত জিইউআই ইউটিলিটি। বিকাশকারী আরএসসিএনকে কাঁটাচামচ করেছেন এবং প্রচুর উন্নতি করেছেন। আমি আরএসসিএনসি এবং / বা তার বা অন্য যে কোনও গতির সাথে কথা বলতে পারি না, তবে এটি কোনও ধরণের ডেটা ট্রান্সফারের জন্য আমার কাছে যায়, যেখানে আমি কোনও সন্দেহ ছাড়াই জানতে চাই যে আমার ডেটা ভাল হয়ে যাওয়ার পরে সমস্ত কথা বলা হয়ে যায়। এবং যদি তা না হয়, সিসিসি আমাকে বলবে।

— হার্ভ

আমি বিস্মিত আছে Fedex এর কোন রেফারেন্স ।

— টেড্ডার 21

Answer 1

আরএসআইএনসি হ'ল একটি ভাল উপায় (স্কিপ কম বৈশিষ্ট্যের সাথে একই রকম)। আপনি -Zবিকল্পটি ব্যবহার করতে চাইতে পারেন , যা zlib সংক্ষেপণ সক্ষম করবে। আপনার ড্রাইভ / কম্পিউটার কত দ্রুত গতির উপর নির্ভর করে এটি সংকোচিত পাঠানোর চেয়ে দ্রুত হতে পারে, যদি আপনার নেটওয়ার্ক লিঙ্কটি স্যাচুরেটেড হয়। আপনি সংরক্ষণাগার মোড বিকল্পটিও চাইতে পারেন, -aযা প্রতীক, অনুমতি এবং তৈরি / পরিবর্তনের সময়গুলি সংরক্ষণ করবে এবং পাশাপাশি ডিরেক্টরিগুলি অনুলিপিভাবে অনুলিপি করবে। আপনি কী অনুলিপি করছেন তার উপর নির্ভর করে আপনি হয়ত চান -Eযা বর্ধিত বৈশিষ্ট্য এবং ম্যাক সংস্থান কাঁটাচামচ সংরক্ষণ করে। অবশেষে, --progressআপনাকে অগ্রগতির তথ্য প্রদর্শন করবে।

Comments

আরসিএনসিও যদি কোনও বাধা থাকে তবে অনুলিপি পুনরায় চালু করতে ভাল।

— লি জোরামো

দ্বিতীয় স্থানে @ লাইজোরামো, যেখানে ব্যর্থ স্থানান্তর বন্ধ রয়েছে তা বেছে নিতে সক্ষম হওয়া অত্যন্ত গুরুত্বপূর্ণ। এই বৃহত স্থানান্তরটি কোনও এক সময় ব্যর্থ হবে এবং আপনি নিশ্চিত করতে চান যে আপনি যে পর্যায়ে এসেছেন তাতে যে কোনও ক্ষতি হয় না।

— blahdiblah

Answer 2

আরএসসিএন-এর মতো সর্বব্যাপী না হয়েও, অতীতে আমি "এমপিএসসিপি" একটি সরঞ্জাম কল ব্যবহার করেছি - http://www.sandia.gov/MPSCP/mpscp_design.htm

সান্দিয়া ন্যাশনাল ল্যাবগুলি থেকে, এটি একটি ফাইল অনুলিপি সরঞ্জাম যা এসএসএইচ-এর উপর দিয়ে চলে যা ঘনিষ্ঠ সিস্টেমগুলির মধ্যে উচ্চ গতির নেটওয়ার্কগুলি পরিপূর্ণ করার জন্য বিশেষভাবে অনুকূলিত হয়েছে (যেমন একই সাইটের দুটি সুপার কম্পিউটারের মধ্যে টেরাবাইট ডেটা অনুলিপি করা, 10 জিবি + বা ইনফিনিব্যান্ডের মাধ্যমে সংযুক্ত)। এটি ভালভাবে কাজ করে তবে সেটআপে ব্যথা হতে পারে। পরীক্ষায়, আমি সহজেই এটি RSSync থেকে 2x-3x দ্রুত চালিত দেখেছি।

Answer 3

Rsync ব্যবহার করুন এবং এটি rsyncd সহ ব্যবহার করার বিষয়টি বিবেচনা করুন। আপনি আরএসসিএনসিডি ব্যতীত আরএসইএনসি ব্যবহার করেন, আপনি এসএসএস ব্যবহার করে আটকে রয়েছেন, যার অর্থ একরকম এনক্রিপশন ব্যবহার করা। আপনি সম্ভবত একটি পুরানো মেশিন থেকে একটি নতুন মেশিনে ডেটা অনুলিপি করছেন এবং পুরানো মেশিনে কোনও গিগাবিট ইথারনেট লিঙ্কটি স্যাচুরেটেড রাখার জন্য পর্যাপ্ত পরিমাণে ট্রান্সমিশনের জন্য ডেটা এনক্রিপ্ট করতে সিপিইউ গ্রান্ট নাও থাকতে পারে। উভয় পদ্ধতি ব্যবহার করে ফাইলগুলির ব্যাচগুলি স্থানান্তর করার পরীক্ষা করুন এবং দেখুন কোন রাস্তাটি দ্রুত।

একই কারণে আমি rsync এর সংযোগ বিকল্পটি ব্যবহার করার প্রতিশ্রুতি দেওয়ার আগে পরীক্ষার ব্যবহারের পরামর্শ দেব। কম্প্রেশন হল আরও একটি সিপিইউ নিবিড় ক্রিয়াকলাপ যা পুরানো হার্ডওয়্যার চেষ্টা করার পরে গিগাবিট ইথারনেট গতির সাথে রাখতে সক্ষম না হতে পারে। আরএসআইএনসি একটি পনের বছরের পুরনো প্রোগ্রাম, যা প্রথম বিশ্বের দেশগুলিতেও বেশিরভাগ লোক ডায়ালআপ মডেমের মাধ্যমে ইন্টারনেট অ্যাক্সেস করেছিল তা আবার লেখা হয়েছিল। নেটওয়ার্ক ব্যান্ডউইথ বনাম সিপিইউ ট্রেড অফগুলি তখন অনেক আলাদা ছিল।

Comments

আপনারা ঠিক বলেছেন যে এসএসএস ব্যবহারের ক্ষেত্রে আরএসসিএনএইচ ডিফল্ট, তবে এটিই একমাত্র বিকল্প নয়। -eবিকল্পটি ব্যবহার করে আপনি এটিটিকে আরশ ব্যবহার করতে পারেন । একই বিকল্পের সাহায্যে আপনি কম সিপিইউ-নিবিড় এনক্রিপশন: -e 'ssh -c arcfour,blowfish-cbc'বা পছন্দ মতো এসএসএসের বিকল্পগুলি পরিবর্তন করতে পারেন। এটি একটি আধুনিক মেশিনের সাথে কোনও গতির পার্থক্য করে কিনা, আমি জানি না, তবে একটি দ্রুত মানদণ্ড কার্যকর হতে পারে, বিশেষত 20 টিবি ফাইলের সাথে।

— মাইকেল ডিএম ড্রাইডেন

Answer 4

এই 20 টিবি কি অল্প সংখ্যক বড় ফাইল (যেমন ভিডিও, দানব ডাটাবেস) বা কয়েক মিলিয়ন ছোট ছোট ফাইলগুলিতে প্যাকেজড আছে?

যদি আমি প্রচুর ছোট ফাইলগুলিকে পুনরায় চালু করার জন্য আর এসইএনসি বা দক্ষতার জন্য পাইপযুক্ত টার স্ট্রিম দিয়ে যেতে পারি (লটের জন্য একটি নেটওয়ার্ক সংযোগ, এটি ব্যর্থ হয় তবে শুরু থেকে আবার শুরু করুন)

tar -cf - * | ( cd newhome; tar -xf - )

দূরবর্তী ফোল্ডার মাউন্ট করা আবশ্যক।

আপনি সরাসরি অন্য ইন্টারফেসের সাহায্যে নতুন অ্যারে সংযুক্ত করতে পারবেন? স্থানীয় rsync ssh ব্যবহার করে না তাই আপনি সেই ব্যর্থতাটি মুছবেন। হ্যাঁ, ফায়ারওয়্যার 800 গিগাবিট ইথারনেটের চেয়ে ধীর হলেও আপনি ইথারনেটকে 100% লোড করতে পারবেন না - এটি ফায়ারওয়্যারের দ্বারা দ্রুততর হতে পারে। এফওয়াইআই বাক্সগুলি পর্যাপ্ত থাকলে আপনি ফায়ারওয়্যারের নেটওয়ার্কও করতে পারেন। সিস্টেমের পছন্দ -> নেটওয়ার্কে ইন্টারফেস যুক্ত করুন।

Answer 5

আরেকটি বিকল্প হ'ল বিটোটরেন্ট সিঙ্ক ( http://www.bittorrent.com/sync ) ব্যবহার করে দেখুন। আমি এটি WAN জুড়ে আমাদের পরিবারের সদস্যদের মধ্যে পারিবারিক ছবি এবং ভিডিওগুলি সিঙ্ক করতে ব্যবহার করেছি তবে স্থানীয় নেটওয়ার্কের জন্য এটি কাজ করবে না এমন কোনও কারণ নেই। এটি পিয়ার-টু-পিয়ার সংযোগগুলি ব্যবহার করে তাই ডেটা কোনও সার্ভারের মধ্যে দিয়ে যাচ্ছিল না যদি আপনি ড্রপবক্সের মতো কিছু ব্যবহার করার চেষ্টা করেন (এমন নয় যে আমি মনে করি যে আপনার কাছে 20 টিবি ড্রপবক্সের জায়গা আছে বা এত দিন আপলোড করতে অপেক্ষা করতে চান) তথ্য!)

এটি একাধিক প্ল্যাটফর্মেও সমর্থিত তাই আরএসসিএনসি এবং টারের চেয়ে আরও নমনীয়তা রয়েছে।