লিনাক্সে লিনাক্স, 10 টিবি ট্রান্সফার?


9

আমি পূর্ববর্তী সমস্ত অনুরূপ প্রশ্নের দিকে নজর রেখেছি, তবে উত্তরগুলি পুরো জায়গা জুড়ে মনে হয়েছিল এবং কেউই প্রচুর ডেটা সরিয়ে নিচ্ছে না (১০০ জিবি 10 টিবি থেকে পৃথক)।

আমি প্রায় 10 টিবি পেয়েছি যা আমার একটি RAID অ্যারে থেকে অন্যটিতে যেতে হবে, গিগাবিট ইথারনেট, ফ্রি এনসাইক্লোপিডিয়া, এক্সএফএস ফাইল সিস্টেম। আমার সবচেয়ে বড় উদ্বেগ হ'ল স্থানান্তরটি মাঝপথে মারা যাওয়া এবং সহজেই পুনরায় শুরু করতে সক্ষম না হওয়া। গতি চমৎকার হবে, তবে স্থানান্তর নিশ্চিত করা আরও বেশি গুরুত্বপূর্ণ।

সাধারণত আমি কেবল টার ও নেটকেটই থাকতাম, তবে যে রেড অ্যারেটি থেকে আমি এগিয়ে চলেছি তা দেরী পর্যন্ত দুর্দান্ত ছিল এবং আমার যদি প্রক্রিয়াটির মাঝের প্রক্রিয়াটি কমে যায় তবে পুনরুদ্ধার করতে এবং পুনরায় সূচনা করতে আমার সক্ষম হওয়া দরকার। আমার কি আরএসআইএনসি তাকানো উচিত ?

এটিকে আরও কিছুটা দেখার জন্য, আমি মনে করি rsync খুব ধীর হতে পারে এবং আমি এটি 30 দিন বা তারও বেশি সময় নিতে এড়াতে চাই । সুতরাং এখন আমি নেটকাট দিয়ে স্থানান্তর কীভাবে নিরীক্ষণ / পুনঃসূচনা করতে পারি সে সম্পর্কে পরামর্শগুলি সন্ধান করছি ।


আমার মাঝে মাঝে বড় ফাইল ট্রান্সফার করা প্রয়োজন (তবে 10 টিবি নয়;) আরএসসিএন এর অনেকগুলি পতাকা রয়েছে, এর মধ্যে কয়েকটি বড় ফাইল স্থানান্তরের কার্যকারিতা প্রভাবিত করতে পারে (আমি মনে করি - উদাহরণস্বরূপ --checksum এবং --archive আপনাকে ধীর করে দিতে পারে। 10 টিবি স্থানান্তর করার সময় একটি বড় পার্থক্য আনবে)) এত বড় ফাইল ট্রান্সফারের পারফরম্যান্স অনুকূল করতে কেউ কি ভাল বিকল্পগুলির প্রস্তাব দিতে পারে? টিউন --block-size=SIZEসাহায্য করবে?
স্টিফান লাসিউইস্কি

ssh ওভারহেড অপসারণ করতে যাইহোক আছে?
কোড

1
আপনার প্রাপ্তির শেষে আরএসসিএনডি সেট আপ করবেন?
এসএসএসের

3
প্রেরণকারী পক্ষের পাশাপাশি একটি ক্লায়েন্ট প্রেরণে একটি আরএসসিএন ডেমন চালান।
পরবর্তী বিজ্ঞপ্তি না দেওয়া পর্যন্ত বিরতি দেওয়া হয়েছে।

2
আপনি যদি একদিকে আরএসসিএন ডেমন সেট আপ করতে না পারেন এবং এসএসএইচের সাথে আটকে থাকেন তবে আপনি কম-ভাল এনক্রিপশন সহ এনক্রিপশন ওভারহেড হ্রাস করতে পারেন যেমন: rsync -avz -e 'ssh -c আরকফোর' উত্স ডিস্ট
ডেভিড

উত্তর:


14

হ্যাঁ, আরএসএনসি

অডবোলের বাইরে, সম্প্রতি অ্যাসিঙ্ক বৈশিষ্ট্যগুলি ডিআরবিডি প্রকাশিত হয়েছিল।


1
+1 টাকায় সিস্টেম-থেকে-সিস্টেম লিনাক্সে স্থানান্তর রাজা।
গ্রুফটেক

+1, আরএসইএনসি (এবং এটি উইন্ডোজ কাউন্টার পার্ট ডেল্টা কপি) হ'ল জেনেরিক ফাইল ডুপ্লিকেশন সার্ভারের দক্ষ সার্ভারের শেষ।
ক্রিস এস

1
আরএসইএনসি-র জন্য +1, তবে আমি যুক্ত করব যে আরএসইএনসি বা এসএসএইচ প্রোটোকল ওভারহেডের পরিবর্তে কোনও এনএফএস মাউন্ট দিয়ে "স্থানীয়ভাবে" করা এটি দ্রুত হতে পারে।
জেমস স্নেরিঞ্জার

2

টেপগুলি পূর্ণ কোনও স্টেশন ওয়াগনের ব্যান্ডউইথকে কখনই হ্রাস করবেন না। 10 টিবি তুলনামূলকভাবে সস্তা গ্রাহক গ্রেড এনএএস সরঞ্জাম দিয়ে সম্ভাব্য হবে যদি আপনি এটিকে (2 টিবি বলে) ভাগে ভাগ করতে পারেন। যদি এটি অফ-অফ হয় তবে একটি আধা-ম্যানুয়াল প্রক্রিয়াটি কার্যক্ষম হবে এবং একটি 2 টিবি এনএএস কেবল কয়েক শ ডলার।

আপনার যদি একটি চলমান প্রক্রিয়া প্রয়োজন হয় তবে প্রাথমিক স্থানান্তরটি সম্পন্ন করার পরে আপনি আরএসওয়াইএনসি সেট আপ করতে পারেন।


মূল প্রশ্নটি উল্লেখ করেছে যে এটি ইতিমধ্যে একটি স্থানীয় নেটওয়ার্কের মধ্যে।
লাদাদাদাদা

1
যা ওপির উদ্দেশ্যে খুব ধীর এবং / বা বিশ্বাসযোগ্য নয় বলে মনে হচ্ছে appears
কনসার্নড

2

এই ধরণের কাজটি আমাকে কয়েক মাস আগে করতে হয়েছিল। প্রক্রিয়াটি গতিতে আমি সমান্তরাল আরএসএনসি ব্যবহার করেছি। এটি খণ্ডগুলিতে স্থানান্তর / সিঙ্ক করার জন্য ফাইলগুলি বিভক্ত করে এবং যে কোনও সময় এটি পুনরায় শুরু করা যেতে পারে। সমান্তরাল আরএসসিএন স্ক্রিপ্টের জন্য নীচের লিঙ্কটি দেখুন।

https://gist.github.com/rcoup/5358786


0

আপনি অনুলিপি করতে ডেটা সহ সার্ভারে একটি এফটিপি সার্ভার স্থাপনের চেষ্টা করতে পারেন এবং প্রাপ্তির শেষে "পুনঃসূচনা" সহ কোনও এফটিপি ক্লায়েন্ট ব্যবহার করতে পারেন। আমি ফাইলজিলা সার্ভার এবং ক্লায়েন্ট ব্যবহার করি এবং আমি ক্লায়েন্টের "পুনঃসূচনা" বৈশিষ্ট্যটি প্রায়শই ব্যবহার করি এবং এটি সর্বদা কোনও বাধা ছাড়াই কাজ করেছে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.