আমি একটি সার্ভার থেকে অন্য সার্ভারে তথ্য সংরক্ষণাগার করছি। প্রাথমিকভাবে আমি একটি rsyncকাজ শুরু করি । ফাইল তালিকাটি তৈরি করতে মাত্র 5 টিবি ডেটা এবং আরও 1 সপ্তাহ টি 1 টিবি ডেটা স্থানান্তর করতে লেগেছিল 2 সপ্তাহ took
তারপরে নতুন সার্ভারে আমাদের কিছুটা সময় প্রয়োজন বলে আমাকে কাজটি হারাতে হয়েছিল।
এটি সম্মত হয়েছে যে আমরা সম্ভবত এটি পুনরায় অ্যাক্সেস করার প্রয়োজন হবে না বলে আমরা এটি ব্যয় করব। আমি এটিকে 500 জিবি খণ্ডে ভাঙার কথা ভাবছিলাম। আমি tarএটি পরে আমি পরে এটি অনুলিপি করতে যাচ্ছি ssh। আমি ব্যবহার করছিলাম tarএবং pigzএটি এখনও খুব ধীর।
এটা করতে একটি ভাল উপায় আছে কি? আমার মনে হয় দুটি সার্ভারই রেডহ্যাটে রয়েছে। পুরাতন সার্ভারটি এক্সট 4 এবং নতুনটি এক্সএফএস।
ফাইলের আকারগুলি কয়েক কেবি থেকে কয়েক এমবি পর্যন্ত এবং 5 টিবিতে 24 মিলিয়ন জেপিগ রয়েছে। সুতরাং আমি 15 টিবির জন্য প্রায় 60-80 মিলিয়ন অনুমান করছি।
সম্পাদনা করুন: কয়েক দিন ধরে আরএসসিএনসি, এনসি, টার, এমফার এবং পিগজের সাথে খেলার পরে। বাধাটি ডিস্ক আইও হতে চলেছে। যেহেতু ডেটা 500 এসএএস ডিস্ক এবং প্রায় 250 মিলিয়ন জেপিগ জুড়ে রয়েছে। তবে, আমি ভবিষ্যতে এই সমস্ত দুর্দান্ত সরঞ্জামগুলি ব্যবহার করতে পারি সেগুলি সম্পর্কে শিখেছি।