দ্রুততম উপায়ে এক সাথে অনেকগুলি ফাইল একত্রিত করা হয় (ট্যার সিজেএফ খুব ধীর হয়)

Question

বর্তমানে আমি tar czfব্যাকআপ ফাইলগুলি একত্রিত করতে চলেছি । ফাইলগুলি একটি নির্দিষ্ট ডিরেক্টরিতে থাকে।

তবে ফাইলের সংখ্যা বাড়ছে। ব্যবহার tzr czfকরতে খুব বেশি সময় লাগে (20 মিনিটের বেশি এবং গণনা করা)।

আমার আরও দ্রুত এবং স্কেলযোগ্য ফ্যাশনে ফাইলগুলি একত্রিত করা দরকার।

আমি খুঁজে পেয়েছি genisoimage, readomএবং mkisofs। তবে কোনটি দ্রুত এবং কোনটির সীমাবদ্ধতাগুলি কী তা আমি জানি না।

Comments

আমি সন্দেহ করি যে tarকোনও গুরুত্বপূর্ণ ওভারহেডের পরিচয় করিয়ে দিচ্ছি , ফাইলগুলি পড়া এখানে ব্যয়বহুল অপারেশন। হয় আপনার ফাইলগুলি যেভাবে সংরক্ষণ করা হয় তা সংশোধন করা উচিত, বা একেবারে ভিন্ন পদ্ধতির ব্যবহার করা উচিত (পুরোপুরি ফাইল সিস্টেমটি অনুলিপি করুন)। আপনার ফাইলগুলি কীভাবে সংগঠিত করা হয়েছে তা না জেনে আমরা আপনাকে বেশি সাহায্য করতে পারি না।

— গিলস 'অশুভ হওয়া বন্ধ করুন'

"নোয়াটাইম" বিকল্পের সাহায্যে আপনার এফএস মাউন্ট করুন, সম্ভবত আইও অপারেশনগুলির গতি বাড়ান।

— রুফো এল মাগুফো

নোয়াটাইমের জন্য +1, এটি সত্যিই একটি উল্লেখযোগ্য পার্থক্য করে। বিশেষত নিয়মিত হার্ড ড্রাইভের জন্য, এবং কেবল বহিরাগত লেখাগুলি হ্রাস করার জন্য।

— জেএম বেকার 0

Answer 1

আপনার বেশিরভাগ সময় সিপিইউ বা আই / ও-তে ব্যয় হচ্ছে কিনা তা আপনার পরীক্ষা করা উচিত। যে কোনও উপায়ে, এটির উন্নতি করার উপায় রয়েছে:

উ: সংকোচন করবেন না

আপনি "কম্প্রেশন" উল্লেখ না প্রয়োজনীয়তা তাই আপনার আর্গুমেন্ট তালিকা থেকে "Z" ছেড়ে দেওয়ার চেষ্টা করুন আপনার তালিকায়: tar cf। এটি কিছুটা গতি বাড়িয়ে দিতে পারে।

প্রক্রিয়াটির গতি বাড়ানোর জন্য অন্যান্য কৌশল রয়েছে যেমন আপনি ইতিমধ্যে ব্যাক আপ করা ফাইলগুলি এড়িয়ে যেতে "-N" ব্যবহার করার মতো।

বি: সম্পূর্ণ পার্টিশনটি ডিডি সহ ব্যাকআপ করুন

বিকল্পভাবে, আপনি যদি একটি সম্পূর্ণ পার্টিশন ব্যাক আপ করেন তবে পরিবর্তে পুরো ডিস্ক চিত্রের একটি অনুলিপি নিন। এটি প্রক্রিয়াজাতকরণ এবং ডিস্কের হেডের অনেক সময় সন্ধান করতে পারে। tarএবং অন্য কোন একটি উচ্চ স্তরের এ কাজ প্রোগ্রাম পড়তে এবং প্রক্রিয়া ডিরেক্টরির এন্ট্রি এবং inodes এটি যেখানে ফাইল বিষয়বস্তু এবং আরও অনেক কিছু মাথা না থাকার একটি ওভারহেড আছে ডিস্ক কামনা , ডিস্ক থেকে একটি আলাদা স্থান থেকে প্রতিটি ফাইল পড়া।

অন্তর্নিহিত ডেটা খুব দ্রুত ব্যাকআপ করতে, ব্যবহার করুন:

dd bs=16M if=/dev/sda1 of=/another/filesystem

(এটি ধরে নিচ্ছে আপনি RAID ব্যবহার করছেন না, যা কিছুটা পরিবর্তন করতে পারে)

Comments

সংকোচন করবেন না : বা pigzসিস্টেমে একাধিক প্রসেসরের উপস্থিত থাকলে ব্যবহার করুন ।

— রুফো এল মাগুফো

LZ4 / zstd এবং একইভাবে দ্রুত সংক্ষেপণ অ্যালগরিদমগুলি এখনও কমপিউশনায় ক্রমবর্ধমান ক্রমযুক্ত অর্ডার হওয়ার সাথে সাথে কম ডেটা লিখে (যদি ডেটাটি সমস্ত ক্ষেত্রে সংকোচনযোগ্য হয়) লিখে কোনও প্রক্রিয়া গতিতে পারে কিনা তা যাচাই করে নেওয়া উচিত on স্তর এবং অ্যালগরিদম এছাড়াও ম্যান gzip বলে "ডিফল্ট সংকোচনের স্তর -6", সুতরাং উন্নতির জন্য জায়গা আছে।

— LiveWireBT

Answer 2

অন্যেরা যা বলেছে তার পুনরাবৃত্তি করতে: যে ফাইলগুলি ব্যাকআপ করা হচ্ছে সেগুলি সম্পর্কে আমাদের আরও জানতে হবে। আমি এখানে কিছু অনুমান নিয়ে যাব।

টারে ফাইলটিতে যুক্ত করুন

যদি ফাইলগুলি কেবলমাত্র ডিরেক্টরিগুলিতে যুক্ত করা হয় (তবে কোনও ফাইল মুছে ফেলা হচ্ছে না), নিশ্চিত হয়ে নিন যে আপনি প্রতিবার এটি পুনরায় তৈরি করার পরিবর্তে বিদ্যমান টার ফাইলটিতে যুক্ত করছেন। আপনি tarনতুন আদেশের পরিবর্তে (বা পুরানোটি মুছতে) পরিবর্তে আপনার আদেশে বিদ্যমান সংরক্ষণাগার ফাইলের নাম নির্দিষ্ট করে এটি করতে পারেন ।

আলাদা ডিস্কে লিখুন

আপনি যে ডিস্কটি লিখেছেন সেখান থেকে পড়ার কারণে পারফরম্যান্স হত্যার চেষ্টা করা যেতে পারে। আই / ও লোডটি ছড়িয়ে দিতে আলাদা ডিস্কে লেখার চেষ্টা করুন। যদি সংরক্ষণাগার ফাইলটি মূল ফাইলগুলির মতো একই ডিস্কে থাকা দরকার তবে এটি পরে সরিয়ে দিন।

কমপ্রেস করবেন না

@ ইয়ভস যা বলেছিলেন তা কেবল পুনরাবৃত্তি করছেন। যদি আপনার ব্যাকআপ ফাইলগুলি ইতিমধ্যে সংকুচিত হয়, তবে আবার কমপ্রেস করার খুব দরকার নেই। আপনি কেবল সিপিইউ চক্র নষ্ট করবেন।

Answer 3

Lz4 ক্রোপ্রেসনের সাথে টারের মতো ব্যবহার করুন

tar cvf - myFolder | lz4 > myFolder.tar.lz4

আপনাকে উভয় জগতের সেরা দেয় (বরং ভাল সংক্ষেপণ এবং গতি)। আপনার ডেটা বাইনারি ফাইলগুলি ধারণ করে এমনকি প্রায় 3 এর সংকোচনের অনুপাত আশা করুন।

আরও পঠন: সংক্ষেপণ অ্যালগরিদমের তুলনা lz4 এর সাথে কীভাবে ট্যারা করা যায়

Comments

স্টেফানকিউ যা স্থির করছে তা হ'ল আপনার বাধা কোথায় রয়েছে তার উপর নির্ভর করে আপনার সংকোচকারী চয়ন করতে হবে। এছাড়াও: মনে রাখবেন আপনি আউটপুটটিকে অন্য কোনও শারীরিক স্টোরেজ ডিভাইস বা এমনকি একটি দূরবর্তী মেশিনে সংরক্ষণ করতে পারেন!

— লেস্টার চেউং

Answer 4

আমি অবাক হয়েছি যে কেউ ডাম্প এবং পুনঃস্থাপনের কথা উল্লেখ করে না। আপনার যদি ফাইল সিস্টেমে ফাঁকা জায়গা থাকে তবে ডিডির চেয়ে অনেক বেশি দ্রুত হবে ।

নোট করুন যে প্রশ্নে ফাইল সিস্টেমের উপর নির্ভর করে আপনার বিভিন্ন সরঞ্জামের প্রয়োজন হতে পারে:

• ext2 / 3/4 - ডাম্প এবং পুনরুদ্ধার ( আরএইচ / ডেবিয়ানে প্যাকেজ ডাম্প )
• এক্সএফএস - xfsdump এবং xfsrestore ( আরএইচ / ডেবিয়ান মধ্যে প্যাকেজ xfsdump )
• জেডএফএস - zfs প্রেরণ এবং zfs recv
• বিটিআরএফএস - বিটিআরএফএস প্রেরণ এবং বিটিআরএফএস গ্রহণ করে

নোট করুন যে কিছু প্রোগ্রামের মধ্যে অন্তর্নির্মিত সংকোচনের (ডাম্প বাদে সমস্ত) নেই - স্টাইডাউট করার জন্য পাইপ এবং প্রয়োজন অনুযায়ী পিগজ ব্যবহার করতে। ;-)