জেডএফএস প্রেরণ / recv এর জন্য সেরা সংক্ষেপণ

Question

আমি পয়েন্ট-টু-পয়েন্ট টি 1 লাইনের উপরে বর্ধিত জেডএফএস স্ন্যাপশট প্রেরণ করছি এবং আমরা এমন একটি পয়েন্টে পৌঁছেছি যেখানে পরের ব্যাকআপটি শুরু হওয়ার আগে এক দিনের মূল্য স্ন্যাপশটগুলি সবেমাত্র তারের উপর দিয়ে তৈরি করতে পারে। আমাদের প্রেরণ / recv কমান্ডটি হ'ল:

zfs send -i tank/vm@2009-10-10 tank/vm@2009-10-12 | bzip2 -c | \
ssh offsite-backup "bzcat | zfs recv -F tank/vm"

আমার কাছে প্রচুর সিপিইউ সাইকেল ছাড়ার দরকার নেই। লাইনের ওপরে কম ডেটা ঠেকাতে আমি কী আরও ভাল সংকোচনের অ্যালগরিদম বা বিকল্প পদ্ধতি ব্যবহার করতে পারি?

Comments

আপনি যাচাই করেছেন এটি আসলে সেই লিঙ্কটিই সবচেয়ে ধীরতম অংশ? হতে পারে এটি ডিস্ক পড়া / লেখা।

— কেবিআর্ড

হ্যাঁ, আমি 80-100 এমবিপিএস এনএফএসের মাধ্যমে বাক্সের সাথে সংযোগ পাচ্ছি। নেটওয়ার্ক সংযোগ 1.5 এমবিপিএস

— সিসাদমিনিকাস

আপনি কি lzma --best ব্যবহার করার চেষ্টা করেছেন?

— Amok

অ্যামাকের প্রতি ইঙ্গিত অনুসারে, এলজেডএমএ হ'ল সর্বদা সেরা সাধারণ ডেটা সংক্ষেপণ অ্যালগোরিদম widely

— ক্রিস এস

উদাহরণস্বরূপ, পরিসংখ্যানগুলি যা দেখায় যে zfs receiveএটি কোনও অপরাধী হতে পারে:received 953MB stream in 36 seconds (26.5MB/sec)

— 11

Answer 1

দেখে মনে হচ্ছে আপনি সেরা সংকোচনের সমস্ত প্রক্রিয়াটি চেষ্টা করেছেন এবং এখনও লাইন গতির দ্বারা সীমাবদ্ধ রয়েছেন। ধরে নিই যে একটি দ্রুত রেখা চালানো প্রশ্নটির বাইরে, আপনি কি কেবলমাত্র ব্যাকআপগুলি কম ঘন ঘন চালানোর বিষয়টি বিবেচনা করেছেন যাতে তাদের আরও বেশি সময় চালাতে পারে?

এটির সংক্ষেপে, ডেটা লেখার পরিমাণকে হ্রাস করার কোনও উপায় আছে? আপনার অ্যাপ্লিকেশন না জেনেই এটি শক্তভাবে স্ট্যাক করুন তবে কেবল অ্যাপ তৈরির পরিবর্তে বিদ্যমান ফাইলগুলি ওভাররাইট করা হচ্ছে তা নিশ্চিত করার মতো কাজগুলি সহায়তা করতে পারে। এবং আপনার প্রয়োজন মতো টেম্প / ক্যাশে ফাইলগুলির ব্যাকআপ সংরক্ষণ করছেন না তা নিশ্চিত করে।

Answer 2

আপনি যা করছেন ঠিক একই জিনিসটি এখানে শিখেছি। আমি mbuffer ব্যবহার করার পরামর্শ দিচ্ছি। আমার পরিবেশে পরীক্ষা করার সময় এটি কেবলমাত্র প্রাপ্তির শেষেই সহায়তা করেছিল, এটি ছাড়াই প্রেরণটি ধীরে ধীরে ধীরে ধীরে রিসিভের সময় ধরা পড়বে।

কয়েকটি উদাহরণ: http://everycity.co.uk/alasdair/2010/07/ using-mbuffer-to-speed-up-slow-zfs-send-zfs-recep/

বিকল্পগুলি এবং সিনট্যাক্স সহ হোমপেজ http://www.maier-komor.de/mbuffer.html

আমার প্রতিলিপি স্ক্রিপ্ট থেকে প্রেরণ আদেশ:

zfs send -i tank/pool@oldsnap tank/pool@newsnap | ssh -c arcfour remotehostip "mbuffer -s 128k -m 1G | zfs receive -F tank/pool"

এটি রিসিভ বাফার হিসাবে রিমোট হোস্টে এমবাফার চালায় যাতে যত দ্রুত সম্ভব রান পাঠানো হয়। আমি একটি 20 এমবিট লাইন চালাই এবং দেখতে পেলাম যে প্রেরণকারী পক্ষের এম্বুফারটি রাখার পাশাপাশি কোনও উপকার হয় নি, এছাড়াও আমার প্রধান জেডএফএস বাক্সটি এর সমস্ত ভেড়াটিকে ক্যাশে হিসাবে ব্যবহার করছে তাই এমবাফারকে এমনকি 1 জি দেওয়ার ফলে আমার কিছু ক্যাশে আকার কমিয়ে আনতে হবে।

এছাড়াও, এবং এটি সত্যিই আমার দক্ষতার ক্ষেত্র নয়, আমি মনে করি কেবল ssh কে সংকোচন করতে দেওয়া ভাল। আপনার উদাহরণে আমি মনে করি আপনি bzip ব্যবহার করছেন এবং তারপরে ssh ব্যবহার করছেন যা ডিফল্টরূপে সংক্ষেপণ ব্যবহার করে, সুতরাং এসএসএইচ একটি সংক্ষেপিত স্ট্রিমটি সংক্ষেপণের চেষ্টা করছে। আমি সিফার হিসাবে আরকফোর ব্যবহার করে শেষ করেছি কারণ এটি সর্বনিম্ন সিপিইউ নিবিড় এবং এটি আমার জন্য গুরুত্বপূর্ণ ছিল। অন্য কোনও সাইফারের সাথে আপনার আরও ভাল ফলাফল হতে পারে, তবে আমি অবশ্যই এসএসএইচকে সংকোচন করার অনুমতি দেওয়ার পরামর্শ দিই (বা যদি আপনি সত্যিকার অর্থে সমর্থন না করে এমন কিছু ব্যবহার করতে চান তবে এসএসপি সংক্ষেপণ বন্ধ করুন))

সত্যিই মজার বিষয় হ'ল লোকহোস্টে পাঠানোর সময় এবং গ্রহণের সময় এম্বুফার ব্যবহার করার সাথে সাথে জিনিসগুলিও গতি বাড়িয়ে তোলে:

zfs send tank/pool@snapshot | mbuffer -s 128k -m 4G -o - | zfs receive -F tank2/pool

আমি খুঁজে পেয়েছি যে লোকালহোস্ট স্থানান্তরগুলির জন্য 4 জি আমার কাছে সুইটস্পট বলে মনে হচ্ছে। এটি কেবল এটি দেখায় যে zfs প্রেরণ / গ্রহণ সত্যিই ভালভাবে কাজ করতে প্রবাহের কোনও বিলম্ব বা অন্য কোনও বিরতি পছন্দ করে না।

শুধু আমার অভিজ্ঞতা, আশা করি এটি সাহায্য করবে। এই সমস্ত কিছু বের করতে আমার কিছুটা সময় লেগেছে।

Comments

এই পোস্টটির জন্য অসংখ্য ধন্যবাদ. জেডএফএস আরও প্রেরণে পাঠানোর দিকে তাকালে আমি খুব তাড়াতাড়ি অনুভূতি পেয়েছিলাম যে কোনও বিলম্ব-বেঁধে লক্ষ্যতে পাঠানোর সময় এটির খারাপ আচরণ (ওরফে "ডিজাইন") রয়েছে। প্রায় এক ডজন ফলাফল বলার পরেও যে zfs সম্ভবত কোনও কিছুর জন্য দোষী হতে পারে না। আমি এটি দেখার জন্য সময় নিয়েছি এবং আপনার ফলাফল পোস্ট করার জন্য আমি অত্যন্ত কৃতজ্ঞ।

— ফ্লোরিয়ান হিগল

Answer 3

এটি আপনার নির্দিষ্ট প্রশ্নের উত্তর:

আপনি আরজিপ চেষ্টা করে দেখতে পারেন , তবে এটি এমনভাবে কাজ করে যা কমপ্রেস / বিজিপ / জিজিপ থেকে কিছুটা পৃথক:

rzip আশা করে পুরো ফাইলটি পড়তে সক্ষম হবে, তাই এটি পাইপলাইনে চালানো যাবে না। এটি আপনার স্থানীয় স্টোরেজ প্রয়োজনীয়তাগুলিকে প্রচুর পরিমাণে বাড়িয়ে তুলবে এবং আপনি কোনও একক পাইপে ব্যাকআপ চালাতে এবং তারের উপরে ব্যাকআপ প্রেরণ করতে পারবেন না। এটি বলেছিল, ফলাফল হিসাবে অন্তত এই পরীক্ষা অনুযায়ী ফাইলগুলি কিছুটা ছোট।

যদি আপনার রিসোর্স সীমাবদ্ধতা আপনার পাইপ হয় তবে আপনি কোনওভাবেই 24x7 ব্যাকআপগুলি চালিয়ে যাবেন তাই আপনাকে কেবল স্ন্যাপশটগুলি অনবরত অনুলিপি করা এবং আপনার যে কোনও উপায়ে রাখা আশা করা দরকার।

আপনার নতুন আদেশটি হবে:

remotedir=/big/filesystem/on/remote/machine/
while 
  snaploc=/some/big/filesystem/
  now=$(date +%s)
  snap=snapshot.$now.zfssnap
  test -f $snaploc/$snap
do
  sleep 1
done

zfs send -i tank/vm@2009-10-10 tank/vm@2009-10-12 > $snaploc/$snap &&
rzip $snaploc/$snap &&
ssh offsite-backup "
        cat > $remotedir/$snap.rzip && 
        rzip -d $remotedir/$snap.rzip && 
        zfs recv -F tank/vm < $remotedir/$snap &&
        rm $remotedir/$snap " < $snaploc/$snap &&
rm $snaploc/$snap

আপনি আরও ভাল ত্রুটি সংশোধন রাখতে চাইবেন এবং সংক্ষেপিত ফাইলগুলি স্থানান্তর করতে আপনি আরএসসিএনসি জাতীয় কিছু ব্যবহার বিবেচনা করতে চান যাতে স্থানান্তরটি যদি মাঝখানে ব্যর্থ হয় তবে আপনি যেখানে ছেড়ে গিয়েছিলেন সেখানে বাছাই করতে পারেন।

Answer 4

এই প্রশ্নটি পোস্ট হওয়ার পরে বছরগুলিতে জিনিসগুলি পরিবর্তিত হয়েছে:

1: জেডএফএস এখন সংকুচিত প্রতিলিপি সমর্থন করে, কেবল জেডএফএস প্রেরণ কমান্ডে -c পতাকা যুক্ত করুন এবং ডিস্কে সংক্ষেপিত ব্লকগুলি পাইপ দিয়ে অন্য প্রান্তে যাওয়ার সময় সংকুচিত থাকবে। আরও অধিক সংক্ষেপণ পেতে এখনও থাকতে পারে, কারণ জেডএফএসে ডিফল্ট সংকোচনতা lz4

2: এই ক্ষেত্রে ব্যবহারের জন্য সর্বোত্তম সংকোচকারীটি হল zstd (জেডস্ট্যান্ডার্ড), এটি এখন একটি 'অ্যাডাপিটিভ' মোডযুক্ত যা সংকোচনের স্তরকে পরিবর্তিত করবে (19+ স্তরের সমর্থিত, আরও নতুন উচ্চ গতির zstd-quick স্তরগুলির উপর ভিত্তি করে) zfs প্রেরণ এবং zfs recv মধ্যে লিঙ্কের গতি। এটি ন্যূনতম যেতে পাইপের বাইরে যাওয়ার অপেক্ষায় থাকা ডেটার সারিটি রাখার সময় যতটা সম্ভব কমপ্রেস করে। যদি আপনার লিঙ্কটি দ্রুত হয় তবে এটি ডেটা আরও সংকুচিত করতে সময় নষ্ট করবে না এবং যদি আপনার লিঙ্কটি ধীর গতিতে থাকে তবে এটি ডেটা আরও সংকোচনের কাজ করে রাখবে এবং শেষ পর্যন্ত আপনার সময় বাঁচায়। এটি থ্রেডেড সংকোচনের পক্ষেও সমর্থন করে, তাই আমি একাধিক কোরের সুবিধা নিতে পারি, যা গিজিপ এবং বিজিপ না, পিগজিপের মতো বিশেষ সংস্করণের বাইরে।

Answer 5

আমি ধরে নিচ্ছি আপনি কেবল আপনার সাইটের কাঁচা ব্যান্ডউইথকে বাড়িয়ে তুলতে পারবেন না ...

আপনি হোস্টে সংক্ষেপণ ব্যবহার না করে সুবিধা পেতে পারেন।

আপনি যদি ওয়ান অপটিমাইজারের মতো কিছু ব্যবহার করেন তবে ফাইলটি প্রেরণের আগে আপনি সংকুচিত না করলে এটি স্থানান্তরকে আরও ভালতর করতে সক্ষম করবে, যেমন আপনি যা করছেন ঠিক তেমনটি করেন তবে পাইপ থেকে bzip2 মুছে ফেলুন। আপনার ব্যাকআপের বেশ কয়েক দফা রান করার পরে, ওয়ান অপ্টিমাইজারটি স্থানান্তরটিতে যে স্টাফ দেখায় তার একটি খুব বড় অংশ কেশ করবে এবং আপনি স্থানান্তর গতিতে বিশাল উন্নতি দেখতে পাবেন।

আপনি একটি সীমিত Budge উপর হন, আপনি পারে rsync ব্যবহার করে এবং rsyncing দ্বারা একটি অনুরূপ উন্নতি দেখতে পাবে ডিকম্প্রেস স্ন্যাপশট, অর্থাত্:

zfs send -i tank/vm@2009-10-10 tank/vm@2009-10-12 > /path/to/snapshotdir/snapshotfile
rsync /path/to/snapshotdir/snapshotfile offsite-backup:/remote/path/to/snapshotfile
ssh offsite-backup 'zfs recv -F tank/vm < /remote/path/to/snapshotfile'

এটি আরও দ্রুত হবে কারণ আরএসসিএনসি কেবল গতকালের স্ন্যাপশট এবং আজকের মধ্যে পার্থক্য স্থানান্তর করবে। স্ন্যাপশ্যাটিং প্রক্রিয়াটি কীভাবে কাজ করে তার উপর নির্ভর করে, তারা সত্যই একই ফাইল না হলেও দু'জনের মধ্যে প্রচুর অতিরিক্ত অতিরিক্ত কাজ হতে পারে।

এই সমস্যাটি সমাধানের জন্য ওয়ান অপটিমাইজার হ'ল সম্ভাবনাময় উপায় (ভাল, মেট্রো ইথারনেট এই সমস্যাটি সমাধানের সবচেয়ে সম্ভাব্য উপায়, তবে আমরা এটিকে টেবিলে ছেড়ে দেব)। আরএসসিএনসি অন্ধকারে কেবলমাত্র একটি বুনো শট যা পরীক্ষার জন্য উপযুক্ত (স্থানীয়ভাবে; আরএসসিএনসি আপনাকে জানায় যে এটি একটি সরাসরি কপির চেয়ে কতটা সময় সাশ্রয় করেছিল) আপনার ফাইবার বা রিভারবেড ইনস্টলের জন্য বড় চেক লেখার আগে।

Answer 6

এর মূল্য কী। আমি সরাসরি প্রেরণ করব না | সংক্ষেপে | decompress | স্থানান্তর লাইনটি স্ন্যাপ করে এবং আপনার পুলগুলি প্রাপ্তির সময় দীর্ঘ সময়ের জন্য অফলাইন থেকে থাকে তবে এটি গ্রহণের ফলে সমস্যার সৃষ্টি করতে পারে। আমরা একটি স্থানীয় ফাইলে প্রেরণ করি তারপরে স্ন্যাপশটটি জিপিপ করুন এবং আরএসসিএনসি (রিভারবেড সহ) ব্যবহার করে স্থানান্তর করুন, তারপরে আমরা ফাইলটি পাই। ট্রান্সফার নিয়ে সমস্যা দেখা দিলে এবং নদীর তীরটি পুনরায় চালু করা দরকার পুনরায় প্রেরণের গতিবেগটি যদি নদীঘাট ট্র্যাফিকটিকে অনুকূল করে তোলে না।

আমরা ইনক্রিমেন্টাল স্ন্যাপশটকে সংকুচিত না করে, রাইইএনসি সংকোচনের ব্যবহার এবং নদীর তীর বাদে অন্য কোনও সংকোচনের ব্যবহার না করার দিকে নজর রেখেছি। কোনটি সবচেয়ে ভাল তা বলা মুশকিল তবে আমরা যখন আরএসিক সংক্ষেপণের সাথে ওরাকল থেকে আর্কাইভলোগগুলি স্থানান্তরিত করছি তখন প্লেইন ফাইল এবং রিভারবেডের তুলনায় ট্রান্সফার রেট প্রায় দ্বিগুণ (আরএসআইএনসি সহ)।

আপনার যদি একটি নদীঘাট থাকে তবে রিভারব্যাড আরএসসিএনকে বোঝায় আরএসসিএন না এসএসএস ব্যবহার করুন এবং এটি অনুকূলিত করার চেষ্টা করবে এবং ক্যাশে ডেটা যুক্ত করবে (উপরে দেখুন, স্থানান্তর পুনরায় চালু করে)।

Answer 7

আমার অভিজ্ঞতাটি হ'ল zfs sendনিম্নলিখিত সংক্ষেপণ পদক্ষেপের চেয়ে অনেক দ্রুত (গড়) সত্ত্বেও বেশ ফেটে গেছে। আমার ব্যাকআপ পরে zfs sendএবং আরও কিছু পরে যথেষ্ট বাফারিং সন্নিবেশ করায় gzip:

zfs send $SNAP | mbuffer $QUIET -m 100M | gzip | mbuffer -q -m 20M | gpg ... > file

আমার ক্ষেত্রে আউটপুট ডিভাইসটি ইউএসবি (নেটওয়ার্ক নয়) সংযুক্ত, তবে একই কারণের জন্য বাফারিং গুরুত্বপূর্ণ: ইউএসবি ড্রাইভকে 100% ব্যস্ত রাখলে সামগ্রিক ব্যাকআপ সময় দ্রুত হয়। আপনি সামগ্রিকভাবে কম বাইট না প্রেরণ করতে পারেন (যেমন আপনি অনুরোধ করেছেন) তবে আপনি এখনও তাড়াতাড়ি শেষ করতে পারেন। বাফারিং সিপিইউ-বাউন্ডের সংক্ষেপণ পদক্ষেপকে আইও-বাউন্ড হওয়া থেকে রক্ষা করে।

Answer 8

WAN এর মাধ্যমে প্রেরণ করার সময় আমি সর্বদা pbzip2 ব্যবহার করি (সমান্তরাল bzip2)। যেহেতু এটি থ্রেড করা হয়েছে আপনি -p বিকল্পের সাহায্যে থ্রেডের সংখ্যা নির্দিষ্ট করতে পারেন। হোস্ট প্রেরণ এবং গ্রহণ উভয়ই প্রথমে pbzip2 ইনস্টল করুন, ইনস্টলেশন নির্দেশাবলী http://compression.ca/pbzip2/ এ রয়েছে ।

zfs send -i tank/vm@2009-10-10 tank/vm@2009-10-12 | pbzip2 -c | \
ssh offsite-backup "pbzip2 -dc | zfs recv -F tank/vm"

প্রধান কী হ'ল আপনার স্ন্যাপশটের আকার আরও ছোট করে প্রতিটি স্ন্যাপশট প্রেরণ করার জন্য ঘন ঘন ব্যবধানে (min 10 মিনিট) স্ন্যাপশট তৈরি করা। ssh কোনও ভাঙা স্ন্যাপশট স্ট্রিম থেকে পুনরায় শুরু হবে না তাই আপনার যদি প্রেরণের জন্য একটি বিশাল স্ন্যাপশট থাকে, pbzip2 এ স্ট্রিমটি পাইপ করুন তবে পরিচালনাযোগ্য মাপের অংশগুলিতে বিভক্ত হন, তারপরে হোস্ট গ্রহণের জন্য rsync স্প্লিট ফাইলগুলি, তারপরে zfs কে পাইপ টু পিঙ্কজিপ 2 ফাইলগুলি পুনরায় আরভিউ করুন।

zfs send -i tank/vm@2009-10-10 tank/vm@2009-10-12 | pbzip2 -c | \
split -b 500M - /somedir/snap-inc-10-to-12.pbzip2--

এটি 500MB অংশগুলিতে নামযুক্ত ফাইলগুলি তৈরি করবে:

/somedir/snap-inc-10-to-12.pbzip2--aa
/somedir/snap-inc-10-to-12.pbzip2--ab
/somedir/snap-inc-10-to-12.pbzip2--ac
...

একাধিকবার হোস্ট গ্রহণ করতে rsync (zfs প্রেরণের পূর্বেই আপনি rsync করতে পারেন বা যতক্ষণে আপনি 500MB এর সম্পূর্ণ অংশ দেখতে পান), বাতিল করতে যে কোনও সময় ctrl + c টিপুন :

while [[ true ]]; do rsync -avP /somedir/snap-inc-10-to-12.pbzip2--* offsite-backup:/somedir ; sleep 1; done;

zfs গ্রহণ:

cat /somedir/snap-inc-10-to-12.pbzip2--* | pbzip2 -dc | zfs recv -Fv tank/vm

ব্যবহারকারী ফ্রাইন্ড উল্লেখ করেছেন: এর মূল্য কী। আমি সরাসরি প্রেরণ করব না | সংক্ষেপে | decompress | স্থানান্তর লাইনটি স্ন্যাপ করে এবং আপনার পুলগুলি প্রাপ্তির সময় দীর্ঘ সময়ের জন্য অফলাইন থেকে থাকে তবে এটি গ্রহণের ফলে সমস্যার সৃষ্টি করতে পারে। - আমি এর আগে প্রবীণ zfs সংস্করণ <28 গ্রহণের হোস্টে সমস্যার মুখোমুখি হয়েছি যদি চলমান প্রেরণ / recv নেটওয়ার্ক ড্রপ দ্বারা বাধাগ্রস্ত হয় তবে পুলগুলি অফলাইন হয় না তার পরিমাণে। ইহা আকর্ষণীয়. "Zfs recv" প্রাপ্তির শেষে উপস্থিত থাকলে স্ন্যাপশটটি পুনরায় পাঠান। প্রয়োজনে ম্যানুয়ালি "zfs recv" হত্যা করুন। ফ্রিবিএসডি বা লিনাক্সে এখন zfs প্রেরণ / recv অনেক উন্নত হয়েছে।

Answer 9

আপনি সম্ভবত এসএমএস-এর ব্লোফিশ-সিবিসি-র জন্য একটি দ্রুত সাইবার বাছাই করতে পারেন -123456789 স্যুইচও ব্যবহার করে দেখুন

-1 (or --fast) to -9 (or -best)

Comments

ইউনিক্স ম্যান পৃষ্ঠা থেকে: - ওফেষ্ট এবং --best এলিয়াসগুলি মূলত GNU gzip সামঞ্জস্যের জন্য। বিশেষত - প্রাতঃরাশের জিনিসগুলি দ্রুততর করে না। এবং --best নিছক ডিফল্ট আচরণ নির্বাচন করে।

— সিসাদমিনিকাস

সুতরাং এটি আপনার ক্ষেত্রে কোনও প্রভাব ফেলবে না। সিফারের কী হবে?

— ইস্তান

LZMA সংকোচনের সাথে আমার ভাগ্য ভাল, তবে এটি হতে পারে যে আপনার লিঙ্কটি খুব স্লো।

— Amok

Answer 10

আপনাকে আপনার ডেটা দিয়ে পরীক্ষা করতে হবে। এটি কেবল একটি ফাইলের কাছে প্রেরণ করুন এবং প্রতিটি পদ্ধতির সাথে সংকুচিত করুন।

আমাদের জন্য, জিজিপ একটি বিশাল পার্থক্য করেছে এবং আমরা এর মাধ্যমে সমস্ত কিছু চালিয়েছি, তবে জিজিপ এবং বিজিপ বা zz এর মধ্যে 1% পার্থক্যও ছিল না।

আপনি যদি ধীর T1 তে থাকেন তবে আপনাকে এটি একটি ফাইলে সংরক্ষণ করতে হবে এবং এটির পুনরায় সিএনসি করতে হবে।

ব্যান্ডউইদথের চেয়ে সিপিইউ দ্বারা যারা কিছুটা সীমাবদ্ধ তাদের (আপনি নয়), যেমন লাইস্টওয়ান বলেছিলেন আরকফোর 128 এর মতো একটি ভিন্ন সাইফার গতি বাড়িয়ে তোলে। জিনিসগুলি চারদিকে ঘোরাতে গিয়ে আমরা অভ্যন্তরীণভাবে এটি ব্যবহার করি।

Answer 11

জেডএফএসের জন্য ডিডআপ চালু করার সাথে পরীক্ষা -২০ পাঠান। সঞ্চয় আপনার ডেটাতে অবশ্যই কতটা নকল রয়েছে তার উপর নির্ভর করে।

Comments

যেহেতু তিনি ব্যবহার করছেন -iযা "ইনক্রিমেন্টাল" ব্যাকআপ বোঝায়, তেমন আশা নেই যে -Dকিছু দেবে।

— পোয়েজ

@ পোয়েজ তাদের ডেটা কেমন দেখাচ্ছে তার উপর নির্ভর করে। যদি তারা নকল ব্লকযুক্ত প্রচুর ডেটা তৈরি করে তবে এটি বড় জয় a আমি দেখতে পাচ্ছি না কীভাবে আমি এটির নকল ব্লক হওয়ার কম-বেশি সম্ভাবনা তৈরি করব। যদি আপনি সাধারণত এমন অনেকগুলি নকল তৈরি করেন এমন ডেটা তৈরি করেন তবে আপনি সম্ভবত প্রতিদিনের মধ্যে প্রচুর নকল তৈরি করতে চলেছেন, তাই -i সাহায্য বা ক্ষতি করতে পারে না।

— জেমস মুর

ঠিক আছে, আপনার যদি প্রচুর ডুপ্লিকেট থাকে তবে যে কোনও সংকোচনে এটি তার যত্ন নেবে।

— পোয়েজ

@ পয়েজ তাদের তাদের প্রকৃত ডেটার বিপরীতে পরিমাপ করতে হবে। আপনার কাছে অবশ্যই ডেটাসেট থাকতে পারে যা খারাপভাবে সংকোচিত হয় এবং সত্যিই ভালভাবে ডেডআপ করে। উদাহরণস্বরূপ, একই সংক্ষেপিত ভিডিও ফাইলের একাধিক অনুলিপি সত্যিই ভালভাবে কেটে যায় এবং ফাইল সিস্টেমের স্তরে সংক্ষেপণ সম্ভবত বেহুদা worse

— জেমস মুর

আহা, এই ক্ষেত্রে - হ্যাঁ

— po

Answer 12

"সেরা" সংক্ষেপণ অ্যালগরিদম আপনার কী ধরণের ডেটা রয়েছে তার উপর নির্ভর করে - আপনি যদি এমপি 3 সংগ্রহের চাপ দিচ্ছেন তবে সংক্ষেপণ প্রক্রিয়াটি কমিয়ে দেবে, অন্যদিকে পাঠ্য / লগফাইলে উল্লেখযোগ্যভাবে সংকুচিত হতে পারে gzip -9 ।

আপনি প্রতিদিন কতটা ডাটা চাপ দিচ্ছেন?

Answer 13

আপনি কি নিজের টিসিপি / আইপি স্ট্যাকটি সুরক্ষার কথা বিবেচনা করেছেন যাতে আপনি টিসিপি বাফার এবং উইন্ডো আকারগুলি কিছুটা বড় হয়? আপনি এর nddজন্য সোলারিসের সরঞ্জামটি বা sysctlলিনাক্স / বিএসডি / ম্যাক ওএসএক্স- এর সরঞ্জামটি ব্যবহার করতে পারেন । সোলারিস, আপনি যা খুঁজছেন /dev/tcp tcp_max_bufএবং /dev/tcp tcp_cwnd_maxমূল্যবোধ, এবং Linux sysctl উপর, আপনি যা খুঁজছেন net.ipv4.tcp_mem, net.ipv4.tcp_rmemএবংnet.ipv4.tcp.wmem মানগুলি।

এছাড়াও, এই লিঙ্কগুলি কিছু অতিরিক্ত সাহায্যের হতে পারে:

সোলারিস টিসিপি পারফরম্যান্স টিউনিং

এই পৃষ্ঠার নীচে লিঙ্কগুলির একটি সেট রয়েছে যা লিনাক্স / বিএসডি / ওএসএক্সের জন্য একইভাবে কীভাবে করা যায় তা ব্যাখ্যা করবে।

Comments

1. এটি 5 বছরের পুরানো প্রশ্ন যা আপনি খনন করছেন। ২. তিনি বলেননি যে লিঙ্কটি নিম্নগতিযুক্ত এবং সংক্ষেপণের বিষয়ে জিজ্ঞাসা করা হয়েছিল, যা আপনি উল্লেখ করেন না। ৩. বেশিরভাগ ওএসএস আজকাল উইন্ডো আকারের স্বয়ংক্রিয়ভাবে সুর করে। আপনার লিঙ্ক করা তথ্যটি 3 বছর আগে লেখক পোস্ট করেছেন old

— ক্রিস এস