বড় ফাইল (GB 20 গিগাবাইট) অনুলিপি করার জন্য সিপির আরও দ্রুত বিকল্প আছে কি?

Question

আমি একজন স্নাতক ছাত্র এবং আমি যে গ্রুপে কাজ করি তা লিনাক্স ক্লাস্টার বজায় রাখে। ক্লাস্টারের প্রতিটি নোডের নিজস্ব স্থানীয় ডিস্ক রয়েছে তবে এই স্থানীয় ডিস্কগুলি তুলনামূলকভাবে ছোট এবং স্বয়ংক্রিয় ব্যাকআপের সাথে সজ্জিত নয়। সুতরাং গ্রুপটি অনেকগুলি টিবি স্টোরেজ স্পেস সহ একটি ফাইলসভারের মালিক। আমি তুলনামূলকভাবে লিনাক্স আভিজাতিক, তাই গতি, নেটওয়ার্কিং ক্ষমতা ইত্যাদির ক্ষেত্রে ফাইলসভারের স্পাকগুলি কী তা আমি নিশ্চিত নই আমি অভিজ্ঞতা থেকে জানি যে স্থানীয় ডিস্কগুলি আই / ও এর ক্ষেত্রে ফাইলসভারের তুলনায় উল্লেখযোগ্যভাবে দ্রুততর । প্রায় এক ডজন বা তার বেশি লোক ফাইলসভারটি ব্যবহার করে।

cpস্থানীয় ডিস্কগুলির মধ্যে ফাইলসভার থেকে একটি 20 গিগাবাইট ফাইল অনুলিপি করতে ব্যবহার করতে রিয়েল টাইমে গড়ে প্রায় 11.5 মিনিট সময় লাগে (অনুযায়ী time)। আমি জানি যে এই cpঅপারেশনটি খুব দক্ষ নয় কারণ (1) timeআমাকে বলেছে যে এই জাতীয় অনুলিপিটির জন্য সিস্টেমের সময়টি কেবলমাত্র 45 ডলার; এবং কারণ (২) আমি যখন topঅনুলিপি চলাকালীন পরীক্ষা করি তখন % সিপিইউ বেশ কম হয় (পরিদর্শন দ্বারা, গড়ে প্রায় 0-10% )।

ব্যবহার cpএকই স্থানীয় ডিস্কে অন্য ফোল্ডারে স্থানীয় ডিস্কে একটি ফোল্ডার থেকে একই ~ 20 গিগাবাইট ফাইল অনুলিপি করার জন্য কম সময় লাগে - রিয়েল টাইমে 9 মিনিট (~ সিস্টেমের সময় 51 সেকেন্ড, অনুযায়ী সম্পর্কে time)। প্রত্যাশিতভাবে স্থানীয় ডিস্কের তুলনায় ফাইলসার্ভারটি কিছুটা ধীরে ধীরে ধীরে ধীরে ধীরে ধীরে ধীরে ধীরে বেড়েছে significantly আমি অবাক হয়েছি যে স্থানীয় থেকে একই লোকাল থেকে অনুলিপি করা 9 মিনিটের চেয়ে দ্রুত নয়।

আমার ফাইলসার্ভার থেকে স্থানীয় ডিস্কগুলির মধ্যে একটিতে 200 ডলার বড় ফাইল - প্রতি 20 জিবি copy সুতরাং, আমার প্রশ্ন: লিনাক্সে বড় ফাইলগুলি অনুলিপি করার cpজন্য আরও দ্রুত বিকল্প আছে কি ? (বা এর মধ্যে এমন কোনও পতাকা রয়েছে cpযা আমি ব্যবহার করতে পারি যা অনুলিপিটি বাড়িয়ে তুলবে?) এমনকি আমি যদি এই অনুলিপি করার সময়টি থেকে এক মিনিটও শেভ করতে পারি, তবে এটি প্রচুর সাহায্য করবে।

আমি নিশ্চিত যে নতুন, দ্রুত হার্ডওয়্যার ডিস্ক কেনা, তবে আমার এ জাতীয় সংস্থানগুলিতে অ্যাক্সেস নেই। আমি কোনও সিস্টেম প্রশাসকও নই - আমি কেবল একজন (নবজাতক) ব্যবহারকারী - সুতরাং ডিস্কগুলিতে থাকা লোড সম্পর্কে আমার আরও বিশদ তথ্যে অ্যাক্সেস নেই। আমি জানি যে প্রায় এক ডজন লোক যদি প্রতিদিন ফাইলসভার ব্যবহার করে তবে আমি কেবলমাত্র এই বিশেষ নোড / লোকাল ডিস্ক ব্যবহার করি।

Comments

এটি প্রায় 29MB / s করে তোলে, আপনি যদি আমাকে জিজ্ঞাসা করেন তবে তা খুব দ্রুত। আমি মনে করি না এমন কোনও কমান্ড রয়েছে যা এটির গতি বাড়িয়ে দেবে, "বাটলনেক" সম্ভবত ক) নেটওয়ার্ক বা খ) ফাইল-সার্ভার।

— Tink

টিঙ্ক 100% সঠিক। আমি কখনও এমন কিছু দেখিনি যা এর উন্নতি করতে পারে। আমি অতীতে যা করেছি কেবল তা হ'ল এটি প্রেরণের আগে তথ্যকে সংকুচিত করা, তবে এর অর্থ আপনি সংকোচন পদক্ষেপ এবং ডিকম্প্রেশন পদক্ষেপের সাথে সময় যোগ করছেন, তবে কখনও কখনও এটি উপযুক্ত হয় যদি ডেটা ভাল প্রার্থী হয় সংকুচিত!

— slm

এছাড়াও আপনি চেষ্টা করে দেখতে পারেন ddএবং rsyncতুলনা করতে আপনার পরিবেশ দ্রুত যা এক কাজ করে

— রাজা

@ স্যালটন ধন্যবাদ আমি এখনও চেষ্টা করিনি dd, তবে আমি চেষ্টা করেছি মাত্র rsync। রিয়েল টাইমে 11.5 মিনিট সম্পর্কে ছিল এবং সিস্টেমের সময় 1.5 মিনিট সম্পর্কে ছিল অনুযায়ী time।

— অ্যান্ড্রু

আমি অবাক হয়েছি যে কেউই চিহ্নিত করেন নি যে স্থানীয় ডিস্কের অনুলিপি থেকে স্থানীয় ডিস্ক একাধিক ডিস্ক মাউন্ট করে আরও কার্যকর করা যায়। থেকে কপি করা /dev/sda1থেকে /dev/sdb1এক স্থান থেকে কপি তুলনায় দ্রুততর হতে যাচ্ছে /dev/sda1উপর অন্য কোনো স্থানে /dev/sda1বা অন্য পার্টিশন /dev/sdaকারণ হার্ড ড্রাইভ অতিরিক্ত কামনা মধ্যে পড়ে এবং কি করতে হবে না লিখেছেন (ডিস্ক কাটনা এবং মাথা চলন্ত চিরাচরিত হার্ড ড্রাইভ অভিমানী; এসএসডি স্পষ্টতই আলাদা)।

— ট্রিপলি

Answer 1

অনুলিপি চলাকালীন % সিপিইউ কম হওয়া উচিত । সিপিইউ ডিস্ক নিয়ন্ত্রককে "সেক্টর এক্স – ওয়াই থেকে জেড এ মেমরি বাফারে ডেটা ধরতে" বলে। তারপরে এটি গিয়ে অন্য কিছু করে (বা ঘুম, অন্য কিছু না থাকলে)। ডেটা স্মৃতিতে থাকা অবস্থায় হার্ডওয়্যার একটি বাধা দেয়। তারপরে সিপিইউকে এটি কয়েকবার অনুলিপি করতে হবে এবং নেটওয়ার্ক কার্ডকে "এ, বি, এবং সি মেমরি অবস্থানে প্যাকেটগুলি প্রেরণ করবে" বলে। তারপরে এটি অন্য কিছু করতে ফিরে যায়।

আপনি 240 এমবিপিএস চাপ দিচ্ছেন। গিগাবিট ল্যানে আপনার কমপক্ষে 800 এমবিপিএস করতে সক্ষম হওয়া উচিত, তবে:

1. ফাইল সার্ভার ব্যবহার করে প্রত্যেকের মধ্যে এটি ভাগ করা হয়েছে (এবং সম্ভবত সুইচগুলির মধ্যে একটি সংযোগ) ইত্যাদি
2. ফাইল সার্ভার যে গতিতে এই লিখনটি পরিচালনা করতে পারে তার গতি দ্বারা এটি সীমাবদ্ধ থাকবে, এর ডিস্কটি I / O ব্যান্ডউইথ এটি ব্যবহার করে সবাই ভাগ করে নেবে mind
3. আপনি ফাইল সার্ভার (এনএফএস, সিআইএফএস (সাম্বা), এএফএস, ইত্যাদি) কীভাবে অ্যাক্সেস করছেন তা আপনি নির্দিষ্ট করেননি। আপনার নেটওয়ার্ক মাউন্ট টিউন করার দরকার হতে পারে তবে অর্ধ-সাম্প্রতিক যে কোনও ক্ষেত্রে ডিফল্টগুলি সাধারণত বেশ বুদ্ধিমান হয়।

বাধাটি সন্ধান করার জন্য, iostat -kx 10একটি দরকারী কমান্ড হতে চলেছে। এটি আপনাকে আপনার স্থানীয় হার্ড ডিস্কগুলিতে ব্যবহারটি দেখাবে। যদি আপনি এটি ফাইল সার্ভারে চালাতে পারেন তবে এটি আপনাকে জানাবে যে ফাইল সার্ভারটি কতটা ব্যস্ত।

সাধারণ সমাধানটি সেই বাধাটিকে গতিময় করতে চলেছে, যার অবশ্যই বাজেট আপনার নেই। তবে, কয়েকটি বিশেষ কেস রয়েছে যেখানে আপনি দ্রুত পদ্ধতির সন্ধান করতে পারেন:

• যদি ফাইলগুলি সংকোচনযোগ্য হয় এবং আপনার একটি দ্রুত সিপিইউ থাকে তবে অন ​​ফ্লাই-এ কমপক্ষে কমপ্রেস করা দ্রুততর হতে পারে। কিছু lzopবা হতে পারে gzip --fastest।
• আপনি যদি এখানে এবং সেখানে কয়েকটি বিট পরিবর্তন করছেন এবং ফাইলটি ফেরত পাঠাচ্ছেন তবে কেবল ডেল্টাস পাঠানো আরও দ্রুত হবে। দুর্ভাগ্যক্রমে, rsyncসত্যই এখানে সহায়তা করবে না, কারণ ব-দ্বীপটি আবিষ্কার করার জন্য উভয় পক্ষের ফাইলটি পড়তে হবে। পরিবর্তে, আপনার এমন কিছু দরকার যা ফাইল বদলানোর সাথে সাথে বদ্বীপটিকে ট্র্যাক করে রাখে ... এখানে বেশিরভাগ পন্থা অ্যাপ-নির্দিষ্ট। তবে এটি সম্ভব যে আপনি ডিভাইস-ম্যাপার (ব্র্যান্ড নিউ ডিএম-যুগের লক্ষ্য দেখুন ) বা বিটিআরএফ দিয়ে কিছু ছুঁড়ে ফেলতে পারেন।
• আপনি যদি একাধিক মেশিনে একই ডেটা অনুলিপি করেন তবে আপনি একবারে সমস্ত মেশিনে প্রেরণে udpcast এর মতো কিছু ব্যবহার করতে পারেন।

এবং যেহেতু আপনি লক্ষ করেছেন যে আপনি সিসাদমিন নন, আমি অনুমান করছি যে এর অর্থ আপনার কাছে সিসাদমিন রয়েছে। বা ফাইল সার্ভার এবং নেটওয়ার্কের জন্য কমপক্ষে দায়বদ্ধ কেউ। আপনার সম্ভবত তাকে / তাদের / তাদের জিজ্ঞাসা করা উচিত, সেগুলি আপনার সেটআপের বিশদগুলির সাথে আরও বেশি পরিচিত হওয়া উচিত। আপনার সিসাদমিন (গুলি) কমপক্ষে আপনাকে কী স্থানান্তর হারটি যুক্তিসঙ্গতভাবে আশা করতে পারে তা জানাতে সক্ষম হওয়া উচিত।

Comments

Iostat -kx 10 :-) এর জন্য +1

— n611x007

Answer 2

এটি সম্ভবত একটি দ্রুত বিকল্প হতে পারে এবং আপনি দু'দিন নেটওয়ার্ক আটকাবেন না: এক বা দুটি বড় ইউএসবি (ইউএসবি 3 আপনার কাছে থাকলে) বা ফায়ারওয়্যার ডিস্ক নিন, এটি সার্ভারের সাথে সংযুক্ত করুন এবং ফাইলগুলিতে অনুলিপি করুন ডিস্ক আপনার স্থানীয় মেশিনে ডিস্ক বহন করুন। ফাইলগুলি মেশিনে অনুলিপি করুন।

Comments

Sneakernet ( en.wikipedia.org/wiki/Sneakernet ) খুব দ্রুত হতে পারে: কখনও একটি স্টেশন হাইওয়ে নিচে hurtling টেপ পূর্ণ কামরা ব্যান্ডউইথ অবমূল্যায়ন করবেন না।

— স্প্লিন্টারলেলিটি

Answer 3

আপনার দক্ষতার সংজ্ঞা পিছনের দিকে। আরও কার্যকর বাস্তবায়ন কম সিপিইউ সময় নষ্ট করে। স্থানীয় অনুলিপিতে আপনি গড় MB৪ এমবি / এস থ্রুপুট (পড়ুন + লিখুন) এর গড় মূল্য নির্ধারণ করছেন যা একক হার্ডডিস্কের মতো কার্যকর।

Comments

উফ। যখন আমি "দক্ষ" বলি তখন আমার অর্থ "দ্রুত"।

— অ্যান্ড্রু

Answer 4

আপনার যদি সরাসরি এসএসএইচ (বা এসএফটিপি) অ্যাক্সেস থাকে (আপনার সিসাদমিনকে জিজ্ঞাসা করুন), আপনি scpসংক্ষেপণ ( -C) দিয়ে ব্যবহার করতে পারেন :

scp -C you@server:/path/to/yourfile .

অবশ্যই, এটি কেবলমাত্র তখনই কার্যকর যদি ফাইলটি সংকোচযোগ্য হয় এবং এটি আরও সিপিইউ সময় ব্যবহার করবে, যেহেতু এটি এনক্রিপশন (কারণ এটি এসএসএইচ এর ওপরে) ব্যবহার করবে এবং সংকোচন করবে।

Comments

এই ক্ষেত্রে, এনক্রিপশনটি অক্ষম করা কার্যকর হবে। মনে রাখবেন আমরা অনুলিপিটি আরও দ্রুত করার চেষ্টা করছি ।

— দীর্ঘ

@ লার্জজেট আমি সন্দেহ করি যে হার্ড ড্রাইভগুলি ধীর হয়ে গেছে তা বিবেচনা করে এনক্রিপশনের ওভারহেড তাৎপর্যপূর্ণ হবে না। আমি এ সম্পর্কে কিছু যুক্ত করার বিষয়টি বিবেচনা করেছি -c none, তবে এটি মানহীন বলে মনে হচ্ছে ।

— মনিকা

আমরা ~ 20 জি ফাইলগুলি নিয়ে কাজ করছি যাতে প্রয়োজন হয় না তবে এনক্রিপশন ব্যবহার করা এটি বেশ অযোগ্য।

— দীর্ঘতম দিন

@ লার্জার্জ এনক্রিপশনটি তিনি যে থ্রুপুট পাচ্ছেন তার চেয়ে অনেক বেশি দ্রুত সম্পন্ন করা যায়, তাই এটি কোনও গতি কমিয়ে দেয় না। তবে এখানে এসএসএইচ দিয়ে যাওয়া অপ্রয়োজনীয় বলে মনে হচ্ছে না। আপনার যদি কেবল সংক্ষেপণের প্রয়োজন হয় তবে অবশ্যই অন্যান্য সরঞ্জাম রয়েছে?

— থমাস

@ থমাস এসএসএইচের সুবিধা হ'ল যদি আপনার রিমোট সার্ভারে অ্যাক্সেস থাকার কথা থাকে তবে এটি অবশ্যই এসএসএইচ দিয়ে চলেছে। আরেকটি বিকল্প হ'ল স্থানীয়ভাবে ফাইলটি সংকুচিত করা, সার্ভারে এটি অনুলিপি করা, তারপরে sshএবং এটি সংক্ষেপিত করা ..

— মনিকা

Answer 5

cpবাস্তবায়ন সম্ভবত বোতলের নয়। iotopসার্ভার এবং ক্লাস্টার নোড উভয়ের মাধ্যমে আইও ব্যবহার পর্যবেক্ষণ করার চেষ্টা করুন । এটি আপনাকে ধারণা দেবে যেখানে আপনি পারফরম্যান্সটি উন্নত করতে পারেন।

আরেকটি পরামর্শ, একই হোস্ট থেকে একই ডেটা অনুলিপি করা এড়ানো। উদাহরণস্বরূপ, যদি আপনার নেটওয়ার্কে ফাইলসভার থেকে সমস্ত ক্লাস্টার নোডে বিতরণ করার জন্য অভিন্ন 20 জি ফাইল থাকে তবে আপনি ওয়ান-সার্ভার-থেকে-সমস্ত ক্লায়েন্টের পরিবর্তে পিয়ার-টু-পিয়ার ফ্যাশনে ফাইলগুলি অনুলিপি করতে খুব দ্রুত কাজ করবে। এটি প্রয়োগ করা কিছুটা জটিল, তবে আপনি সরাসরি সংযোগ হাবের মতো কিছু কমান্ডলাইন পি 2 পি ব্যবহার করার চেষ্টাও করতে পারেন।

যদি 20 জি ফাইলগুলির মধ্যে কিছু অংশ সাধারণ হয় এবং কিছু ক্লাস্টার নোড নির্দিষ্ট হয় তবে এটিকে সাধারণ এবং নির্দিষ্ট অংশগুলিতে বিভক্ত করার বিষয়টি বিবেচনা করুন এবং তারপরে সাধারণ অংশটি পি 2 পি উপায়ে বিতরণ করুন।

Comments

আপনি যদি ল্যানে থাকেন তবে আপনার পিয়ার-টু-পিয়ারের পরিবর্তে মাল্টিকাস্ট করতে সক্ষম হওয়া উচিত। যা দ্রুত হওয়া উচিত, এবং নেটওয়ার্কে লোড কম।

— ডারোবার্ট

Answer 6

এই ফাইলগুলির প্রকৃতি / বিষয়বস্তু কিছুটা আলাদা করতে পারে। আমি বুঝতে পেরেছিলাম যে আপনার 200 কম্পিউটার, এক কম্পিউটার থেকে অন্য কম্পিউটারে 20 গিগাবাইট ডলার অনুলিপি করা উচিত?

যদি এই ফাইলগুলি সংকোচনযোগ্য হয় বা অনুরূপ / অভিন্ন টুকরা সহ, আপনার কাছে দুটি পন্থা রয়েছে:

• অনুলিপি করার আগে এগুলিকে জিপ করুন বা কম্পিউটারের মধ্যে জিপ সক্ষম করে একটি টানেল তৈরি করুন। সুতরাং, নেটওয়ার্কটি যদি বাধা হয় তবে এটি আরও দ্রুত হবে

• যদি ফাইলগুলি খুব একই রকম হয়, বা তাদের মধ্যে সাধারণ সামগ্রীগুলির কিছু অংশ ভাগ করে নেওয়া হয় তবে rsync ব্যবহার করে দেখুন । ফাইলগুলির মধ্যে যা সাধারণ তা খুঁজে পেতে এটি কিছুটা সময় ব্যয় করবে এবং এটিকে আক্ষরিক অনুলিপি করার প্রয়োজন হবে না , কারণ এটি সাধারণের ভিত্তিতে এটি পুনর্গঠন করবে।

সম্পাদন করা

আপনি কি সেই ফাইলগুলি অনেকবার অনুলিপি করতে হবে ?? (একটি অনুলিপি -> সেই ফাইলগুলি ব্যবহার করুন -> কম্পিউটারে থাকা ফাইলগুলিতে কিছু পরিবর্তন করুন A -> ফাইলগুলি আবার কম্পিউটার বিতে অনুলিপি করুন)

যদি তা হয় তবে, আরএসসিএনসি সহায়ক হবে, কারণ এটি সংস্করণগুলির মধ্যে সমান কী তা সনাক্ত করার চেষ্টা করবে এবং অপরিবর্তিত রয়েছে তা অনুলিপি করবে না।

এবং একটি তৃতীয় পদ্ধতি: যদি উপরেরটি সঠিক হয় (ফাইলের পরিবর্তন হয়, তবে সমস্ত ফাইলগুলি আবার দ্বিতীয় কম্পিউটারে অনুলিপি করুন) আপনি binary diffপ্রথম কম্পিউটারে যা পরিবর্তন হয়েছিল তা দ্বিতীয় কম্পিউটারে পরিবর্তন করার জন্য কিছু চেষ্টা করতে পারেন ।

Answer 7

আমি এখানে নিম্নলিখিতটি দেখছি, এনক্রিপশনটি কোনও ভাল ধারণা নয় কারণ এটি স্থানান্তরিত হওয়ার জন্য ডেটার পরিমাণ সম্ভবত বাড়িয়ে তুলতে পারে।

যদি আপনি দুটি সিস্টেমের মধ্যে অনুলিপি করছেন, তবে বাধাটি অবশ্যই সার্ভারগুলির মধ্যে সংযোগ।

আপনি যদি স্থানীয়ভাবে অনুলিপি করছেন, প্রক্রিয়াটি কীভাবে হয় তা দেখুন, এটি একত্রে থ্রেডযুক্ত হয়, এইভাবে স্ট্যান্ডার্ড লিনাক্স ইউটিলিটিগুলি ব্যবহার করে:

- for all blocks in a file
      read a block
      write a block

এই ক্রিয়াকলাপের কোনও সম্মতি নেই।

জিনিসগুলির গতি বাড়ানোর জন্য আপনি এরকম কিছু ব্যবহার করতে পারেন:

  buffer -i infile -o outfile -m size-of-shared-memory-default-1MByte

আরও তথ্যের জন্য বাফার (1) ম্যান পৃষ্ঠা দেখুন।

বাফার কমান্ড কপি প্রসেসটি একই সাথে চালানোর জন্য দুটি প্রক্রিয়া সেট আপ করে: একটি পড়ার জন্য, এবং অন্যটি লেখার জন্য, এবং এটি দুটি প্রক্রিয়ার মধ্যে ডেটা যোগাযোগ করার জন্য একটি ভাগ করা মেমরি বাফার ব্যবহার করে। ভাগ করা মেমরি বাফার হ'ল আপনার ক্লাসিক বিজ্ঞপ্তি বাফার যা অলিখিত লিখিত ওভাররাইট এবং ইতিমধ্যে লিখিত ডেটা লেখার প্রতিরোধ করে। আমি এই প্রোগ্রামটি ডিস্ক থেকে টেপে স্থানান্তরিত করার জন্য অনুলিপি সময়ের প্রায় 10-20% কেটে ব্যবহার করেছি।

Comments

প্রকৃতপক্ষে, "একটি ব্লকটি পড়ুন / একটি ব্লক লিখুন" এর মধ্যে একযোগ রয়েছে কারণ "একটি ব্লক লিখুন" আসলে এটি কেবল কার্নেলের বাফারে রাখে এবং কার্নেলটি পটভূমিতে প্রকৃত ব্লক লিখনকে পরিচালনা করে (কমপক্ষে, যতক্ষণ না আপনি চালিয়ে যাওয়া শুরু করেন) র‌্যামের)। বা যদি আপনি কোনও কারণে O_DSYNC / O_SYNC ব্যবহার করছেন।

— ডারোবার্ট

Answer 8

যদি আপনার একই ক্লাস্টার একই সাথে আপডেট করার প্রয়োজন হয় তবে কেন পি 2 পি প্রচারের অ্যালগরিদম চেষ্টা করবেন না?

https://github.com/lg/murder টুইটার ব্যবহার করে

এখানে বিটিএসসিঙ্ক রয়েছে যা আপনি চেষ্টা করে দেখতে পারেন।

Answer 9

যদি আপনি এখানে এবং সেখানকার সামান্য পরিবর্তন সহ আপনার স্থানীয় কম্পিউটার থেকে সার্ভারে প্রায়শই একই ফাইলগুলির অনুলিপি করছেন। আপনি আরএসসিএনসি বা ডিভিসিএস (উদাহরণস্বরূপ এইচজি বা গিট) ব্যবহার করে স্থানান্তরটি দ্রুত করতে পারবেন।

গিট বা এইচ.জি. ডেল্টাসকে ট্র্যাক এবং সনাক্ত করতে পারে এবং কেবল সেই ডেল্টা স্থানান্তর করতে পারে। গিট ব্যবহারের ক্ষেত্রে, উভয় পক্ষেরই সংগ্রহশালার সম্পূর্ণ ইতিহাস রয়েছে, তাই ব-দ্বীপটি খুব সস্তা cheap

আরএসএনসি ডেল্টাসকে সনাক্ত করতে অন্যদিকে কী রয়েছে তার পূর্বের জ্ঞান ছাড়াই রোলিং চেকসামিং অ্যালগরিদম একধরণের রূপ ব্যবহার করে। যদিও ডেল্টাস গণনা করতে আরএসইএনসি-র জন্য আরও বেশি কাজ লাগে তবে পুরো ফাইলের ইতিহাস সংরক্ষণ করার প্রয়োজন হয় না।

Answer 10

আপনি সমস্ত ফাইলকে একটি একক সংরক্ষণাগারে প্যাকেজ করার চেষ্টা করতে চাইতে পারেন (সংকুচিত হওয়ার দরকার নেই)। আমার অভিজ্ঞতা হিসাবে, একটি সংরক্ষণাগার অনুলিপি করা বড় বড় সংখ্যক পৃথক ফাইলের অনুলিপি করার চেয়ে দ্রুত

Comments

ভাল জেনেরিক পর্যবেক্ষণ, তবে প্রশ্নটি হিসাবে "200 ডলার বড় ফাইল - প্রতি 20 গিগাবাইট", আমি বিশ্বাস করি না যে এটিকে এই সমস্যার প্রকৃত উত্তর হিসাবে বিবেচনা করা যেতে পারে ।

— manatwork

@ মানটওয়ার্ক আহ .. আমি স্পষ্টভাবে পড়িনি। আমি ভেবেছিলাম তাঁর কাছে 200gb মোট ফাইল রয়েছে

— মুনিম

Answer 11

বিবিসিপি চেষ্টা করুন । আমাদের পরিবেশে পরীক্ষা করে জানা গেছে যে সিপিতে গভর্নরে কিছুটা বিল্ট ছিল। কেবল সতর্ক থাকুন কারণ যখন আপনি গভর্নরকে সরিয়ে নেন, আপনি আপনার সার্ভারটিকে আবার লাইন করতে পারেন এবং বিভ্রাট ঘটাতে পারেন। আমাদের ক্ষেত্রে আমরা অনুলিপিটি করার জন্য সার্ভারটি অফলাইনে নিয়ে যাচ্ছিলাম, তাই দ্রুততর হয়েছিল। এই স্থানান্তর সময় কয়েক ঘন্টা উন্নত।

Answer 12

নিশ্চিত করুন যে অনুলিপি করার আগে লক্ষ্যযুক্ত ফাইলগুলি বিদ্যমান নেই।

কখনও কখনও এটি আশ্চর্যজনক হয় যে ঠিক একই হোস্টের অনুলিপি করতে এমনকি কোনও সময় ব্যয় করা হয় (কোনও নেটওয়ার্ক জড়িত নেই)।

দেখুন অন্য CP প্রশ্ন এখানে আমার উত্তর । দীর্ঘ গল্প সংক্ষিপ্ত, একটি বিদ্যমান ফাইল ওভাররাইট করা এটি কেটে ফেলা বা প্রথমে এটি লিঙ্কমুক্ত করা, এবং তারপরে অনুলিপি করার চেয়ে অনেক ধীর। দ্বিতীয়টি একটি 1.2 গিগাবাইট ফাইলের জন্য 8x দ্রুত।