ল্যানে একাধিক মেশিনে বড় ফাইলগুলি অনুলিপি করুন


9

আমার কাছে কয়েকটি বড় ফাইল রয়েছে যা আমার একটি লিনাক্স মেশিন থেকে প্রায় 20 টি অন্যান্য লিনাক্স মেশিনে অনুলিপি করা দরকার, সমস্তগুলি একই ল্যানে সম্ভব যত তাড়াতাড়ি সম্ভব। এই ফাইলগুলি অনুলিপি করার জন্য কোন সরঞ্জামগুলি / পদ্ধতিগুলি সর্বোত্তম হবে তা উল্লেখ করে যে এটি কোনও এককালীন অনুলিপি হবে না। এই মেশিনগুলি কখনই ইন্টারনেটে সংযুক্ত হবে না এবং সুরক্ষা কোনও সমস্যা নয়।

হালনাগাদ:

আমার এটি জিজ্ঞাসা করার কারণটি (কারণ আমি এটি বুঝতে পেরেছি) আমরা বর্তমানে scpসিরিয়ালটিতে প্রতিটি মেশিনে ফাইলগুলি অনুলিপি করতে ব্যবহার করছি এবং আমাকে অবহিত করা হয়েছে যে এটি "খুব ধীর" এবং একটি দ্রুত বিকল্প অনুসন্ধান করা হচ্ছে। আমাকে যা বলা হয়েছে তার অনুসারে, scpহার্ড ড্রাইভ সন্ধানের কারণে কলগুলি সমান্তরাল করার চেষ্টা কেবল এটিকে আরও ধীর করে দেয়।


"বৃহত্তর" সংজ্ঞায়িত করুন। শত শত এমবি / জিবি / টিবি / আরও?
জান্নে পিক্কারাইনেন

ভবিষ্যতে মোট বৃদ্ধি পেতে পারে, যদিও মোট প্রায় 4 GiB (সংকুচিত) এ বসে আছে।
জোনাথন কলেন

এটি, এমনকি ২০১১ সালে কোনও উপায়ে - বড় নয়। একটি 1 গিগাবিট লিঙ্ক দেওয়া হয়েছে যা সঠিকভাবে স্যুইচ করা হয়েছে (2011 এর মান) যা সম্পাদন করা বেশ দ্রুত। এটি 10 ​​জি সার্ভারের মাধ্যমে চালানো (এটি ২০১১ সালেও বিরল নয়) ... ভাল;)
টমটম

উত্তর:


27

টরেন্ট। এটি টুইটার অভ্যন্তরীণভাবে কিছু জিনিস মোতায়েন করে।

http://engineering.twitter.com/2010/07/murder- ব্রেকফাস্ট-datacenter-code-deploys.html (ওয়েব সংরক্ষণাগার লিঙ্ক)


3
আমার উত্তর ছাড়াও (যা আমি মনে করি একটি ভাল কাজ করবে, আপনি যদি এটি প্রয়োগ করতে পারেন), এনএফএসের জন্য নীচের উত্তরটি খুব ভাল একটি। একটি ভাল এনএফএস সার্ভারের ফাইলগুলি ক্যাশে করা উচিত যাতে আপনি ডিস্কটিকে আঘাত করা চালিয়ে যান না। এছাড়াও, এটির সাথে , ক্লায়েন্টগুলিতে সার্ভার থেকে ফাইলগুলি অনুলিপি করবেন না । এটি ক্লায়েন্টের কাছ থেকে শুরু করুন এবং এনএফএস সার্ভারের ক্যাশে সহায়তা দিন।
mfinni

1
অ-উত্পাদন পরিবেশে এটি চেষ্টা করে দেখতে ভুলবেন না, উপস্থাপনায় তারা বলে (iirc) এটি প্যাকেটের বিনিময়ের সংখ্যার কারণে প্রথম মোতায়েনের সময় কিছু সুইচ প্রচুর ক্ষতিগ্রস্থ করে তোলে।
শাদোক

1
@psusi আপনি কেন বলেন যে এটি 20 বার সমস্ত ডেটা প্রেরণ করতে হবে? অন্য সমবয়সীরা যদি ফাইলটির কিছু অংশ পেয়ে যায় তবে তারা নিজের অংশগুলি অন্য সমবয়সীদের কাছে প্রেরণ শুরু করতে পারে।
জোনাথন কলেন

2
ওপির সমস্যা ল্যান নয়, এটি কেন্দ্রীয় সার্ভারের ডিস্ক।
এমফিনি

1
@ পিএসসি - মাল্টিকাস্ট অবশ্যই অন্য একটি বৈধ উত্তর হবে। উত্তর হিসাবে পোস্ট করুন, আমার উত্তর কড়া হিসাবে নয়।
এমফিনি

12

ইউএফটিপি সম্পর্কে কীভাবে , এটি একাধিক ক্লায়েন্টের কাছে ইউডিপি-র মাধ্যমে ফাইলগুলি সরবরাহ করতে মাল্টিকাস্ট ব্যবহার করে। সবার জন্য নয় এবং আমি এতে কোনও বিশেষজ্ঞ নই তবে মনে হচ্ছে এটি আপনি যা চান তা করে।


1
দাবি অস্বীকার: এটিতে এমন সরঞ্জামগুলির প্রয়োজন হবে যা মাল্টিকাস্টকে সমর্থন করে।
ব্যবহারকারী 606723

আমি বরং আশা করছিলাম যে এটি একই ভ্ল্যানে থাকবে - এই ব্যবহারের প্রভাব হ্রাস করুন।
চপার 3

@ ইউজার 606723: সবকিছু কি আধুনিক নয়? হয়তো কিছু গ্রাহক জাঙ্ক না পারে তবে আমি কিছুক্ষণের মধ্যে ভাঙা মাল্টিকাস্টের কোনও কিছুতে প্রবেশ করিনি। আজকাল এটি খুব বেশি ব্যবহার করে। আমি মনে করি উইন্ডোজ অ্যাক্টিভ ডিরেক্টরি এমনকি মাল্টিকাস্ট ব্যবহার করে।
Zan Lynx

এই @ জ্যানলিনেক্সের সাথে আমার আসলে অভিজ্ঞতা নেই। আমি জানি যে অনেকগুলি অফিস / কম্পিউটার ল্যাবগুলি শেষ হপে গ্রাহক / নিয়ন্ত্রণহীন সুইচগুলি ব্যবহার করে। এই সুইচগুলি মাল্টিকাস্টের সাথে কীভাবে আচরণ করবে?
ব্যবহারকারী 606723

3

আপনি কি এই ডেটা দিয়ে অনুলিপি করার চেষ্টা করেছেন rsync? আপনার যদি 1 জিবিট ল্যান বা দ্রুত হয় তবে 4 * 20 গিগাবাইটের বেশি অনুলিপি করা কোনও সমস্যা হবে না।

এই অনুলিপিটি কতবার ঘটবে? এটি শেষ হতে কয়েক মিনিট সময় নেয় কিনা তাতে কি আসে যায়?


3

scp-সুনামি এটা উপায়!

https://code.google.com/p/scp-tsunami/

এটি সাধারণত ভার্চুয়ালাইজেশন ক্লাস্টারে ডিস্ক চিত্র বিতরণ করতে ব্যবহৃত হয়, এর পারফরম্যান্স বিটোরেন্টের কাছাকাছি হলেও এটি প্রতিদিনের ব্যবহারের জন্য ব্যবহার করা সহজ।


2

একটি এনএফএস শেয়ার সেট আপ করা এবং বড় বড় ফাইলগুলির এই ভাগ করা রেপো থেকে প্রতিটি মেশিন টানাই সম্ভবত দ্রুততম পদ্ধতি হবে (এনএফএস খুব দ্রুত এবং সামান্য ওভারহেড রয়েছে)।

আপনি উত্স সার্ভারে একটি অতিরিক্ত দুটি এনআইসি যুক্ত করতে পারেন এবং আপনাকে আরও ভাল থ্রুপুট দেওয়ার জন্য তাদের একসাথে বন্ড করতে পারেন।

বাস্তবায়ন প্রতিটি টার্গেট সার্ভারে একটি সহজ ক্রোন কাজ হতে পারে যা প্রতি ঘন্টা / দিন / যাই হোক না কেন অন্ধভাবে ভাগ করে নেবে। আপনি নতুন ফাইলগুলির জন্য জরিপে ডেমন সেটআপ করতে পারেন; আপনি এসএসএইচে একটি নিয়ন্ত্রণ অধিবেশন স্ক্রিপ্ট করতে পারেন (মূল জোড়া সহ) প্রতিটি লক্ষ্য বাক্সে এবং আপনার স্ক্রিপ্টটি কার্যকর করার সময় তাদের ফাইল আনার নির্দেশ দিয়েছিলেন।


1
আমি বিশ্বাস করি যে আমার পূর্বসূরীরা এর জন্য এনএফএস ব্যবহার করার চেষ্টা করেছিল এবং দেখতে পেল যে (সেই সময়), র‌্যাম ক্যাশে পুরো স্থানান্তরের জন্য যথেষ্ট পরিমাণে বড় ছিল না, যা হার্ড ড্রাইভে লোডকে নেটওয়ার্কের পরিবর্তে সীমাবদ্ধকরণের কারণ হিসাবে তৈরি করেছিল দ্রুততা.
জোনাথন ক্যালেন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.