অবিশ্বাস্য, ধীর ওয়ান থেকে জেডএফএস সিঙ্ক। জেডএফএসের প্রতিরূপ, বা আরএসসিএনসি?

Question

আমাকে ডাব্লুএইচএএন-এর উপর একটি অফ-সাইট ব্যাকআপ কাজ করার দায়িত্ব দেওয়া হয়েছে। দুটি স্টোরেজ বাক্সই জেডএফএসে চলমান ফ্রিবিএসডি ভিত্তিক এনএএস বক্স।

সপ্তাহে একবার বা দু'বার, 15-60 জিগের ফটোগ্রাফি ডেটা অফিস NAS এ ফেলে দেওয়া হয়। আমার কাজটি হ'ল ভেরি স্লো ডিএসএল সংযোগ (~ 700 কেবি / গুলি আপলোড) ব্যবহার করে কীভাবে নির্ভরযোগ্যভাবে এই সাইটটি অফ-সাইট থেকে পাবেন তা নির্ধারণ করা job প্রাপ্তি বাক্সটি 30Mb / s ডাউন, 5 এমবি / সেকেন্ডে আরও ভাল আকারে রয়েছে।

আমি জানি, হার্ড-ড্রাইভ অফ-সাইট বহন করলে ডেটা আরও দ্রুত স্থানান্তরিত হবে তবে এই ক্ষেত্রে এটি কোনও বিকল্প নয়।

আমার বিকল্পগুলি মনে হয়:

• জেডএফএস ইনক্রিমেন্টাল সেন্ড ওভার এসএসএস
• rsync

rsync হ'ল এক সময়ের সম্মানজনক সমাধান এবং কোনও কিছুতে বাধা পড়লে কোনও প্রেরণ পুনরায় শুরু করার সমস্ত গুরুত্বপূর্ণ ক্ষমতা রয়েছে। এতে অনেকগুলি ফাইলের মধ্যে পুনরাবৃত্তি হওয়া এবং ডিডআপ সম্পর্কে না জানার অসুবিধা রয়েছে।

জেডএফএস স্ন্যাপশট প্রেরণে কিছুটা কম ডেটা স্থানান্তরিত হতে পারে (এটি ফাইল সিস্টেম সম্পর্কে আরও অনেক কিছু জানে, ডিএসপ করতে পারে, আরএসসিএনসি এর চেয়ে আরও দক্ষতার সাথে মেটাডেটা পরিবর্তন করতে পারে) এবং কেবল অনুলিপি না করে ফাইল সিস্টেমের স্থিতিকে সঠিকভাবে সদৃশ করার সুবিধা রয়েছে পৃথকভাবে ফাইল (যা আরও বেশি ডিস্ক নিবিড়)

আমি জেডএফএসের প্রতিলিপি কর্মক্ষমতা সম্পর্কে উদ্বিগ্ন [1] (যদিও নিবন্ধটি এক বছরের পুরনো)। কিছু হ্রাস পেলে স্থানান্তরটি পুনরায় শুরু করতে সক্ষম হওয়ায় আমিও উদ্বিগ্ন - স্ন্যাপশটের সামর্থ্যটি এতে অন্তর্ভুক্ত বলে মনে হয় না। পুরো সিস্টেমটি পুরোপুরি হাতছাড়া হওয়া দরকার।

[1] http://wikitech-static.wikimedia.org/articles/z/f/s/Zfs_replication.html

যে কোনও বিকল্প ব্যবহার করে, আমার ট্রাফিকটিকে নির্দিষ্ট পোর্টের মাধ্যমে রাউটের মাধ্যমে রাউটারগুলিতে কিউওএস ব্যবহার করে ডি-অগ্রাধিকার দিতে সক্ষম হওয়া উচিত। প্রতিটি স্থানান্তরকালে আমার উভয় সাইটে ব্যবহারকারীদের উপর একটি বড় নেতিবাচক প্রভাব এড়াতে হবে, কারণ এটি বেশ কয়েক দিন সময় নেবে।

সুতরাং ... এই বিষয়টি নিয়ে আমার চিন্তাভাবনা। আমি কি কোনও ভাল বিকল্প মিস করেছি? অন্য কেউ অনুরূপ কিছু সেট আপ করেছেন?

Comments

একত্রীকরণ বিবেচনা করুন ।

— সাম্পাব্লুকপার

Answer 1

1. আপনি যদি প্রতিদিন সর্বোচ্চ 6 জিবি স্থানান্তর করতে পারেন (শূন্য ওভারহেড এবং শূন্য প্রতিযোগী ট্র্যাফিক ধরে) এবং আপনাকে "15-60 জিগস" প্রতি সপ্তাহে "একবার বা দু'বার" ফ্রিকোয়েন্সিতে স্থানান্তরিত করতে হবে যা 15-120 পর্যন্ত কার্যকর হয় প্রতি সপ্তাহে জিবি, বা প্রতিদিন যে কোনও জায়গায় 2-17 গিগাবাইট। কারণ এটা শিখর চাহিদা জন্য পরিকল্পনা করা প্রয়োজন, এবং 17 গিগাবাইট এমনকি আপনার বেশী দূরে তাত্ত্বিক 6 গিগাবাইট সর্বোচ্চ এটি সম্ভবত যে আপনি একটি গুরুতর ব্যান্ডউইথ সমস্যা আছে। সংযোগটি আপগ্রেড করতে কী লাগবে? যদি সংযোগটি আপগ্রেড করা অসম্ভব, তবে নির্ধারিত ভিত্তিতে শারীরিক মিডিয়া মেইল ​​করার বিকল্পটি বিবেচনা করুন (যেমন সাপ্তাহিক)।

2. ধরে নিই যে আপনি ব্যান্ডউইথ ম্যাথটি কিছুটা আরও বেশি বোঝাতে পারেন, আরএসইএনসি সম্ভবত সেরা বিকল্প হতে পারে। অতিরিক্ত রিন্ডন্ড্যান্ট ডেটা (যেমন ভার্চুয়াল মেশিনের চিত্রগুলি) প্রতিলিপি করার সময় প্রতিলিপি সচেতনতা বিপুল পরিমাণে মূল্যবান হতে পারে তবে অনন্য ডিজিটাল সামগ্রী (অডিও, ভিডিও, ফটো) এর ক্ষেত্রে এটির সামান্য বা কোনও উপকার হওয়া উচিত ... অবশ্যই না হলে ব্যবহারকারীরা অজান্তেই অভিন্ন ফাইলগুলির সদৃশ অনুলিপিগুলি সংরক্ষণ করে।

Comments

আমি পরিসংখ্যান করি যে আমি উপলভ্য ব্যান্ডউইথ ব্যবহার করতে পারি এবং বেশিরভাগ ডেটা ডাম্প পরিসরের ছোট প্রান্তের দিকে ঝোঁক। ব্যবহারিকভাবে, এটি গত এক মাসের ডেটা থেকে বিচার করে, গড়ে গড়ে প্রায় ২-৩ টি জিগ হতে পারে। আমার তাত্ক্ষণিকভাবে প্রতিলিপিটির দরকার নেই।

— পল ম্যাকমিলান

এবং হ্যাঁ, শারীরিক মিডিয়াকে মেল করা আরও ভাল ... আমি আশা করি এটি কোনও বিকল্প ছিল।

— পল ম্যাকমিলান

ছাড় সম্পর্কে ভাল পয়েন্ট। যা অনুলিপি করা হয় তার বেশিরভাগটি অনুলিপি করা হবে না - ব্যবহারকারীরা বেশ ঘন নন।

— পল ম্যাকমিলান

কেবলমাত্র আমি যুক্ত করবো সম্ভবত আরএসসিএন ব্যবহার না করা। আমিও আরএসআইএনসি-এর স্বচ্ছলতা অনুভব করেছি কারণ আমি এটিকে স্থানান্তর প্রক্রিয়া হিসাবে ব্যবহার করছি, সিঙ্ক প্রক্রিয়া নয়। তারপরে আমি বুঝতে পারলাম আমার বেশিরভাগ বিদ্যমান ডেটা পরিবর্তন হয়নি এবং কেবলমাত্র নতুন ডেটা অনুলিপি করা দরকার, আমার জন্য, আমি কেবলমাত্র নতুন ফাইলগুলিতে সিপি ব্যবহার করেছি এবং এটি আরও দ্রুত ছিল। যদি আমার কাছে ফাইলগুলি পরিবর্তিত হয় (বা কেবলমাত্র ফাইলগুলির কিছু অংশ) তবে আমি আরএসসিএনসি ব্যবহার করব। তাই আমি নতুন ফাইলগুলি পৃথক করে পুনর্ব্যবহারযোগ্য স্থানান্তর পদ্ধতি বাছাইয়ের পরামর্শ দিচ্ছি। এছাড়াও, সংক্ষেপণটি একটি সিপিইউ এবং র‌্যাম / ব্যান্ডউইথ ট্রেড অফ (উভয় প্রান্তে) হবে।

— স্কট ম্যাকক্লেনিং

হুম ... আমি পড়েছি যে সঠিক কনফিগারেশনের সাহায্যে, আরএসএনসি তুলনামূলক দ্রুত যেতে পারে। আপনি কতটি অপ্টিমাইজেশন চেষ্টা করেছেন?

— পল ম্যাকমিলান

Answer 2

কিছু গবেষণা করার পরে আমি বিশ্বাস করি আপনি স্ন্যাপশট প্রেরণ সম্পর্কে ঠিক বলেছেন। জেডএফএস SENDএবং RECEIVEকমান্ডগুলি bzip2 এ পাইপ করা যায় এবং তারপরে সেই ফাইলটি অন্য মেশিনে আরএসসিএন-এড করা যায়।

আমি ব্যবহৃত কিছু উত্স এখানে:

• ওরাকল সোলারিস ZFS প্রশাসক গাইড পৃষ্ঠা 211 (অথবা ওয়েব সংস্করণের এখানে ) এই বিষয় নিয়ে গল্প করার শুরু হয়।

• আমি একটি ব্লগ পোস্টও পেয়েছি যা এর একটি সাধারণ উদাহরণ দেয়। এই ব্লগটি বিজিপ 2 এর মাধ্যমে বিট স্ট্রিমটি পাইপিং করে প্রেরণও দেখিয়েছে।

আমি রেপ্লিকেশন স্ক্রিপ্ট পোস্ট করা কোনও পোস্ট খুঁজে পাইনি, তবে আমি তাদের ব্যাকআপ স্ক্রিপ্ট পোস্ট করেছে এমন কাউকে পাই । এটি বলেছিল, আমি এটি বুঝতে পারি নি তাই এটি আবর্জনা হতে পারে।

ওয়েবসাইটটির অনেকগুলি ঘন ঘন এটি করার জন্য ক্রোন জব স্থাপনের কথা বলেছিল। যদি এটি হয় তবে আপনি ব্যান্ডউইথ এবং ব্যবহারকারীদের কাছে কম প্রভাব সহ প্রতিলিপি / ব্যাকআপ তৈরি করতে পারেন এবং একটি ভাল দুর্যোগ পুনরুদ্ধারের বৈশিষ্ট্য হতে পারেন কারণ অফসাইট ডেটা আরও আধুনিক। (এটি হ'ল শুরু করার সময় ডেটা প্রাথমিক অংশের পরে))

আবার, আমি মনে করি আপনার কাছে স্ন্যাপশট প্রেরণ করার সঠিক ধারণা ছিল বলে মনে হচ্ছে SEND/ ব্যবহার করার অনেক সুবিধা রয়েছে RECEIVE।

সম্পাদনা: সবেমাত্র একটি ভিডিও 1 ভিডিও 2 দেখেছি যা SEND/ RECEIVEএবং সিএসএনসি সম্পর্কে আলোচনা সমর্থন করতে পারে (3 মি 49 এ শুরু হয়)। বেন রকউড স্পিকার ছিলেন এবং এখানে তার ব্লগের একটি লিঙ্ক রয়েছে ।

Comments

আমার ধারণা, সেখানে আরএসসিএনসিটির ব্যবহার প্রকৃত ফাইলের পরিবর্তে বিরতি / পুনঃসূচনা কার্যকারিতা সীমাবদ্ধ। এটি উপলব্ধি করে, যেহেতু ফাইল সিস্টেম নিজেই (এবং এটি পরিবর্তিত ফাইলগুলি) কী ঘটছে তা আরএসআইএনসি থেকে ভাল জানেন।

— পল ম্যাকমিলান

অতিরিক্ত নোট হিসাবে: জেডএসটিডি, জিজিপ এবং বিজিপের জন্য আধুনিক দ্রুত প্রতিস্থাপন, একাধিক থ্রেড এবং 20 টিরও বেশি সংক্ষেপণের স্তরকে সমর্থন করে। এটির একটি অবদানিকৃত alচ্ছিক বৈশিষ্ট্যও রয়েছে যার নাম 'অ্যাডাপটিভ সংকোচন'। সময় সাশ্রয় করার জন্য যথাসম্ভব কমপ্রেশন করার সময়, এই মোডটি দিয়ে, সংক্ষেপণ স্তরটি স্বয়ংক্রিয়ভাবে নেটওয়ার্ক পাইপকে পূর্ণ রাখার জন্য উপরে এবং নীচে সুর করা হয়। এটি আপনাকে এত সংকোচনের হাত থেকে বাধা দেয় যে এটি একটি বাধা হয়ে দাঁড়ায়, বা নেটওয়ার্ক থেকে খুব ধীর হয়ে যাওয়ার কারণে আপনি যে কম্প্রেশনটি করতে পারেন তা হারিয়ে যায়।

— অ্যালান জুড

Answer 3

ব্যাকআপগুলির উদ্দেশ্য কী এবং কীভাবে তাদের অ্যাক্সেস করা দরকার?

যদি আপনার ব্যাকআপগুলি মূলত দুর্যোগ পুনরুদ্ধারের জন্য হয় তবে জেডএফএস স্ন্যাপশটগুলি আপনি পছন্দসই হতে পারেন কারণ আপনি শেষ বর্ধনের সময় কোনও ফাইল সিস্টেমের সঠিক অবস্থানে ফিরে আসতে সক্ষম হবেন।

তবে, যদি আপনার ব্যাকআপগুলিতে ব্যবহারকারীদের এমন ফাইলগুলিতে অ্যাক্সেস দেওয়ার কথা বলা হয় যা দুর্ঘটনাক্রমে মুছে ফেলা হয়েছে, দূষিত হয়েছে, ইত্যাদি হয়ে থাকে তবে আরএসসিএন আরও ভাল বিকল্প হতে পারে। শেষ ব্যবহারকারীরা স্ন্যাপশটের ধারণাটি বুঝতে পারে না বা সম্ভবত আপনার এনএএস শেষ ব্যবহারকারীদের আগের স্ন্যাপশটগুলিতে অ্যাক্সেস সরবরাহ করে না। উভয় ক্ষেত্রেই আপনি ফাইলসিস্টেমের মাধ্যমে ব্যবহারকারীর কাছে সহজেই অ্যাক্সেসযোগ্য একটি ব্যাকআপ সরবরাহ করতে rsync ব্যবহার করতে পারেন।

আরএসআইএনসি দিয়ে আপনি পরিবর্তন করা ফাইলগুলির ব্যাকআপ সংরক্ষণের জন্য - ব্যাকআপ পতাকা ব্যবহার করতে পারেন এবং --সফিক্স পতাকা সহ আপনি কীভাবে ফাইলগুলির পুরানো সংস্করণটির নাম পরিবর্তন করা যায় তা নিয়ন্ত্রণ করতে পারেন। এটি এমন ব্যাকআপ তৈরি করা সহজ করে তোলে যেখানে আপনার পছন্দ মতো ফাইলগুলির পুরানো সংস্করণ থাকতে পারে

file_1.jpg
file_1.jpg.20101012
file_1.jpg.20101008
etc.

প্রয়োজনীয় হিসাবে পুরানো ফাইলগুলি পরিষ্কার করার জন্য আপনি একটি ফাইন্ড কমান্ডযুক্ত ক্রোনজ সহ সহজেই এটি একত্রিত করতে পারেন।

উভয় সমাধানই ব্যাকআপ হিসাবে কাজ করার জন্য ফাইলগুলি সম্পর্কে পর্যাপ্ত পরিমাণে রক্ষণাবেক্ষণ সংরক্ষণ করতে সক্ষম হওয়া উচিত (rsync - স্পিকার, - মালিক ইত্যাদি পতাকা সরবরাহ করে)। আমি ডাটাসেন্টারগুলির মধ্যে প্রচুর পরিমাণে ডেটা ব্যাকআপ করতে আরএসসিএনসি ব্যবহার করি এবং সেটআপটি নিয়ে খুব খুশি।

Answer 4

জেডএফএসের 'পুনঃসূচনাযোগ্য প্রেরণ' বৈশিষ্ট্যটি গ্রহণ করা উচিত, যা এই বছরের মার্চ মাসের কিছু সময়ের মধ্যে একটি বাধা প্রতিরক্ষা চালিয়ে যাওয়ার অনুমতি দেবে। বৈশিষ্ট্যটি ম্যাট আহরেন্স এবং আরও কিছু ব্যক্তি সম্পন্ন করেছেন এবং শীঘ্রই এটি উত্সাহিত করা উচিত।

Comments

কেবলমাত্র একটি নোট যে 'পুনঃসূচনাযোগ্য প্রেরণ' ওপেনজেডএফএসে রয়েছে (ফ্রিবিএসডি, লিনাক্স, ম্যাকোস ইত্যাদিতে) বেশ কিছু সময়ের জন্য। এখন একটি 'সংক্ষেপিত প্রেরণ' বৈশিষ্ট্যও রয়েছে, যেখানে প্রতিলিপি প্রবাহের অংশ হিসাবে ডেটা ডিস্কে থাকা অবস্থায় সংকুচিত থাকবে।

— অ্যালান জুড

Answer 5

WAN সংক্ষেপণ ডিভাইস একটি সমাধান হতে পারে ...? আমরা রিভারবেড ব্যবহার করি এবং আমরা তাদের সাথে বেশ খুশি (যেমন নেট অ্যাপ্লিকেশন স্নাপমিরর খুব ভালভাবে সংকুচিত হচ্ছে, 80-90% অবধি)