কয়েক মিলিয়ন হার্ডলিঙ্ক সহ ফাইল সিস্টেমগুলি কীভাবে মিরর করবেন?

Question

এই মুহুর্তে আমাদের একটি বড় সমস্যা রয়েছে: আমাদের গ্রাহকদের মধ্যে একটির জন্য আমাদের একটি ফাইল সিস্টেম মিরর করা দরকার। এটি স্বাভাবিকভাবেই কোনও সমস্যা নয় তবে এটি এখানে রয়েছে:

এই ফাইল সিস্টেমে কয়েক মিলিয়ন হার্ডলিঙ্ক (হ্যাঁ! মিলিয়ন!) সহ একটি ফোল্ডার রয়েছে। rsyncকেবলমাত্র ফাইললিস্ট তৈরি করতে আরও 4 দিনের বেশি সময় প্রয়োজন।

আমরা নিম্নলিখিত rsyncবিকল্পগুলি ব্যবহার করি :

rsync -Havz --progress serverA:/data/cms /data/

এই আরএসসিএনসিটিকে কীভাবে আরও গতিময় করা যায়, বা বিকল্পগুলি ব্যবহার করার জন্য কারও কি ধারণা আছে? ddটার্গেট ডিস্কটি উত্সের চেয়ে কম হওয়ায় আমরা ব্যবহার করতে পারিনি ।

আপডেট: মূল ফাইল সিস্টেম হিসাবে ext3আমরা চেষ্টা করব dumpএবং restore। আমি আপনাকে আপ টু ডেট রাখব

Comments

কৌশলী. প্রথমে উত্স ফাইল সিস্টেম সঙ্কুচিত করুন, তারপর ডিডি?

— বিট্রান্স

Answer 1

আপনার উভয় পক্ষকে rsync 3 এ আপগ্রেড করতে হবে the

- A new incremental-recursion algorithm is now used when rsync is talking
  to another 3.x version.  This starts the transfer going more quickly
  (before all the files have been found), and requires much less memory.
  See the --recursive option in the manpage for some restrictions.

আরএসসিএনসি ৩.০.০ প্রকাশের পরে এটি দুই বছরেরও বেশি হয়ে গেছে, তবে, দুর্ভাগ্যক্রমে, বেশিরভাগ এন্টারপ্রাইজ বিতরণগুলি তার চেয়ে পুরানো কোডের উপর ভিত্তি করে রয়েছে, যার অর্থ আপনি সম্ভবত আরএসসিএন ২. 2. ব্যবহার করছেন।

রেফারেন্স (অন্য কেউ এই সমস্যা হচ্ছে না হলে), আপনি যদি করছে rsync 3 ইতিমধ্যেই চলছে, তাহলে আপনি বিকল্প ক্রমবর্ধমান পুনরাবৃত্তির সাথে বেমানান ব্যবহার করছেন। ম্যান পৃষ্ঠা থেকে:

    Some options require rsync to know the full file list, so  these
    options  disable the incremental recursion mode.  These include:
    --delete-before,   --delete-after,    --prune-empty-dirs,    and
    --delay-updates.

এছাড়াও, আবারও, উভয় পক্ষকে অবশ্যই ইনক্রিমেন্টাল পুনরাবৃত্তি সমর্থন করার জন্য rsync 3 চালিয়ে যেতে হবে।

Comments

প্রিচার্ড আপনাকে এই পশ্চাদনের জন্য ধন্যবাদ জানায়, তবে বর্ধিত অংশগুলি কোনও সমস্যা নয়, উভয় পক্ষই rsync> 3.0 ব্যবহার করে। যদি আমরা -H ছাড়া আরএসসিএনসি ব্যবহার করি তবে আমাদের একটি দুর্দান্ত গতি উন্নতি হবে, তবে আমাদের যা প্রয়োজন তা তা নয়।

— থমাস বার্গার

সেকি। হ্যাঁ, সেই ক্ষেত্রে আপনি ফাইল সিস্টেম অ্যাক্সেস গতি বাড়ানোর বিকল্পগুলি দেখতে চাইতে পারেন (যেমন আপনি ext3 ব্যবহার করছেন তবে ext4 এ স্যুইচ করা), দ্রুত ডিস্ক বা RAID স্তরগুলিতে স্যুইচ করা (এটি যদি কোনও বিকল্পও হয়) ইত্যাদি। দুর্ভাগ্যক্রমে, আপনি এমন একটি পর্যায়ে থাকতে পারে যেখানে ফাইল সিস্টেম কেবলমাত্র পর্যাপ্ত দ্রুত হতে পারে না এবং ব্লক-স্তরের ব্যাকআপগুলি আপনার একমাত্র বিকল্প হতে পারে। একটি সার্ভার থেকে অন্য সার্ভারে একটি ব্যাকআপপিসি পুলটি আরএসএনসি করার চেষ্টা করতে আমার এই সমস্যা হয়েছিল।

— স্টিভেন প্রিচার্ড

Answer 2

আমরা এখন এক্সট * ডাম্প ব্যবহার করেছি। ভাল কাজ করে, এবং পুনরুদ্ধার পক্ষের এমনকি এক্সট * হতে হবে না।

আমরা ডিভাইসটিকে অমাউন্ট করে ব্যবহার করে একটি অফলাইন ব্যাকআপ করেছি dump vf - /dev/vg0/opt | gzip -c > /mnt/backup/ext3dump.gz।

এখানে শেষ লাইনগুলি আপনি আকার, সময়, গতি এবং শেষ ইনোড নম্বর দেখতে পেলেন:

DUMP: dumping regular inode 47169535
DUMP: dumping regular inode 47169536
DUMP: Volume 1 completed at: Wed Jun 29 05:42:57 2011
DUMP: Volume 1 54393520 blocks (53118.67MB)
DUMP: Volume 1 took 4:16:43
DUMP: Volume 1 transfer rate: 3531 kB/s
DUMP: 54393520 blocks (53118.67MB)
DUMP: finished in 15403 seconds, throughput 3531 kBytes/sec
DUMP: Date of this level  dump: Wed Jun 29 01:24:29 2011
DUMP: Date this dump completed:  Wed Jun 29 05:42:57 2011
DUMP: Average transfer rate: 3531 kB/s
DUMP: DUMP IS DONE

Comments

আমি জানি না এটি এখনও সত্য কিনা তবে ডাম্পের সময় ফাইল-সিস্টেমটি ব্যবহার করা থাকলে কিছু সমস্যা হত issues যেহেতু আপনার লক্ষ্যটি

— গতিযুক্ত

Answer 3

আপনি এলভিএম ব্যবহার করতে পারেন এবং ভলিউমের স্ন্যাপশট নিতে পারেন, তারপরে ব্যাকআপ হিসাবে স্ন্যাপশটটি RSSync করতে পারেন।

বিকল্পভাবে, আপনি মূল উত্তরটি অফলাইনে না নেওয়ার জন্য, এটি অন্য উত্তরের সাথে একত্রিত করতে এবং dump স্ন্যাপশটের ভলিউমে ব্যবহার করতে পারেন।

Comments

ফাইল-সিস্টেম স্তরের নয়, ব্লক স্তরে যে কোনও কিছু কাজ করে তা সম্ভবত একটি বিশাল উন্নতি হবে।

— মার্সিন

আপনি যেমন আমার প্রশ্নে দেখতে পাচ্ছেন, আমাকে স্থানীয় নয়, নেটওয়ার্ক জুড়ে আয়না করতে হবে। এছাড়াও এলভিএম কোনও আয়না নয়, ঠিক যেমনটি আপনি বলেছেন, একটি স্ন্যাপশট।

— থমাস বার্গার

@ থমাস বার্গার: আমার ধারণা ছিল যে আপনি তখন নেটওয়ার্কের মাধ্যমে স্ন্যাপশটটি (আরএসসিএনসি ব্যবহার করে) অনুলিপি করবেন। এবং আপনি কীভাবে আয়নাটিকে সংজ্ঞায়িত করেন , যদি কোনও এলভিএম স্ন্যাপশট না থাকে?

— টেডি

এটি এখনও একই সমস্যা: কয়েক দিন লাগবে। এই দিনগুলিতে একটি বিশাল ডালতা থাকবে (আমাদের এটির প্রয়োজন হবে না) তাই আমাদের পর্যাপ্ত স্থান সংরক্ষণ করতে হবে, এবং আমাদের সেই স্থান নেই। এবং একটি আয়না উত্স একটি স্বতন্ত্র অনুলিপি। আমাদের উত্পাদন থেকে গ্রাহকের জন্য ডেভেলপমেন্ট ডেটা অনুলিপি করতে হবে।

— থমাস বার্গার

@ থমাস বার্গার: মূলত আপনি বোঝাতে চেয়েছিলেন যে আপনি স্ন্যাপশটের ফাইল সিস্টেমকে নয় , আসল স্ন্যাপশটের ভলিউমটি ছড়াবেন। যাইহোক, আমি এখন স্ন্যাপশট + ডাম্প সমাধান আরও ভাল বলে বিশ্বাস করি।

— টেডি