Rsync -avzHP হার্ডলিঙ্কগুলিকে হার্ডলিঙ্ক হিসাবে অনুলিপি না করে অনুসরণ করে

Question

আমি আমার "কাজ" -র ভাগের ঘন্টা / দৈনিক / সাপ্তাহিক / মাসিক ব্যাকআপগুলি তৈরি করতে আরএসএন্যাপশট ব্যবহার করি। এখন আমি ব্যয়-ডিরেক্টরিটি ব্যয় করে বাইরের ড্রাইভে আরএসসিএনসি ব্যবহার করে অনুলিপি করার চেষ্টা করছি।

আমি এই কমান্ড / প্যারামিটারগুলি স্ক্রিন সেশনের মধ্যে ব্যবহার করেছি (হ্যাঁ, আমি যে কমান্ডটি চালাচ্ছি সেদিকেই আরএসসিএনসি-এক্সপ্লিট। টেক্সট রয়েছে)

rsync -avzHP --exclude-from 'rsync-exclude.txt' /share/backup/ /share/eSATADisk1/backup/;

পুরো জিনিসটি একটি QNAP TS-439 এ চলছে, অভ্যন্তরীণ ড্রাইভটি একটি সিঙ্গল ডিস্ক (কোনও RAID নয়) ফরমেটেড EXT4, বহিরাগত ড্রাইভটি ফরমেটেড EXT3।

যা ঘটে তা হ'ল: রাইকিঙ্ক প্রতিটি হার্ডলিঙ্ক অনুসরণ করে এবং বাহ্যিক ড্রাইভে আপডেট করা হার্ডলিঙ্কটি পুনরায় তৈরি করার পরিবর্তে আসল ফাইলটি অনুলিপি করে । আমি এখনই এটিকে চিনতে পারি নি তাই বহিরাগত ড্রাইভটি একই ফাইলগুলির এক্সএক্সএক্স অনুলিপিগুলিতে ট্র্যাশ হয়ে শেষ হয়েছিল।

আমি যেটি অর্জন করতে চাই তা হ'ল: রক্ষণাবেক্ষণ দ্বারা উত্পাদিত পুরো ফাইল কাঠামোটি স্থান সংরক্ষণের জন্য হার্ডলিঙ্কগুলি রেখে বাইরের ড্রাইভে কপি করা। দ্রষ্টব্য: এটি অবশ্যই আরএসসিএনসি ব্যবহার করে করা উচিত নয়।

আপনার ধারণা এবং সময় জন্য ধন্যবাদ। আমি আপনার সাহায্যের প্রশংসা করব, বড় সময়।

আপডেট: আমি শিখেছি যে, আরএসএনপশটটি সিমলিংক ব্যবহার করে না, এটি হার্ডলিঙ্কগুলি ব্যবহার করছে তাই এখন আমি -H বিকল্পটি ব্যবহার করি যা একাধিক গন্তব্যগুলিতে রুপ নেপশটের সাথে হার্ডলিঙ্ক কাঠামো সংরক্ষণ করে (বা হার্ড লিঙ্কগুলির কাঠামো বজায় রাখতে পারে) তবে এটি এখনও কাজ করবে না ... আমি এখানে কি মিস করছি?

আপডেট 2: আমি এখানে এই বিষয়ে অন্য মতামত / বিবৃতি পেয়েছি: - - --লিঙ্কগুলির সাথে আরএসআইএনসি হিমশীতল স্টিভেন সোমবার হার্ডলিংকযুক্ত বড় ফাইল স্ট্রাকচারকে আরএসআইএনসি করার চেষ্টা না করার পরামর্শ দিয়েছিল, যেহেতু এটি অনেক বেশি স্মৃতি জাগিয়ে তোলে আরএসইএনসি-র জন্য একটি কঠিন কাজ। সুতরাং সম্ভবত একটি ভাল সমাধান আমি ব্যাকআপ নেওয়ার চেষ্টা করছি ডেটা কাঠামো একটি .img করা হবে। আপনি কি মনে করেন?

Comments

আমি ঠিক তোমার মতোই করছি! +1 টি। ডিডি পদ্ধতির চেষ্টা করবে

— মমলমেডা

Answer 1

rsyncকমান্ড এর -H(বা --hard-linksআপনার ফাইল সিস্টেম এর একটি অনুলিপি তৈরি করতে যে সংরক্ষণ মূল কঠিন লিঙ্ক গঠন:) বিকল্প করবে তত্ত্ব, আপনি কি সম্পন্ন করার জন্য, যা, সংক্ষেপে চেষ্টা করছেন না। আমি অন্য অনুরূপ প্রশ্নের আমার উত্তরে যেমন উল্লেখ করেছি , একবার আপনার উত্স ফাইল সিস্টেম হার্ড লিঙ্ক জটিলতার একটি নির্দিষ্ট প্রান্তিকের বাইরে বেড়ে গেলে এই বিকল্পটি ব্যর্থ হয়ে যায়।

এই প্রান্তিকের সুনির্দিষ্ট অবস্থানটি আপনার র‌্যাম এবং মোট হার্ড লিঙ্কের মোট সংখ্যার (এবং সম্ভবত অন্যান্য সংখ্যাগুলির উপর) নির্ভর করতে পারে তবে আমি খুঁজে পেয়েছি যে এটি সঠিকভাবে সংজ্ঞায়িত করার চেষ্টা করার কোনও অর্থ নেই। কি সত্যিই গুরুত্বপূর্ণ যে থ্রেশহোল্ড সব খুব-সহজ বাস্তব জগতের পরিস্থিতিতে ক্রুশ, এবং আপনি জানেন না যে আপনি আছে এটা অতিক্রম না হওয়া পর্যন্ত দিন আসে যে আপনি একটি চালানোর চেষ্টা rsync -aHবা cp -aযে সংগ্রামের এবং শেষ পর্যন্ত ব্যর্থ হয় ।

আমি যা প্রস্তাব দিচ্ছি তা হ'ল: আপনার ভারী হার্ড লিঙ্কযুক্ত ফাইল-সিস্টেমকে ফাইল হিসাবে নয়, এক ইউনিট হিসাবে অনুলিপি করুন। এটি হ'ল পুরো ফাইল সিস্টেম পার্টিশনটিকে একটি বড় ব্লব হিসাবে অনুলিপি করুন। এটি করার জন্য বেশ কয়েকটি সরঞ্জাম উপলব্ধ রয়েছে তবে সবচেয়ে সর্বব্যাপী dd।

স্টক ফার্মওয়্যারের সাহায্যে আপনার কিউএনএপি এনএএসও ddতৈরি করা উচিত ছিল fdisk। এর সাথে fdiskগন্তব্য ড্রাইভে এমন একটি পার্টিশন তৈরি করুন যা উত্সের পার্টিশনের কমপক্ষে বৃহত। তারপরে, ddসদ্য নির্মিত গন্তব্য পার্টিশনে আপনার উত্স বিভাজনের একটি সঠিক অনুলিপি তৈরি করতে ব্যবহার করুন।

ddঅনুলিপিটি চলমান থাকাকালীন আপনাকে অবশ্যই অবশ্যই নিশ্চিত করতে হবে যে উত্স ফাইল সিস্টেমে কোনও পরিবর্তন হয় না, পাছে আপনি গন্তব্যটিতে কোনও দুর্নীতিযুক্ত অনুলিপিটি না দিয়ে শেষ করেন। এটি করার একটি উপায় হ'ল umountঅনুলিপি প্রক্রিয়া শুরু করার আগে উত্সকে; অন্য উপায় হ'ল উত্সটি কেবল পঠন মোডে মাউন্ট করা।

Comments

মনে করুন আমি আরএসএন্যাপশট ব্যাকআপ ডিরেক্টরিগুলির বাইরে কখনও কখনও হার্ড লিঙ্কগুলি ব্যবহার করি না, আমি কি তখনও সমস্যায় পড়ব? আমার কাছে হার্ড ডিস্কের জায়গার খুব কম তবে আরএসএনপশট ব্যাকআপ তৈরি করতে চাই। বর্তমানে আমার ডিস্কটি পূর্ণ হয়ে গেছে।

— শ্রীধর সারনোবাত

আমি মনে করি আপনি যে পরিস্থিতিটি নির্দেশ করেছেন তাতে আমি আঘাত করেছি। আমার অনেকগুলি স্ন্যাপশট আরএসসিএন দিয়ে তৈরি করে একটি ব্যাকআপ ডিরেক্টরি রয়েছে। এটিতে অনেকগুলি হার্ড লিঙ্ক সহ অনেকগুলি ফাইল রয়েছে। মোট ডিস্কের ব্যবহার প্রায় 200 জি। আমি 'rsync -avH' ব্যবহার করে এটি অন্য একটি বিভাগে অনুলিপি করছি। 4 দিন (বা 5?) দিন এবং রাতের পরে, অনুলিপি প্রক্রিয়া এখনও চলছে। আমার ধারণা, সোর্স ডিরেক্টরিতে হার্ড লিঙ্কের মোট সংখ্যা দ্বারা rsync পুরোপুরি বিভ্রান্ত।

— গুয়াংলিং

উবুন্টু 18.04 এ এটি --hard-links(একটি 'এর' সহ)।

— নোটার

Answer 2

-l সিমলিংকের জন্য, এটি হার্ডলিঙ্কগুলির জন্য কেন কিছু করবে?

(দুঃখিত, এটি একটি উত্তর এবং একটি মন্তব্য নয়, আমার কাছে এখনও মন্তব্য করার অধিকার নেই এবং এই উত্তরের একটি প্রতিক্রিয়া দরকার)

আরেকটি নোট যা একটি মন্তব্য হওয়া উচিত: এটি কি সমস্ত নেটিভ হার্ডওয়্যার বা আপনি কোনও ভিএম, নেটওয়ার্ক মাউন্টে আছেন?

সম্পাদন করা

আপনি কেন হার্ডলিঙ্কগুলি ব্যবহার করছেন সে সম্পর্কে আমার পূর্ববর্তী মন্তব্যটিকে উপেক্ষা করুন, আমি rsnapshotমন্তব্যটি মিস করেছি ।

প্রথমে দুটি স্থানীয় ডিরেক্টরি স্থানীয় ডিস্কের মধ্যে আরএসসিএন পরীক্ষা করে, তারপরে আপনার দূরবর্তী ডিস্কের বিপরীতে পরীক্ষা করা সহায়ক হবে। এই সামান্য পরীক্ষাটি -Hপ্রত্যাশার মতো বিকল্প ওয়াকারদের দেখায় । -iজন্য বিকল্প lsশো inodes, এইভাবে দেখাচ্ছে যে সংযোগগুলি কোন অতিরিক্ত কপি, সংরক্ষিত করা হয়েছে।

$ rsync -avzHP src/ dest
sending incremental file list
created directory dest
./
file111_prime.txt
           9 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/3)
file111.txt => file111_prime.txt

sent 156 bytes  received 59 bytes  430.00 bytes/sec
total size is 18  speedup is 0.08

$ ls -liR
.:
total 8
414044 drwxrwxr-x. 2 nhed nhed 4096 Feb 25 09:58 dest
414031 drwxrwxr-x. 2 nhed nhed 4096 Feb 25 09:58 src

./dest:
total 8
414046 -rw-rw-r--. 2 nhed nhed 9 Feb 25 09:57 file111_prime.txt
414046 -rw-rw-r--. 2 nhed nhed 9 Feb 25 09:57 file111.txt

./src:
total 8
414032 -rw-rw-r--. 2 nhed nhed 9 Feb 25 09:57 file111_prime.txt
414032 -rw-rw-r--. 2 nhed nhed 9 Feb 25 09:57 file111.txt

পরবর্তী rsync -avzHP src/ host:/tmpকোনও রিমোট হোস্টের পরীক্ষার পরেও হার্ডলিঙ্কগুলি বজায় ছিল

Comments

আপনি পুরোপুরি ঠিক বলেছেন, আরও কিছু গবেষণার পরে আমি আবিষ্কার করেছি যে আরএসএন্যাপশটটি সিমলিংকগুলি ব্যবহার করছে না তবে হার্ডলিঙ্কগুলি। আমি আমার প্রশ্নটি সেই অনুযায়ী আপডেট করেছি। সুতরাং সমাধানটি এইচএন ব্যবহার করা উচিত এবং আরএসএন্যাপশট দ্বারা নির্মিত হার্ডলিঙ্ক কাঠামো সংরক্ষণ করার জন্য পুরো ডিরেক্টরিটি (যেমন আমি এটি করি) অনুলিপি করা উচিত তবে এটি এখনও কার্যকর হয় না। আমি যখন দৈনিক ০. এর বাইরে কখনই কিছু অনুলিপি করা শুরু করি তখন অনুলিপি করা ফাইলগুলিই অনুলিপি করা হয়। // এবং হ্যাঁ, আমি এই অপারেশনের জন্য একটি Qnap TS-439 এবং একটি বাহ্যিক ল্যাসি ড্রাইভ ব্যবহার করছি।

— ওয়ার্নডেল

উত্সটিতে কেবল 2 টি ফাইল, একসাথে শক্তভাবে সংযুক্ত করে একটি পরীক্ষার উত্স dir এবং একটি পরীক্ষা গন্তব্য dir রেখে আপনি কি এই সমস্যাটিকে হ্রাস করতে পারবেন? এছাড়াও, আপনি কীভাবে নির্ধারণ করছেন যে লিঙ্কটি সঠিকভাবে এবং শেষ পর্যন্ত পরিচালিত হয়নি, কেন হার্ড-লিঙ্কগুলি ব্যবহার করুন, আপনি যদি -Hম্যানপেজে লম্বা পাঠ্যটি পড়েন তবে দেখতে পাবেন যে বেশ কয়েকটি ক্যাভেট রয়েছে, যা আমার কাছে বলেছে, চেষ্টা করুন হার্ডলিঙ্কগুলি থেকে দূরে থাকতে ...

— ই

আমি একটি পরীক্ষার কেস সেটআপ করব এবং আপনাকে আপডেট রাখব। এতক্ষণ আপনার ধারণার জন্য আপনাকে অনেক ধন্যবাদ।

— ওয়েয়ারেন্ডল

Answer 3

এটি একটি দীর্ঘ শট, তবে আপনি যদি অন্য কোনও সমাধান খুঁজে না পান তবে আমি ইউএসবি ড্রাইভকে এক্সটি 4 হিসাবে ফর্ম্যাট করার চেষ্টা করার পরামর্শ দেব। হতে পারে এটি সমস্যা হতে পারে: https://bugzilla.samba.org/show_bug.cgi?id=7670

উত্স ফোল্ডারে পর্যাপ্ত হার্ড লিঙ্ক এবং একটি ছোট পর্যায়ে গন্তব্য ভলিউম দেওয়া হয়েছে, আরএসসিএন --হার্ড-লিঙ্কগুলির সাথে অনুলিপি ব্যর্থ হতে পারে। গন্তব্যস্থলে সর্বাধিক সংখ্যক হার্ড লিঙ্কগুলি নিঃশেষিত করে Rsync ব্যর্থ হয় <...> আসল সমস্যাটি আরএসইএনসি নয় বরং এর পরিবর্তে অন্তর্নিহিত ফাইল সিস্টেম।

Comments

আমার সমস্যাতে আপনার অংশগ্রহণের জন্য ধন্যবাদ! দেখে মনে হচ্ছে এটি সাম্ব সম্পর্কিত। আমার ড্রাইভটি সরাসরি নাসের সাথে সংযুক্ত।

— ওয়ার্ল্ডেল

হাই, এখানে কোনও সমস্যা সাম্বা সম্পর্কিত নয়। এটি আরএসসিএনসি

— মোটজেল

Answer 4

আপনি -lবিকল্প যোগ করার চেষ্টা করেছেন ?

আমি জানি ম্যান পৃষ্ঠাটি বলে যে এটি এতে অন্তর্ভুক্ত রয়েছে -aতবে ম্যান পৃষ্ঠাগুলি সর্বদা 100% নির্ভুল হয় না।

Comments

আপনার প্রতিক্রিয়ার জন্য ধন্যবাদ। আমাকে আমার প্রশ্নটি আপডেট করতে হয়েছিল: রুপনাপশটটি ক্রমবর্ধমান ব্যাকআপ কাঠামো তৈরি করতে সিমলিঙ্কগুলি ব্যবহার করছে না তবে হার্ডলিঙ্কগুলি ব্যবহার করছে। সুতরাং -l যাহাই হউক না কেন, কিন্তু - এইচ করা উচিত, যা দুর্ভাগ্যক্রমেও কার্যকর হয় না।

— ওয়েয়ারেন্ডেল