rsync সবেমাত্র ঝুলছে, ফাইল তালিকা তৈরি করছে

20

[root@centos /]# rsync -av --exclude thumbs /storage root@xx.27.1.xx:/storage
root@xx.27.1.xx's password: 
building file list ...

আমি প্রায় এক ঘন্টা বসে আছি ... এটি ১৩৫ গিগাবাইটের চিত্র এবং ফোল্ডার

/storage এটি একটি মাউন্ট করা এক্স 3 স্কি ড্রাইভ।

এই ফাইলটি / ডিরেক্টরিগুলি গণনা করে আর দীর্ঘক্ষণ বসে থাকা কি স্বাভাবিক?

rsync

— অ্যান্ড্রু ফ্যাশন
সূত্র

কত ফাইল? খুব বড় সংখ্যক ফাইলের সাথে এটি কিছুটা সময় নিতে পারে।

— হেলভিক

সম্ভবত হাজার হাজার ... ব্যবহারকারী আপলোডগুলির চিত্রের ডিরেক্টরি ...

— অ্যান্ড্রু ফ্যাশন

আমি দেখেছি যে আরএসসিএনসি-র এই অংশটি হাজার এবং হাজার এবং হাজার হাজার ফাইল রয়েছে তখন এক ঘন্টারও বেশি সময় নেয়। আপনি যদি 'শীর্ষ' চালাচ্ছেন তবে আপনি কি I / O অপেক্ষা করছেন?

— ট্রয়য়েঞ্জেল

কেবল আমি কৌতূহলী হওয়ার কারণে, আপনি কী চালাবেন df -iএবং IUsedস্টোরেজে আপনার কী আছে তা আমাদের বলতে পারেন ? এটি আপনার কাছে কতগুলি ফাইল + ফোল্ডার রয়েছে তার মোটামুটি ধারণা দেবে।

— জোরেডাচি

1383641, এটি ফাইলের পরিমাণ?

— অ্যান্ড্রু ফ্যাশন 21

24

rsync 2.x একটি সম্পূর্ণ ফাইল তালিকা সামনে তৈরি করে।

যোগ -Pবিকল্প এবং আপনি একটি উন্নতি সূচক দেখতে পাবেন।

আপনি যদি মনে করেন এটি সত্যিই ঝুলছে, অন্য টার্মিনালে আরএসসিএনসি এর পিডটি সন্ধান করুন

দৌড়ে দেখুন strace -p PIDএবং এটি কী করছে। (থামার জন্য Hit C চাপুন)
চালান ps -o wchan PIDদেখতে যেখানে এটি কার্নেল রয়েছে।

— poolie
সূত্র

বাহ straceসুন্দর! আপনি সম্ভবত দেখতে পাবেন যে কিছু বিজ্ঞপ্তি চলছে: একটি লিঙ্কের মতো যা তার পূর্বপুরুষের ডিরেক্টরিগুলির একটিকে বোঝায়। আমার ক্ষেত্রে আমি একটি ভার্চুয়াল ফাইল সিস্টেম ব্যবহার করছিলাম যার গভীরতার কোনও সীমা ছিল না, যেমন এটির "অসীম" অনেক উপtagfs/books/+/books/+/books/+/ ...

— জাজ

@ জাজ আমার আরও বিশাল পরিমাণ সাব-ডাইরেক্টরিও রয়েছে গভীরতায়। তবে এটি আমার সিস্টেম ডিজাইনে রয়েছে। এই সমস্যা সমাধানের একটি উপায় আছে কি?

— ব্যবহারকারী1641443

@ ব্যবহারকারী1641443: আমি দুঃখিত, এটি আমার বাইরে।

— জাজ

@ ব্যবহারকারী1641443: 1: মার্টিন যেমন বলেছেন তেমন আরএসসিএন > 3.0 ব্যবহার করে দেখুন । 2: ছোট উপ-গাছে প্রতিটি করে একাধিক আরএসসিএনসি প্রক্রিয়া চালান। 3: আপনার নিজের পৃথক প্রশ্ন খুলুন।

— পুলি

15

আপনার এখানে rsync 3.0.x আপগ্রেড করা উচিত যেখানে আপনি বর্ধিত ফাইল তালিকার সুবিধা পাবেন, এখানে ব্যাখ্যা করা হয়েছে । আমি কয়েক মিলিয়ন ইমেজ (~ 200 গিগাবাইট ডলার) রিসাইস করছি এবং আরএসসিএনএস 2.x থেকে 3.x এ যাওয়ার সময় একটি প্রচুর গতিপথ দেখেছি

তা সত্ত্বেও, সম্ভবত all সমস্ত ডেটা যেতে খুব বেশি সময় লাগবে। আমার ক্ষেত্রে এটি এখনও দুটি দুর্দান্ত শক্তিশালী DL380 G5 সার্ভারের মধ্যে এক ঘন্টা সময় নেয়।

— মার্টিন
সূত্র

এছাড়াও লক্ষ করুন যে নির্দিষ্ট পতাকাগুলি পুরানো আচরণকে বাধ্য করবে; আমার জন্য, এটা ছিল --delay-updates।

— জিওনগ চিয়ামিভ

1

@ XiongChiamiov আমি কেবলমাত্র বিকল্পগুলি ব্যবহার করছি "-a" এবং "--progress" এবং সংস্করণ 3.1.x এখনও বর্ধিত ফাইল তালিকা তৈরি করে চলেছে । কেন?

— মাইকেল

3

আপনি আগেও লক্ষ্য করেছিলেন যে duএটিও ঝুলছিল। এই ফাইল সিস্টেমটির সাথে কিছু রয়েছে এবং rsyncযা duছিল তা হিট করছে ।

একটি চটজলদি জিনিস যা আপনি পরীক্ষা করতে পারেন তা হ'ল কার্নেল ত্রুটি বার্তাগুলি যা ডিস্কের সমস্যা নির্দেশ করে। dmesgনীচে কি টাইপ করুন এবং দেখুন।

— mattdm
সূত্র

1

"বিল্ডিং ফাইল তালিকার ..." বার্তাটির পরে থাকা স্তব্ধতাটি এমটিইউয়ের অমিলের কারণে ঘটতে পারে, যেমন আপনি যদি এমটিইউ 9000 এর সাথে নেটওয়ার্ক ইন্টারফেসগুলি সেট আপ করেন তবে ছোট প্যাকেটগুলি (আরএসসিএনসি সার্ভারের সাথে সংযুক্ত হওয়ার মতো) এর মধ্য দিয়ে যাবে তবে বড় নয় (ফাইল তালিকা প্রেরণের মতো)।

— পরিবর্তনকারী
সূত্র

অনেক অনুসন্ধানের পরে আমি এটি পেরিয়ে এসেছিলাম এবং এটি আমাকে যেতে এবং চেক করতে উত্সাহিত করেছিল - স্ট্যান্ডার্ড 1450 এমটিইউ সহ একটি ভিপিএন দিয়ে আরএসসিএনচ চালাচ্ছিল তবে আমি সাইটের মধ্যে সরঞ্জামগুলির নিয়ন্ত্রণের মধ্যে নেই - ভিপিএন এমটিইউকে 1430-এ নামিয়ে নীচে লঙ্ঘন করেছি আরএসএনসি 100% কাজ করে (এবং হঠাৎ অন্যান্য নেটওয়ার্কের অদ্ভুততাও অদৃশ্য হয়ে গেল!) ধন্যবাদ!

— l0ft13

0

এটির ভিত্তিতে এবং আপনার অন্য du /storageঝুলন্ত প্রশ্নের উপর ভিত্তি করে আমাকে ভাবতে বাধ্য করে যে সমস্যাটি duবা rsyncহয় না বরং এর সাথে কিছু সমস্যা রয়েছে /storage।

— মার্ক ওয়াগনার
সূত্র