সিইপিএইচ-র কাঁচা জায়গার ব্যবহার

Question

আমি ক্যাফ কাঁচা জায়গার ব্যবহার বুঝতে পারি না।

আমার কাছে 7 টি সার্ভারে 14 এইচডিডি (14 ওএসডি এর) রয়েছে, প্রতিটি এইচডিডি 3 টিবি মোট in 42 টিবি কাঁচা জায়গা।

ceph -s 
     osdmap e4055: 14 osds: 14 up, 14 in
      pgmap v8073416: 1920 pgs, 6 pools, 16777 GB data, 4196 kobjects
            33702 GB used, 5371 GB / 39074 GB avail

আমি 4 টি ব্লক ডিভাইস, প্রতিটি 5 টিবি তৈরি করেছি:

df -h
 /dev/rbd1       5.0T  2.7T  2.4T  54% /mnt/part1
/dev/rbd2       5.0T  2.7T  2.4T  53% /mnt/part2
/dev/rbd3       5.0T  2.6T  2.5T  52% /mnt/part3
/dev/rbd4       5.0T  2.9T  2.2T  57% /mnt/part4

ডিএফ দেখায় যে মোট 10,9 টিবি ব্যবহৃত হয়, কেফ দেখায় যে 33702 জিবি ব্যবহৃত হয়েছে। আমার কাছে যদি 2 টি অনুলিপি থাকে তবে তা অবশ্যই 22 ডলার টিবি, তবে এখন আমার 33,7 টিবি ব্যবহৃত হয়েছে - 11 টিবি মিস হয়েছে।

ceph osd pool get archyvas size
size: 2


ceph df
GLOBAL:
    SIZE       AVAIL     RAW USED     %RAW USED
    39074G     5326G       33747G         86.37
POOLS:
    NAME          ID     USED      %USED     MAX AVAIL     OBJECTS
    data          0          0         0         1840G           0
    metadata      1          0         0         1840G           0
    archyvas      3      4158G     10.64         1840G     1065104
    archyvas2     4      4205G     10.76         1840G     1077119
    archyvas3     5      3931G     10.06         1840G     1006920
    archyvas4     6      4483G     11.47         1840G     1148291

ব্লক ডিভাইস এবং ওএসডি এফএস - এক্সএফএস

Answer 1

বিভ্রান্তির একটি সম্ভাব্য উত্স হ'ল জিবি বনাম জিআইবি / টিবি বনাম টিআইবি (বেস 10 / বেস 2), তবে এটি এখানে সমস্ত পার্থক্য ব্যাখ্যা করতে পারে না।

সিএফ / আরবিডি আপনার ভলিউমের জন্য স্থান "আলস্যভাবে" বরাদ্দ দেওয়ার চেষ্টা করবে। এ কারণেই যদিও আপনি চারটি 5 টিবি ভলিউম তৈরি করেছেন, এটি 20 টি নয়, 16 টিবি ব্যবহারের প্রতিবেদন করে But কয়েকটি বিষয় লক্ষণীয়:

আপনি যখন আপনার আরবিডি-ব্যাকড ফাইল সিস্টেমগুলিতে ফাইলগুলি মুছবেন তখন ফাইল সিস্টেমগুলি অভ্যন্তরীণভাবে ব্লকগুলিকে নিখরচায় চিহ্নিত করবে, তবে সাধারণত সেগুলি অন্তর্নিহিত ব্লক ডিভাইসে (আরবিডি) "ফেরত" দেওয়ার চেষ্টা করবেন না। যদি আপনার কার্নেল আরবিডি সংস্করণটি সাম্প্রতিক পর্যায়ে (3.18 বা আরও নতুন) fstrimহয় তবে আপনি মুক্ত ব্লকগুলি আরবিডিতে ফিরিয়ে দিতে সক্ষম হবেন । আমি সন্দেহ করি যে আপনি এই ফাইল সিস্টেমে অন্য ফাইলগুলি তৈরি এবং মুছে ফেলেছেন, তাই না?

নেট ডেটা ব্যবহারের বাইরেও কিছু ফাইল সিস্টেম ওভারহেড রয়েছে যা দেখায় df। "সুপারব্লকস" এবং অন্যান্য ফাইল সিস্টেম-অভ্যন্তরীণ ডেটা স্ট্রাকচার ছাড়াও কিছু ওভারহেড গ্র্যানুলারিটি থেকে আশা করা যায় যেখানে আরবিডি ডেটা বরাদ্দ করে। আমি মনে করি আরবিডি সর্বদা 4 এমবি খণ্ড বরাদ্দ করবে, এমনকি যখন এর একটি অংশ ব্যবহার করা হয়।

Comments

এবং আমি সাইমন সাথে একমত। আমাদের উভয় উত্তর একসাথে একটি সম্পূর্ণ করতে অনুমান। BTW। অভিশাপ। 20 ঘন্টা পুরানো প্রশ্ন এবং আপনি 35 সেকেন্ডের মধ্যে উত্তর দিতে আমাকে পিটিয়েছেন? : ডি

— ফক্স

উত্তরের জন্য আপনাকে উভয়কে ধন্যবাদ। এখন আমি বুঝতে পারি আমার সমস্যাটি কোথায় এবং কীভাবে এটি সমাধান করা যায়।

— কুমারীত্ব 5

সম্ভাব্য বিকল্পগুলি: 1. লিনাক্স কার্নেল> 3.18 এ আপগ্রেড করুন এবং বাতিল বিকল্পের সাথে মাউন্ট করুন; (আমি কার্নেলটি 3.19.0-1.el6.elrepo.x86_64 দিয়ে পরীক্ষা করেছি, তবে প্রতিদিন অচলাবস্থা ছিল); ২ <5 টিবি আকারের ব্লক ডিভাইসগুলি পুনরুদ্ধার করুন (এক্সএফএস সঙ্কুচিত করতে পারে না) 3. এইচডিডি যুক্ত করুন এবং অতিরিক্ত ওএসডি তৈরি করুন।

— কুমারীত্ব

এটি সূক্ষ্ম কাজ নিশ্চিত করতে পারে। আমার ক্যাফ ক্লায়েন্ট মেশিনের কার্নেলটি গত সপ্তাহান্তে উবুন্টু এলটিএস 14.04.3 ( sudo apt-get install --install-recommends linux-generic-lts-vivid) এ 3.19 এ উন্নীত করা হয়েছে, আমার আরবিডি ভলিউমগুলি পুনরায় বুট করা হয়েছে, পুনরায় ম্যাপ করা হয়েছে এবং fstrimতাদের উপর একটি চালানো হয়েছে এবং একটি ছোট 25 টিবি ক্লাস্টারে সম্মিলিতভাবে 450GB উদ্ধার করেছে। একবার আপনি আপগ্রেড করার পরে, নিশ্চিত হয়ে নিন যে আপনি discardবিকল্পটি দিয়ে আপনার আরবিডি ভলিউম মাউন্ট করা শুরু করেছেন ।

— ব্রায়ান ক্লাইন

Answer 2

আমি কোনও সেফ বিশেষজ্ঞ নই তবে আমাকে একটু অনুমান করতে দিন।

ব্লক ডিভাইসগুলি discardবিকল্প ছাড়া মাউন্ট করা হয় না । সুতরাং আপনার লিখিত বা মুছার যে কোনও ডেটা ফাইল সিস্টেমে ( /mnt/part1) প্রদর্শিত হবে না, তবে এটি একবার লেখা হয়েছিল এবং ছাঁটাই করা হয়নি, এটি অন্তর্নিহিত ফাইল সিস্টেমে থাকে।

আপনি যদি USEDআপনার পুলগুলি সন্ধান করেন এবং সেগুলি একসাথে যুক্ত করেন তবে আপনি 16777 গিগাবাইট পাবেন যা কি ceph -sদেখায় তার সমান । এবং যদি আপনি এটি দুটি (দুটি অনুলিপি) দ্বারা গুণিত করেন তবে আপনি 33554 গিগাবাইট পাবেন যা ব্যবহৃত স্থানটি অনেক বেশি।

Comments

আমি ফক্সের প্রতিক্রিয়ার সাথে একমত (যা নীচে আমার মতো একই সময়ে লেখা হয়েছিল :-)। discardএবং "ট্রিম" হ'ল মূলত একই প্রক্রিয়াটির জন্য পৃথক শব্দ যা অবরুদ্ধ ব্লকগুলিকে একটি ব্লক ডিভাইসে ফিরিয়ে আনতে ব্যবহার করা যেতে পারে। discardবিকল্পের সাথে মাউন্ট করার পছন্দসই প্রভাব থাকতে হবে। কিছু লোক fstrimফাইল সিস্টেমের দ্বারা অবিচ্ছিন্ন ডিসকার্ডের ওভারহেড এড়াতে পর্যায়ক্রমে চালানো পছন্দ করে । মনে রাখবেন যে এটির কোনও কাজ করার জন্য, আপনার আরবিডি ড্রাইভারকে ট্রিম / বাতিল করা সমর্থন করতে হবে। যেমনটি আমি বলেছি, আরবিডি কার্নেল ড্রাইভার এটি লিনাক্স ৩.১৮ এর পর থেকে করেছেন track দেখুন ট্র্যাকার.সেইফ . com/issues/190 ।

— সবে