এনটিএফএস বনাম এইচএফএস, ext3, অন্যদের উপর হাজার হাজার ফাইল ফাইল অপারেশন পারফরম্যান্স


5

[আমার থেকে crossposted এইচএন পোস্ট জিজ্ঞাসা করুন । প্রশ্নটি সুপারউসারের জন্য প্রশস্ত হলে এটি বন্ধ করুন।]

এটি এমন কিছু বিষয় যা আমি প্রায় বছর ধরে অদ্ভুত হয়েছি, তবে আমি এই বিষয়ে কোনও ভাল আলোচনা কখনও খুঁজে পাইনি। অবশ্যই, আমার গুগল-ফু শুধু আমার ব্যর্থ হতে পারে ...

আমি প্রায়ই অপেক্ষাকৃত ছোট ফাইল হাজার হাজার জড়িত প্রকল্প সঙ্গে মোকাবিলা। এর মানে হল যে আমি প্রায়শই সেই সমস্ত ফাইল বা তাদের একটি বড় উপসেটে অপারেটিং সম্পাদন করছি- অন্যত্র প্রকল্প ফোল্ডার অনুলিপি করা, অস্থায়ী ফাইলগুলির একটি গোছা মুছে ফেলা ইত্যাদি। আমি যে সমস্ত মেশিনে কয়েক বছর ধরে কাজ করেছি। লক্ষ্য করেছি যে এনটিএফএসগুলি একটি ম্যাকে এইচএসএসের চেয়ে ধারাবাহিকভাবে ধীর গতির বা লিনাক্স বক্সে এক্সটি 3 / এক্সটি 4 এ পরিচালনা করে। যাইহোক, যতদূর আমি বলতে পারি, কাঁচা থ্রুপুটটি আসলে NTFS- এ নীরব নয় (অন্তত উল্লেখযোগ্যভাবে নয়), তবে প্রতিটি পৃথক ফাইলের মধ্যে বিলম্বটি কেবলমাত্র একটু বেশি। যে সামান্য বিলম্ব সত্যিই হাজার হাজার ফাইল যোগ করে।

(সাইড নোট: আমি যা পড়েছি তা থেকে উইন্ডোজ এ এমন একটি ব্যথা যা হ'ল এটি একটি ব্যথার কারণ, কারণ এটি তার বস্তুর ডাটাবেসের জন্য ফাইল সিস্টেমে খুব বেশি নির্ভর করে।)

অনুমান করা হয়েছে, আমার প্রমাণগুলি কেবলমাত্র অযৌক্তিক - আমি বর্তমানে কোন বাস্তব কার্যকারিতা সংখ্যা নেই, তবে এটি এমন কিছু যা আমি আরও পরীক্ষা করতে চাই (সম্ভবত উইন্ডোজটিতে একটি ম্যাক ডুয়াল-বুটিংয়ের সাথে)। এখনও, আমার geekiness ইতিমধ্যে আছে যে কেউ জোর করে।

কেউ কি এটিকে ব্যাখ্যা করতে পারে, নাকি সম্ভবত আমাকে সঠিক দিক নির্দেশনা দিয়ে নিজেকে আরও গবেষণা করতে পারে?

উত্তর:


3

আমি এইচএফএস বিশেষজ্ঞ নই, তবে আমি এনটিএফএস এবং এক্সটি 3 ফাইল সিস্টেমগুলিতে নজর রেখেছি। আপনি দুটি জিনিস বিবেচনা করা উচিত মত এটা শোনাচ্ছে।

প্রথমত, ext2 / 3/4 ফাইল সিস্টেমগুলি ফাইল মেটাডেটা (অনুমতি, মালিকানা, ব্লক বা ফাইলের ডেটা তৈরি করে এমন এক্সটেনেন্টগুলি) সংরক্ষণের জন্য ডিস্কের ক্ষেত্রগুলি প্রাক-বরাদ্দ করে। আমি NTFS না মনে করি না। একটি ext3 "inode" এর সমতুল্য হল $ MFT রেকর্ড। এটি আমার বোঝা যে আপনি যখন ফাইল তৈরি করেন তখন $ MFT রেকর্ডগুলি অগত্যা ইতিমধ্যে বরাদ্দ করা হয় না। প্রয়োজন হলে $ এমএফটি উত্থাপিত হতে পারে। একটি ext2 / 3/4 ফাইল সিস্টেমের মধ্যে ইনডো সংখ্যা বৃদ্ধি করা অনেক কঠিন।

আমি কোন এনটি অভ্যন্তরীণদের কাছে গোপন নই, তবে সবকিছু এমএফটি রেকর্ডের মত প্রয়োজনীয় হিসাবে তৈরি হয়ে যায়, সুতরাং আপনার ছোট ফাইল, ডিরেক্টরি, বড় ফাইলগুলি অন্তর্ভূক্ত থাকতে পারে।

বিএসডি এফএফএস স্টাইল ফাইল সিস্টেমগুলির জন্য, যা ext2 / 3/4 ফাইল সিস্টেমগুলি স্পষ্টভাবেই আছে, অনেকগুলি অন-ডিস্ক ইনডোডগুলি গোষ্ঠীভুক্ত করা হয়েছে এবং ইনডক্স থেকে ডিরেক্টরি ফাইলগুলি পৃথক করা হয়েছে। যদিও অনেক দক্ষতা এবং নিরাপদে উভয় ডিরেক্টরি এবং মেটাডেটা লেখার মধ্যে চলে গেছে। দেখুন: http://www.ece.cmu.edu/~ganger/papers/softupdates.pdf একটি উদাহরণ হিসাবে।

দ্বিতীয়ত, যদি আমি সঠিকভাবে জিনিসগুলি পড়ি তবে ছোট ফাইলগুলির জন্য তথ্য $ MFT রেকর্ডগুলিতে রাখা হয়। এটি ext2 / 3/4 এর সত্য নয়, এবং সেইজন্যই আমি উপরে উল্লেখ করেছি যে ছোট ফাইলগুলি এবং বড় ফাইলগুলিকে একটু ভিন্নভাবে চিকিত্সা করা হয়।

এটি এনটি (অপারেটিং সিস্টেম) মত আমার মনে হয় $ MFT জন্য বিরোধ থেকে ভুগছেন। Directoies আপডেট পেতে, যা একটি $ এমএফটি রেকর্ড আপডেট। ছোট ফাইল তৈরি করা হয়, যা একটি $ MFT আপডেট। ওএস কার্যকরীভাবে পড়তে এবং লিখতে পারে না কারণ সমস্ত মেটাডেটা আপডেট এবং ডেটা সমস্তই একই "ফাইল", $ MFT তে যায়।

কিন্তু, আমি বললাম, ঠিক একটা অনুমান। এনটিএফএস সম্পর্কে আমার জ্ঞান প্রধানত পড়ার থেকে, এবং এটির সাথে পরীক্ষা করার থেকে খুব কম। আপনি যদি "ডিফল্ট" ফাইলগুলি "ফাইল ডেটা" থেকে পৃথক "ইনডো" থেকে আলাদা করে রাখেন তবে এটি দেখে আপনি আমার অনুমানটি দ্বিগুণ করতে পারেন। এটা যদি, এটি একটি বড় ইঙ্গিত হতে পারে।


আপনার তথ্যপূর্ণ প্রতিক্রিয়ার জন্য ধন্যবাদ! এটা অবশ্যই মনে হচ্ছে মাস্টার ফাইল টেবিল অপরাধী (অন্তত আংশিকভাবে)।
peterjmag

3
এনটিএফএস প্রকৃতপক্ষে এমএফটি জন্য স্থান preallocate না। দেখ msdn.microsoft.com/en-us/library/aa365230(VS.85).aspx - এনটিএফএস ফাইল বৃদ্ধির খুব তথ্যপূর্ণ চারটি স্তর দেখুন: blogs.technet.com/b/askcore/archive/2009/10/16/...
user4197

চমৎকার সহায়তার তথ্য, user4197, কিন্তু সেই তথ্যটি নিশ্চিত করে যে MFT এর জন্য বিরোধটি অনেকগুলি ছোট ফাইলগুলির সাথে কাজ করার সময় সমস্যা হতে পারে যার মেটাডেটা প্রায়শই আপডেট হয়।
Bruce Ediger
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.