আমি কীভাবে কয়েক মিলিয়ন ফাইল দিয়ে হার্ড ডিস্কের স্থানটি কল্পনা করতে পারি?


18

আমাদের কাছে একটি হার্ড ডিস্ক রয়েছে যা 600 জিগ এবং প্রায় পূর্ণ। এটি 18,501,765 ফাইল (বেশিরভাগ ছোট 19k চিত্র) এবং 7,142,132 ফোল্ডার দিয়ে পূর্ণ হয়েছে। ঠিক ঠিক কোথায় সমস্ত স্থান চলে গেছে তা খুঁজে পাওয়া খুব কঠিন। আমাদের নিয়মিত ক্লিনআপ পদ্ধতিগুলি পর্যাপ্ত জায়গা সাফ করছে না যার অর্থ আমাদের এই ড্রাইভটি সামগ্রিকভাবে দেখার প্রয়োজন এবং সেখানে কী আছে এবং কী স্থানান্তরিত বা অপসারণ করা যেতে পারে তা নির্ধারণ করা দরকার। আমরা বেশ কয়েকটি অ্যাপ্লিকেশন চেষ্টা করেছি এবং এখনও অবধি এগুলি ব্লু হয়ে গেছে বা সম্পূর্ণরূপে আশ্চর্য সময়ের জন্য দৌড়ে গেছে।

সার্ভার তথ্য

  • অপারেটিং সিস্টেম: উইন্ডোজ সার্ভার 2003
  • ফাইল সিস্টেম: এনটিএফএস

সমাধান

স্পেস ওবসভার 18,501,765 ফাইল এবং 7,142,132 ফোল্ডারগুলির মধ্যে খুব কমই কোনও স্মৃতি না নিয়েই পড়তে সক্ষম হয়েছিল। আমি নিশ্চিত যে এটি বেশিরভাগই সমস্ত ডেটা সঞ্চয় করার জন্য এসকিউএল ব্যাকএন্ড ব্যবহার করে to দুর্ভাগ্যক্রমে সার্ভারে এটি সমস্ত পণ্যের মধ্যে সবচেয়ে ব্যয়বহুল $ 259.95।

সমাধানের চেষ্টা করা

আমার গবেষণা চলাকালীন আমি বেতন এবং বিনামূল্যে উভয়ই বিভিন্ন সমাধানের চেষ্টা করেছি। প্রত্যেকের তথ্যের জন্য আমি নীচে চেষ্টা করা পণ্যগুলির একটি তালিকা রেখেছি।

বিনামুল্যের সফটওয়্যার

পে সফটওয়্যার

আপডেট

আপডেট # 1 : আমি যে সার্ভারটি বিশ্লেষণের চেষ্টা করছি তাতে 2 জিবি র‌্যাম রয়েছে এবং বেশিরভাগ পণ্য যা আমি চেষ্টা করি মনে হয় ফাইল / ফোল্ডার তথ্য মেমরির মধ্যে রেখে চেষ্টা করে চলেছে। এটি 18,501,765 ফাইল এবং 7,142,132 ফোল্ডারগুলির সাথে খুব দ্রুত শেষ হয়ে যায়।

আপডেট # 2 : দেখে মনে হচ্ছে WinDirStat এর বিকাশকারীরা আমাদের বলার জন্য যথেষ্ট জড়িত হয়েছিলেন যে এটি 64-বিটের অধীনে সংকলন করতে পারে। এটি এটিকে কাজ করতে আরও স্মৃতি দেয় তবে তারা নিশ্চিত না যে তারা যদি ডিস্ক অবিরত না রাখতে পারে তবে এটি যথেষ্ট হবে কিনা।


কী অপারেটিং সিস্টেম?
ওয়েসলি

এটি উইন্ডোজ সার্ভার 2003. পোস্টটি এখনই এটি সম্পাদনের জন্য সম্পাদনা করেছি।
নাথান পামার

এগুলির মধ্যে কোনও কি সম্পূর্ণ নিখরচায়, শেয়ারওয়ার, বা উন্মুক্ত উত্স?
মাসলো

ব্যর্থ, চলমান এবং মুলতুবি কী আছে সে সম্পর্কে আমাদের সেভাবে আপডেট করতে আপনারা খুব ভালো। আমাকে ভাল ধারণা দেয়।
ওয়েসলি

2
সমস্যা নেই. আমি অনুভব করেছি এটি ভাল তথ্য হতে পারে যেহেতু আমার মনে হয় যে আমরা একটি # ফাইল সংস্থাগুলি নিয়ে কাজ করি যা সাধারণত দৈনিক ভিত্তিতে কাজ করে না। এছাড়াও, আমি স্রেফ বিনামূল্যে এবং অর্থ প্রদানের বিভাগগুলি দিয়ে আপডেট করেছি।
নাথান পামার

উত্তর:


6

ধরে নিচ্ছি আপনার ওএসটি উইন্ডোজ ...

যেভাবেই আপনি এটি স্লাইস করেন, কয়েক মিলিয়ন ফাইল ট্যাবুলেটিং করতে সর্বদা দীর্ঘ সময় লাগে এবং ডিস্কের I / O দ্বারা সীমাবদ্ধ থাকবে। আমি ট্রিসাইজ প্রফেশনালকে প্রস্তাব দিই । অথবা হতে পারে স্পেসওব সার্ভার । আপনি ট্রি সাইজের ফ্রিওয়্যার সংস্করণটিও চেষ্টা করে দেখতে পারেন।


আমি রাজী. তবে এই দুটি পণ্য যা আমি চেষ্টা করি নি তাই আমি একবার দেখে নিই।
নাথান পামার

5

অবশ্যই উইনডিরস্ট্যাট চেষ্টা করুন : এটি প্রতিটি ফাইলকে স্কেল আঁকানো আয়তক্ষেত্র হিসাবে চিত্রিত করে ডিস্ক ব্যবহারের চমত্কার ভিজ্যুয়ালাইজেশন দেয়, ফাইলের ধরণের মাধ্যমে কোডযুক্ত রঙ। ভিজ্যুয়ালাইজেশনের যে কোনও আইটেমটিতে ক্লিক করুন এবং আপনি এটি ডিরেক্টরি ট্রিতে দেখতে পাবেন।

স্ট্যান্ডার্ড 32-বিট বিল্ডটি 10 ​​মিলিয়ন ফাইল এবং 2 জিবি র‌্যাম ব্যবহারের মধ্যে সীমাবদ্ধ তবে উত্স কোডটি 64-বিট অ্যাপ্লিকেশন হিসাবে সফলভাবে তৈরি করবে। এই প্রশ্নে সার্ভারের কেবল 2 গিগাবাইট র‌্যাম রয়েছে তা এই সমস্যাটিতে সমস্যাযুক্ত হতে পারে তবে এ জাতীয় সংখ্যক ফাইলের বেশিরভাগ সার্ভারের র‌্যামের পরিমাণ আরও অনেক বেশি।

সম্পাদনা # 1: আমি আবিষ্কার করেছি যে দুঃখের জন্য আমি লক্ষ করেছি যে কয়েক মিলিয়ন ফাইল যুক্ত 4TB ভলিউম পরীক্ষা করা হয়েছিল, উইনডিরস্ট্যাট পোর্টেবল প্রায় 6.5 মিলিয়ন ফাইলকে সূচিকরণের পরে ক্র্যাশ করেছিল। যদি ড্রাইভে 6+ মিলিয়ন ফাইল থাকে তবে এটি মূল প্রশ্নের জন্য কাজ করতে পারে না।

# 2 সম্পাদনা করুন: WinDirStat এর সম্পূর্ণ সংস্করণটি 10 ​​মিলিয়ন ফাইল এবং 1.9GB ব্যবহৃত ব্যবহৃত হয়েছে hes

সম্পাদনা # 3: আমি উইনডিরস্ট্যাট বিকাশকারীদের সাথে যোগাযোগ করেছি এবং: (1) তারা সম্মত হয় যে এটি x86 আর্কিটেকচারের মেমরির ব্যবহারের সীমাবদ্ধতার কারণে হয়েছিল এবং (2) উল্লেখ করেছে যে এটি ত্রুটি ছাড়াই 64৪-বিট হিসাবে সংকলন করা যেতে পারে। আরো শীঘ্রই.

সম্পাদনা # 4: উইনডিরস্ট্যাট এর একটি 64-বিট বিল্ডের পরীক্ষাটি সফল হয়েছিল। ৪৪ মিনিটের মধ্যে, এটি ১১.৪ মিলিয়ন ফাইলকে সূচক করে এবং ২.7 গিগাবাইট র‍্যাম গ্রহণ করে।


এটি নিয়মিত সংস্করণটি চেষ্টা করার উপযুক্ত হতে পারে, কারণ এটি সম্ভব যে পোর্টেবল পরিবেশটি একটি অপ্রত্যাশিত সীমাবদ্ধতা তৈরি করেছিল। আমি নিজেই তা পরীক্ষা করার মতো অবস্থানে নেই। উইন্ডাস্ট্যাট.info
জন

প্রকৃতপক্ষে, নিয়মিত সংস্করণটি 10+ মিলিয়ন ফাইল এবং 1.9 গিগাবাইট র‌্যাম ব্যবহারে মারা যায়। আমার সন্দেহ হয় যে এটি> 2 জিবি বরাদ্দ করতে অক্ষম। আমি অবাক হয়েছি যে এটি যথেষ্ট পরিমাণ র‌্যাম ব্যবহার করে (প্রতি ফাইলের প্রায় 200 বাইট লম্বা), তবে আবার আমি এমন এক যুগে বড় হয়েছি যখন ব্যক্তি বাইটগুলি আজকের চেয়ে অনেক বেশি মূল্যবান ছিল ...
স্কাইহক

আমি WinDirStat অনেক ব্যবহার করি। দুর্ভাগ্যক্রমে আপনি যখন এটি ফাইলের একটি বৃহত # ফাইল এ পাবেন তখন এটি কাটবে না।
নাথান পামার

আমি উইনডিরস্টেটে দেবের কিছু নিয়ে ফিরে আসে কিনা তা শুনতে আগ্রহী। র‌্যাম আমার জন্য 32-বিট বা 64-বিটে একটি প্রতিবন্ধক হতে চলেছে।
নাথান পামার

1
কোনও অফিসিয়াল বিল্ড নেই, তবে আমি আপনাকে একটি অফিশিয়াল পাঠাতে পারি - স্পষ্টতই, আপনার যদি ভিজ্যুয়াল স্টুডিও না থাকে তবে আপনার নিজের রোল করা মুশকিল হবে! (my.name@gmail.com আমাকে ছুঁয়েছে)
Skyhawk

4

আমি কোনও সমস্যা ছাড়াই কয়েক মিলিয়ন ফাইল সহ নিয়মিত কয়েকটি 1 টিবি ড্রাইভে ফোল্ডারসাইজগুলি ব্যবহার করি ।


অসাধারণ. তার সম্পর্কে জানতাম না।
ওয়েসলি

গ্রেট। আমি এটা চেষ্টা করে দেখব.
নাথান পামার

3

ট্রি সাইজ পণ্যগুলির জন্য +1, কিন্তু ...

"পর্যাপ্ত জায়গা পরিষ্কার না করা" সম্পর্কে আপনার বাক্যটি আমাকে অবাক করে তোলে: আপনি কি এনটিএফএস এমএফটি সংরক্ষিত স্থানের বাইরে চলে যেতে পারতেন? প্রাথমিকভাবে বরাদ্দের চেয়ে যদি ফাইলসিস্টেম আরও এমএফটি স্থান দখল করে তবে এটি নিয়মিত ফাইলস্পেসে ফিরে আসে না এবং ডিফ্রেগ ক্রিয়াকলাপে প্রদর্শিত হয় না।

http://support.microsoft.com/kb/174619

"অপেক্ষাকৃত বড় ফাইলগুলির একটি সংখ্যক সংখ্যক ভলিউম প্রথমে অনাবৃত স্থানটি সরিয়ে দেয়, অপেক্ষাকৃত ছোট ফাইলগুলির সংখ্যক ভলিউম প্রথমে এমএফটি জোন স্থানটি নিঃশেষ করে দেয় either উভয় ক্ষেত্রেই এমএফটি বিভাজন ঘটতে শুরু করে যখন কোনও অঞ্চল বা অন্যগুলি পূর্ণ হয়ে যায় un যদি অনারक्षित স্থানটি পূর্ণ হয়ে যায়, এমএফটি জোন থেকে বরাদ্দ দেওয়ার জন্য প্রতিযোগিতা করে এমএফটি অঞ্চল থেকে ব্যবহারকারী ফাইল এবং ডিরেক্টরিগুলির জন্য স্থান বরাদ্দ করা শুরু করে If যদি এমএফটি অঞ্চলটি পূর্ণ হয়ে যায়, তবে নতুন এমএফটি এন্ট্রিগুলির জন্য বাকিগুলি থেকে স্থান বরাদ্দ করা হয় new ডিস্কটি আবার অন্য ফাইলগুলির সাথে প্রতিযোগিতা করে।


দেখতে চেক করার মতো কিছু ভাল লাগছে। দুর্ভাগ্যক্রমে আমরা এমএফটি আকার দেখতে পাচ্ছি না কারণ সিএফকেডিএসকে ছাড়াই ডিফ্র্যাগ বিশ্লেষণ করবে না এবং সিএইচকেডিস্ক বর্তমানে "একটি অনির্দিষ্ট ত্রুটি ঘটেছে" নিয়ে ব্যর্থ হচ্ছে।
নাথান পামার

3
  1. সিডি \
  2. dir / s> out.txt
  3. সমকামী! যাদু ঘটে; বা পার্ল হ্যাকার দেখায়
  4. ফলাফল!

সিরিয়াসলি। আমি 5 বা 6 মিলিয়ন ফাইল দিয়ে এটি করেছি; আপনি যা খুঁজছেন ঠিক তা নিশ্চিত নয় তবে একটি ভাল স্ক্রিপ্টিং ভাষা এটি খেয়ে ফেলবে।


সু ... ধাপ # 3 এ কী ঘটে .. ধরে নিচ্ছেন পার্ল হ্যাকারটি দেখাবে না?
নাথান পামার

আপনি যা প্রয়োজন তার উপর আরও তথ্য পোস্ট করতে পারেন? বৃহত্তম ফাইল? বৃহত্তম ডিরেক্টরি? আপনার কি তারিখ / সময় তথ্য দরকার? এটি কি এক সময়ের প্রয়োজন, বা পুনরাবৃত্তি?
SqlACID

আপাতত এক সময়। আমার জানা দরকার যে কোন ডিরেক্টরিগুলি বৃহত্তম (dir + শিশু) সেগুলি কিন্তু সেই তথ্যটি বৈধ হওয়ার আগে আমাকে কয়েকটি ডিরেক্টরিতে যেতে হবে। তারপরে আমার তারিখের মধ্যে ফাইলগুলির একটি ব্রেকআপ করা দরকার যাতে আমি সাম্প্রতিক বনাম পুরানো ফাইলগুলি দেখতে পারি।
নাথান পামার

3

আমি সাধারণত উইন্ডোজ ব্যবহারকারী নই, তবে আমি সাইগউইনের অস্তিত্ব সম্পর্কে সচেতন। :-)

এটি যথেষ্ট ভাল কাজ করে, যেমন কিছু

du -m /your/path | sort -nr | head -n 50

বা সম্ভবত সাইগউইনে

du C:\ | sort -nr | head -n 50

যাইহোক, সেগুলি আপনার 50 টি বড় ডিরেক্টরি মুদ্রণ করবে (মেগাবাইটের আকার)।


2

স্পেসমোনজারের সাথে আমি কয়েকটি সমস্যা খুঁজে পেয়েছি এবং ইউটিবি স্টিক থেকে সহজেই স্থানান্তর করতে বা চালাতে পারি এমন একটি ইউটিলিটির সন্ধানে - স্পেস স্নিফার সেই ক্ষেত্রে খুব বহুমুখী বলে প্রমাণিত হয়েছিল এবং স্বাচ্ছন্দ্যে বহু-টেরাবাইট ভলিউম পরিচালনা করে।


মাল্টি-টেরাবাইট ভলিউম কত ফাইল? দেখে মনে হচ্ছে আমাদের বড় সমস্যাটি কতটা স্থান ব্যবহৃত হয় তা নয় তবে প্রোগ্রামটি কতগুলি ফাইল পরিচালনা করতে পারে। বেশিরভাগ লোকজন দম বন্ধ করছে।
নাথান পামার

আমার কাছে কয়েক মিলিয়ন ফাইলেরও বেশি পরীক্ষা-নিরীক্ষার জন্য ফাইল নেই যাতে আমি আপনার 10 মিলিয়ন ফাইল প্রশ্নের আত্মবিশ্বাসের সাথে উত্তর দিতে পারিনি - আমার একটাই পরামর্শ হ'ল এই সরঞ্জামগুলির সাহায্যে আপনি যে ডিরেক্টরিটি ভিজ্যুয়ালাইজ করা যায় তার গভীরতা নির্ধারণ করতে পারেন - সন্ধান করুন মাঝারি খুশি এবং তারপরে আপনার যে ফোল্ডারটি দরকার তা গভীরভাবে যান, ভিজ্যুয়ালাইজেশনের সময়টি সাশ্রয় করা উচিত।

1

du -s একটি চিম্টি ব্যবহার করা যেতে পারে, এবং প্রয়োজন হিসাবে দীর্ঘ হিসাবে চালানো হবে।


ধন্যবাদ। পরের বার যখন আমি * আইএক্স সিস্টেমে আছি তখন তা পরীক্ষা করে দেখবে।
নাথান পামার


এটি উইন্ডোতে উপলব্ধ ছিল না। আমি তা চেক আউট করব. ধন্যবাদ।
নাথান পামার



0

এমএফএটি টেবিলটি সংশ্লেষ করে, আমার মাথার পিছন থেকে মনে হচ্ছে যে জেকিডিফ্রেগ, মূল ওপেনসোর্স সংস্করণ, এমএফএটি অঞ্চলের জন্য ভিন্ন ভিন্ন রঙ সহ একটি খুব সুনির্দিষ্ট ডিস্ক ভিউ দিয়েছে। আমি মনে করি আমি এর আগে একবার মাইফুট আকার এবং খণ্ড বিস্তারের অনুমানের নিয়মের জন্য ব্যবহার করেছি।

চিডস্কের যত্নও করে না।

চেষ্টা করতে পারেন?


আমি এটা ব্যবহার করে দেখুন দিয়েছে। আমি যখন বিশ্লেষণ পরিচালনা করি তখন এই অন্যান্য প্রোগ্রামগুলির বেশিরভাগ ক্ষেত্রে একই পরিণতি হয়। মেমরিতে প্রচুর ফাইল / ফোল্ডার সঞ্চিত।
নাথান পামার

এটি পড়ে দুঃখিত। প্ল্যাটফর্ম সমস্যার মতো মনে হচ্ছে। আমার আরেকটি পরামর্শ রয়েছে: ডিস্কটি মিরর করুন (বিট চিত্র, ইমেজিং সফট বা হার্ডওয়্যার মিরর) যাই হোক না কেন, মিররটি ভেঙে দিন এবং অনুলিপিটি অন্য প্ল্যাটফর্মের ফরেনসিকের নীচে রাখুন। লিনাক্স / তুষার। এটি আপনার কাজের সময় যে পরিমাণ সময় ব্যয় করেছে সে সম্পর্কে আয়না ড্রাইভের দামের জন্য পরোয়ানা দেওয়ার জন্য এনভয়েড সময় ব্যয় করেছে।
ডিপ্লোয়মনকি


0

আমি উইন্ডোজ সার্ভারে রিমোট স্ক্যান ফাংশনটি ব্যবহার করে লিনাক্সে ডিস্ক ইউজ অ্যানালাইজার - বাওবাব ব্যবহার করেছি। আমি জানি না যদিও এটির সীমাবদ্ধতা কী।

ফেডোরা লাইভসিডি- তে বাওবাব রয়েছে। আপনার ল্যানে যে কোনও কম্পিউটারে এটি বুট করুন।

এগুলি সবই নিখরচায় - যেমন বিয়ারে এবং বক্তৃতার মতো। বাণিজ্যিক ব্যবহারের জন্যও।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.