ফাইল সিস্টেমে 25TB + মূল্যমানের মিলিয়ন ফাইলগুলি দক্ষতার সাথে সঞ্চয় করার টিপস


11

বলুন যে আপনি 25 টিবি মূল্যবান কমপ্রেসড লগ ফাইলগুলির সাথে মুখোমুখি হয়েছেন এবং আপনার সম্মতিতে 25 টিবি সমষ্টিগত ফ্রি স্টোরেজ ক্ষমতা সহ 20 পণ্য বাক্সের একটি অ্যারে রয়েছে।

এগুলি আপনি কীভাবে সংরক্ষণ করবেন?

ক) কোন বিতরণ ফাইল সিস্টেম ব্যবহার করতে হবে?

খ) কোন সংক্ষেপণ / ডিকম্প্রেশন ফর্ম্যাট / অ্যালগরিদম?

গ) লগ ফাইলের আকার 1MB থেকে সর্বোচ্চ 7MB সমস্ত পাঠ্য এবং প্রচুর সাদা স্থান

d) ব্যবহারটি হ'ল) ​​লোকেরা আগের তুলনায় সর্বশেষতম লগ ফাইলগুলি চায় তাই কী ক্যাচিং সিস্টেমটি ব্যবহার করতে হবে খ) লোকেরা কেবল লগ ফাইলগুলি মুছবে না সেগুলি পড়বে গ) লোকেরা একটি তারিখের সীমার বিপরীতে লগ ফাইলের তালিকা চায়

e) পণ্য বাক্সগুলিতে চলমান অপারেটিং সিস্টেমটি হল লিনাক্স,

চ) ব্যাকআপের জন্য আমাদের কাছে স্টোরেজ অ্যারে রয়েছে যা এটি যত্ন করে। অ্যারে থেকে ডেটা পুনরুদ্ধার করার ক্ষমতা বিদ্যমান।

আমি চাই না যে তারা সরাসরি ফাইল সিস্টেমে অ্যাক্সেস করবে। আমার কি করা উচিৎ ? আমি কীভাবে এটির জন্য একটি REST ভিত্তিক এপিআই পেতে পারি?

আপনি 2 সেন্ট অবকাশ দিন এবং আপনি কি করবেন?

অঙ্কুর


পণ্য বাক্সগুলি কোন অপারেটিং সিস্টেমগুলি চলছে? আপনার কি ত্রুটি সহিষ্ণুতা প্রয়োজন, বা আপনি যদি একটি বাক্সে সঞ্চিত সমস্ত ডেটা হারিয়ে ফেলেন, তা কি ঠিক?
মার্ক হেন্ডারসন

@ ফার্সিকার আপনার প্রশ্নের উত্তর দেওয়ার জন্য প্রশ্নটি সম্পাদনা করেছেন। ধন্যবাদ
অঙ্কুর গুপ্ত

কেবল প্রশ্নটি পুনরায় পড়ুন, এবং প্রথম প্রশ্নটি আমি জিজ্ঞাসা করব: 25TB লগ ফাইলগুলি এখনই কোথায় সংরক্ষিত আছে এবং তারা সেখানে থাকতে পারে?
মার্ক হেন্ডারসন

একটি এনএফএস ফাইল সিস্টেমে @ ফার্সিকার
অংকুর গুপ্ত

উত্তর:


7

আমি কোনও বিতরণকারী ফাইল সিস্টেম নিনজা নই, তবে যতগুলি চালাতে পারি যতগুলি ড্রাইভকে সংহত করার পরে আমি যতটা সম্ভব মেশিনের বাল্ককে একটি প্রধান মেশিনে সংযুক্ত করতে আইএসসিএসআই ব্যবহার করার চেষ্টা করব। সেখানে আমি আশা করি কোনও ফল্ট সহনীয় স্টোরেজে জিনিসগুলিকে একীভূত করতে পারলাম। সাধারণত, একটি মেশিনের মধ্যে ত্রুটি সহনশীল (যদি কোনও ড্রাইভ চলে যায়) এবং মেশিনগুলির মধ্যে (যদি একটি সম্পূর্ণ মেশিন বিদ্যুৎ বন্ধ থাকে)।

ব্যক্তিগতভাবে আমি জেডএফএস পছন্দ করি। এই ক্ষেত্রে, সংকোচনের মধ্যে বিল্ড, ছাড় এবং দোষ সহন সহায়ক হবে। তবে, আমি নিশ্চিত যে এটির ফল্ট সহনশীল করার সময় ডেটা সংকোচনের আরও অনেক উপায় রয়েছে।

যদি আমি সুপারিশ করার জন্য সত্যিকারের কানের কপি বিতরণ করা ফাইল সমাধান পেয়ে থাকি তবে আমি জানি এটি সত্যিই ক্লদ্গেই তবে আমি আশা করি এটি আপনাকে সঠিক দিকে নির্দেশ করবে।

সম্পাদনা করুন: আমি এখনও জেডএফএসে নতুন এবং আইএসসিএসআই স্থাপন করছি, তবে জার্মানির সান থেকে এমন একটি ভিডিও দেখে স্মরণ করলাম যেখানে তারা জেডএফএসের ফল্ট সহনশীলতা দেখাচ্ছে। তারা একটি কম্পিউটারের সাথে তিনটি ইউএসবি হাব সংযুক্ত করেছে এবং প্রতিটি হাবটিতে চারটি ফ্ল্যাশ ড্রাইভ রেখেছিল। তারপরে যে কোনও একটি হাবটিকে স্টোরেজ পুলটি নিচে নেওয়ার থেকে রক্ষা করার জন্য তারা প্রতিটি হাব থেকে একটি ফ্ল্যাশ ড্রাইভ সমন্বিত একটি RAIDz ভলিউম তৈরি করে। তারপরে তারা চারটি জেডএফএস RAIDz ভলিউম একসাথে স্ট্রিপ করে। এই মাত্রার জন্য মাত্র চারটি ফ্ল্যাশ ড্রাইভ ব্যবহৃত হয়েছিল। এর পরে অবশ্যই আনপ্লাগড একটি হাব এবং এটি প্রতিটি জপুলকে অবনমিত করে, তবে সমস্ত ডেটা উপলব্ধ ছিল। এই কনফিগারেশনে চারটি ড্রাইভ হারিয়ে যেতে পারে, তবে কেবলমাত্র যদি কোনও দুটি ড্রাইভ একই পুলে না থাকে।

যদি এই কনফিগারেশনটি প্রতিটি বাক্সের কাঁচা ড্রাইভের সাথে ব্যবহৃত হয়, তবে এটি ডেটা এবং না প্যারিটির জন্য আরও ড্রাইভ সংরক্ষণ করবে। শুনেছি ফ্রিএনএএস আইএসসিএসআইয়ের মাধ্যমে "কাঁচা" উপায়ে ড্রাইভগুলি ভাগ করতে পারে (বা সক্ষম হতে পারে), তাই আমি অনুমান করি লিনাক্সও এটি করতে পারে। যেমনটি আমি বলেছিলাম, আমি এখনও শিখছি, তবে এই বিকল্প পদ্ধতিটি আমার আগের পরামর্শের চেয়ে ড্রাইভ প্যারিটি স্ট্যান্ড পয়েন্ট থেকে কম অপব্যয়যোগ্য হবে। অবশ্যই, এটি জেডএফএস ব্যবহারের উপর নির্ভর করবে যা আমি জানিনা যে গ্রহণযোগ্য হবে কিনা। আমি জানি যে আপনি যা জানেন তাতে দৃ stick় থাকাই সর্বদা সবচেয়ে ভাল যে আপনি যদি কোনও নির্মাণ / রক্ষণাবেক্ষণ / মেরামত করতে যাচ্ছেন তবে এটি যদি শেখার অভিজ্ঞতা না হয়।

আশা করি এটি আরও ভাল।

সম্পাদনা: কিছু খনন করেছিলাম এবং আমি যে ভিডিওর কথা বলেছি তা পেয়েছি । যে অংশটি তারা হাবগুলিতে ইউএসবি ফ্ল্যাশ ড্রাইভ ছড়িয়ে দেওয়ার ব্যাখ্যা করে সেখানে 2 মি 10 থেকে শুরু হয়। ভিডিওটি তাদের স্টোরেজ সার্ভার "থম্পার" (এক্স 4500) এবং কীভাবে নিয়ন্ত্রণকারীদের মধ্যে ডিস্কগুলি ছড়িয়ে দিতে পারে তা ডেমো করতে হয় যাতে আপনার যদি একটি হার্ড ডিস্ক নিয়ামক ব্যর্থতা থাকে তবে আপনার ডেটা এখনও ভাল থাকবে। (ব্যক্তিগতভাবে আমি মনে করি এটি কেবল গিক্সের মজা করার ভিডিও।

সম্পাদনা: আমি একটি বিতরণ ফাইল সিস্টেম নামক জুড়ে আসতেছে মনে OpenAFS । আমি এটি চেষ্টা করে দেখিনি, আমি কেবল এটি সম্পর্কে কিছু পড়েছি। সম্ভবত অন্যরা জানেন কীভাবে এটি বাস্তব বিশ্বে পরিচালনা করে।


4

প্রথমত, লগ ফাইলগুলি উচ্চতর অনুপাতগুলিতে সংকুচিত করা যায়। আমি আমার লগ ফাইলগুলি 10: 1 অনুপাতের সংকোচনে খুঁজে পাই। যদি তারা এমনকি 5: 1 অনুপাতের সাথে সংকুচিত হয়, এটি কেবল 5 জিবি, বা আপনার সঞ্চয় ক্ষমতা 20%।

আপনার পর্যাপ্ত স্টোরেজের চেয়ে বেশি রয়েছে তা প্রদত্ত, নির্দিষ্ট সংকোচনের অ্যালগরিদম খুব গুরুত্বপূর্ণ নয় isn't আপনি করতে পারেন ...

  • উইন্ডোজ ব্যবহারকারীরা যদি সরাসরি ফাইলগুলিতে অ্যাক্সেস করতে থাকে তবে জিপ ফাইলগুলি ব্যবহার করুন।
  • লিনাক্সের মাধ্যমে তাদের অ্যাক্সেস করা হবে এবং দ্রুত ডিকম্প্রেশন জরুরি হলে জিজিপ ব্যবহার করুন।
  • লিনাক্সের মাধ্যমে সেগুলি অ্যাক্সেস করা হলে bzip2 ব্যবহার করুন এবং সবচেয়ে ছোট ফাইলগুলি থাকা গুরুত্বপূর্ণ।

আরও বড় প্রশ্ন হ'ল আপনি কীভাবে আপনার ব্যবহারকারীদের এই ফাইলগুলিতে সহজে অ্যাক্সেস সরবরাহ করবেন? এর অংশটি আপনার মেশিনগুলি কীভাবে কনফিগার করা হয়েছে তার উপর নির্ভর করে।

আপনি যদি কোনও একক মেশিনে পর্যাপ্ত স্টোরেজ রাখতে পারেন তবে আপনি কেবলমাত্র পঠনযোগ্য উইন্ডোজ ফাইল ভাগের মতো খুব সাধারণ কিছু করতে পারেন। কেবলমাত্র সাবডাইরেক্টরিগুলিতে ফাইলগুলি সংগঠিত করুন এবং আপনি যেতে প্রস্তুত।

আপনি যদি এই ফাইলগুলির জন্য একটি একক ফাইল সার্ভার তৈরি করতে না পারেন তবে আপনি খুঁজে পেতে পারেন যে আপনার একটি বিতরণ করা ফাইল সিস্টেমের দরকার । উইন্ডোজের একটি বিতরণকারী ফাইল সিস্টেম (ডিএফএস) রয়েছে যা আপনার প্রয়োজন অনুসারে করতে পারে।

যদি আপনার চাহিদা আরও উন্নত হয় তবে আপনি একটি ফ্রন্ট-এন্ড হিসাবে একটি ওয়েব অ্যাপ্লিকেশন পেতে পারেন যেখানে আপনার ব্যবহারকারীরা লগ ফাইলগুলি ব্রাউজ এবং ডাউনলোড করতে পারে। এই ক্ষেত্রে, আমি মোগিলএফএস ব্যবহার করার পরামর্শ দিচ্ছি, এটি ফ্রন্ট-এন্ড অ্যাপ্লিকেশন সার্ভারের সাথে ব্যবহার করার জন্য ডিজাইন করা একটি বিতরণ করা ফাইল সিস্টেম। বেশিরভাগ ওয়েব প্রোগ্রামিং ভাষার সাথে সংহত করা খুব সহজ। আপনি এটি আপনার কম্পিউটারে শেয়ারড ড্রাইভ হিসাবে মাউন্ট করতে পারবেন না, তবে এটি ওয়েব অ্যাপ্লিকেশনের জন্য ডেটা স্টোর হিসাবে শীর্ষস্থানীয়।


এফওয়াইআই: উইন্ডোজ ডিএফএস ফাইল / ফোল্ডারগুলিকে একাধিক সার্ভারে সিঙ্কে রাখার একটি উপায়। এটি আপনাকে একক স্টোরেজ ড্রাইভ হিসাবে একাধিক সার্ভারে স্টোরেজ ব্যবহার করতে দেয় না। মাইক্রোসফট
উইন্ডোসভার্সের সিস্টেম / ডিএফএস / ডিফল্ট.এমএসপিএক্স

এটি সম্পর্কে চিন্তা করার পরে, আপনি ঠিক বলেছেন; অন্যান্য মেশিনে থাকা ফোল্ডারে যদি আপনার ডিএফএসের মূল পয়েন্ট থাকে তবে ডিএফএস ব্যবহার করতে সক্ষম হতে পারে। এইভাবে ব্যবহারকারী একটি ফাইলের কাঠামো দেখতে পাবে এবং এটি জানতে হবে না যে ডেটা আসলে কোন মেশিনে বাস করে, ডিএফএস জানতে পারে। যে কাজ করবে। সাধারণত যখন আমার কাছে লোকেরা আমাকে উইন্ডোজ ডিএফএস সম্পর্কে জিজ্ঞাসা করে, তারা সাধারণত মনে করে যে এটি স্টোরেজ স্পেস একসাথে পুল করার একটি উপায় এবং তাই আমি কেবল এই সিদ্ধান্তে পৌঁছাতে পারি। দুঃখিত এবং আপনার অধিকার যে কাজ করতে পারে।
স্কট ম্যাকক্লেনিং


2

এই ফোল্ডারগুলি এনএফএসের মাধ্যমে রফতানি করুন

গাছ হিসাবে অ্যাপাচি চলমান (ডকুমেন্টের মূলের নীচে) দিয়ে একটি একক মেশিনে এগুলি মাউন্ট করুন

তাদের সংকোচনের জন্য জিপ ব্যবহার করুন- ভাল সংকোচনের অনুপাত, সমস্ত ওএস থেকে জিপ খোলা যেতে পারে

অ্যাপাচি-তে ফাইলগুলি তালিকাভুক্ত করুন - সুতরাং আপনি ব্যবহারকারীদের কেবলমাত্র পঠনযোগ্য অ্যাক্সেস দিচ্ছেন (লগ ফাইলগুলি ডানদিকে সম্পাদনা বলে মনে হচ্ছে না)


1
এনএফএস + httpd এ সম্মত হন, জিপ-এ দ্বিমত পোষণ করুন। gzip http এর সাথে আরও ভালভাবে ইন্টারঅ্যাক্ট করে।
টুবু

@ টোবু থেকে জিজিপ মন্তব্যের জন্য +1 - সঠিক কনফিগারেশনের সাহায্যে আপাচি জিজিপ করা ফাইলগুলি একটি ওয়েব ব্রাউজারে পরিবেশন করতে পারে যা স্বচ্ছভাবে সেগুলি সঙ্কুচিত করবে এবং প্রদর্শন করবে। ব্যবহারকারীদের এমনকি সংক্ষেপণ সম্পর্কে জানার প্রয়োজন নেই।
ক্রিস্টোফার ক্যাসেল 21

0

আপনি কি কখনও লগ ফাইল সংকোচনের কথা ভাবেন? তারপরে শেষ ব্যবহারকারীর কাছে পরিবেশন করার আগে এগুলি সঙ্কুচিত করতে সামনের অংশে কিছু করুন। বিভিন্ন ধরণের একটি সিজিআই স্ক্রিপ্ট হতে পারে।


0

@ অঙ্কুর এবং @ বার্চ আমি এই লগগুলি সংকোচনের প্রয়োজনীয়তার সাথে দৃ strongly়ভাবে সম্মত।

@ জেট আমি মনে করি সরল স্কিম আরও ভাল - সুতরাং শেষ ব্যবহারকারীদের জন্য এইচডিডি আদর্শের কাছাকাছি। এবং ব্যাকএন্ড যে কোনও হতে পারে।

আমার মতামত - লগগুলি দুটি গ্রুপে ভাগ করুন - ফোল্ডারগুলি 'পুরাতন' এবং 'নতুন'।

এগুলিকে httpd এর ডকুমেন্ট রুটে মার্জ করুন। বড় অভিধান এবং ব্লক আকারের সাথে পুরানোগুলির জন্য শক্তিশালী সংক্ষেপণ (xz বা 7z সংরক্ষণাগার, সমস্ত OS এর জন্য জনপ্রিয়) ব্যবহার করুন এমনকি শক্ত সংরক্ষণাগারও হতে পারে।

নতুনদের জন্য কমপ্রেসিং এফ ব্যবহার করুন: কমফেস (আরডাব্লু, ডুপ্লিকেশন + হালকা সংক্ষেপণ পদ্ধতি), ফিউজকম্প্রেস 0.9.x (আরডাব্লু, হালকা থেকে শক্তিশালী সংক্ষেপণ পদ্ধতি), বিটিআরএস / জেডএফএস, স্কোয়াশফ (রো, হালকা থেকে শক্ত সংকোচনের পদ্ধতি, কিছু ছাড়), ব্যবহার নতুন ঘোরানো লগগুলির জন্য)।

আপনি স্বচ্ছভাবে সংক্ষেপিত fs (ফিউজকম্প্রেস, কমফেস, বিটিআরএফস / জেডএফএস) এ লগগুলি লিখতে পারেন। লগতে লিখিত হওয়াতে httpd দ্বারা আর / ও অ্যাক্সেস সরবরাহ করুন। তারা ব্যবহারকারীদের জন্য স্বচ্ছ হবে এবং স্বচ্ছভাবে তাদের জন্য সংক্ষেপিত হবে।

ফিউজকম্প্রেস সম্পর্কে সতর্কতা: 1) কেবল 0.9.x ব্যবহার করুন - এটি স্থিতিশীল। এখান থেকে ক্লোন করুন https://github.com/hexxellor/fusecompress

পরবর্তী সংস্করণগুলি হয় লজমা ভালভাবে সমর্থন করে না বা ডেটা হারাবে না।

2) এটি একটি ফাইল সংকোচনের জন্য কেবল 1 সিপিইউ কোর ব্যবহার করে, সুতরাং এটি ধীর হতে পারে।

'নতুন' ফোল্ডারে প্রতিটি লগকে পুনরায় চাপ দিন, কিছু সময়ের (বেশ কয়েক মাস) থেকে পুরানো এবং 'পুরানো' এ যান।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.