সময়-সিরিজের ডেটা সংরক্ষণ, সম্পর্কযুক্ত বা অ?

Question

আমি এমন একটি সিস্টেম তৈরি করছি যা এসএনএমপি ব্যবহার করে 5 মিনিটের ব্যবধানে (সম্ভবত) 5 মিনিটের ব্যবধানে সিপিইউ ব্যবহার, ডিস্ক ব্যবহার, তাপমাত্রা ইত্যাদির মতো পরিবর্তিত মেট্রিকের ডেটার জন্য পোল করে। চূড়ান্ত লক্ষ্য হ'ল সময়-সিরিজ গ্রাফ আকারে সিস্টেমের ব্যবহারকারীকে ভিজ্যুয়ালাইজেশন সরবরাহ করা।

আমি অতীতে আরআরডিটুল ব্যবহারের দিকে নজর রেখেছি তবে ক্যাপচারিত ডেটা অনির্দিষ্টকালের জন্য সংরক্ষণ করা আমার প্রকল্পের জন্য গুরুত্বপূর্ণ এবং আমি ক্যাপচারিত ডেটাতে উচ্চ স্তরের এবং আরও নমনীয় অ্যাক্সেস চাই। সুতরাং আমার প্রশ্নটি আসলে:

গ্রাফিংয়ের জন্য ডেটা জিজ্ঞাসা করার সময় পারফরম্যান্স সম্পর্কিত একটি রিলেশনাল ডাটাবেস (যেমন মাইএসকিউএল বা পোস্টগ্রিএসকিউএল) বা একটি অ-রিলেশনাল বা নোএসকিউএল ডাটাবেস (যেমন মঙ্গোডিবি বা রেডিস) আরও ভাল।

সম্বন্ধযুক্ত

একটি রিলেশনাল ডাটাবেস দেওয়া, আমি একটি data_instancesটেবিল ব্যবহার করব , যার মধ্যে প্রতিটি মেট্রিকের জন্য সমস্ত ডিভাইসের জন্য পরিমাপ করা ডেটার প্রতিটি উদাহরণ নিম্নলিখিত ক্ষেত্রগুলি সহ সংরক্ষণ করা হবে:

কর্মক্ষেত্র id fk_to_device fk_to_metric metric_value timestamp

যখন আমি কোনও নির্দিষ্ট ডিভাইসে কোনও নির্দিষ্ট মেট্রিকের জন্য একটি গ্রাফ আঁকতে চাই, তখন আমাকে অবশ্যই এই একক টেবিলটি অন্যান্য ডিভাইসগুলি ফিল্টার করে এবং এই ডিভাইসের জন্য অন্যান্য মেট্রিকগুলি বিশ্লেষণ করা উচিত:

SELECT metric_value, timestamp FROM data_instances
    WHERE fk_to_device=1 AND fk_to_metric=2

এই টেবিলের সারিগুলির সংখ্যা হবে:

d * m_d * f * t

ডিভাইসেরd সংখ্যাটি কোথায় , সমস্ত ডিভাইসের জন্য মেট্রিকের সংশ্লেষিত সংখ্যা , এটিই কী ফ্রিকোয়েন্সি হয় যেখানে ডেটা পোল করা হয় এবং সিস্টেমটি ডেটা সংগ্রহের সময়কালের পরিমাণ ism_dft

একজন ব্যবহারকারী এক বছরের জন্য প্রতি 5 মিনিটে 3 টি ডিভাইসের জন্য 10 মেট্রিক রেকর্ড করে, আমাদের কাছে কেবল 5 মিলিয়ন রেকর্ড থাকবে।

ইনডেক্সে

ইনডেক্স ছাড়া fk_to_deviceএবং fk_to_metricএই ক্রমাগত প্রসারিত টেবিলটি স্ক্যান করতে খুব বেশি সময় লাগবে। সুতরাং উপরোক্ত ক্ষেত্রগুলি সূচীকরণ এবং এছাড়াও timestamp(স্থানীয় সময়ের সাথে গ্রাফ তৈরি করার জন্য) প্রয়োজনীয়তা।

অ-সম্পর্কিত সম্পর্কিত (NoSQL)

মঙ্গোডিবির একটি সংগ্রহের ধারণা রয়েছে , টেবিলের বিপরীতে এগুলি সেটআপ ব্যতীত প্রোগ্রামগতভাবে তৈরি করা যায়। এগুলির সাহায্যে আমি প্রতিটি ডিভাইসের জন্য ডেটা স্টোরেজ বা প্রতিটি ডিভাইসের জন্য রেকর্ডকৃত প্রতিটি মেট্রিক ভাগ করতে পারতাম।

নোএসকিউএল নিয়ে আমার কোনও অভিজ্ঞতা নেই এবং তারা সূচীকরণের মতো কোনও ক্যোয়ারী পারফরম্যান্স বাড়ানোর বৈশিষ্ট্যগুলি সরবরাহ করে কিনা তা আমি জানি না, তবে পূর্ববর্তী অনুচ্ছেদে নোএসকিউএল-র অধীনে ডেটা সংরক্ষণ করা হয় এমন কাঠামোর মধ্যে বেশিরভাগ traditionalতিহ্যবাহী সম্পর্কিত সম্পর্কিত জিজ্ঞাসা কাজ করার প্রস্তাব দেওয়া হয়েছে।

অমীমাংসিত

সঠিক ইনডেক্সিংয়ের সাথে কি কোনও সম্পর্কযুক্ত সমাধান বছরের মধ্যে একটি ক্রল হ্রাস পাবে? অথবা নোএসকিউএল পদ্ধতির সংগ্রহ ভিত্তিক কাঠামো (যা আমার সঞ্চিত ডেটার মানসিক মডেলের সাথে মেলে) একটি লক্ষণীয় সুবিধা সরবরাহ করে?

Comments

অত্যন্ত বৈধ প্রশ্ন, আমি নিজেই এ বিষয়ে চিন্তাভাবনা করেছি যে কোনও ডেটা স্ট্রাকচারের সংরক্ষণের জন্য ডিবি হ'ল সঠিক উপায় যা আসলে শ্রেণিবদ্ধ (এসএনএমপি কাঠামো)। কখনও কখনও আমি যখন তুচ্ছ তথ্য আনার জন্য কোয়েরি লিখি, তখন কোয়েরিটি অতি জটিল complicated উদাহরণস্বরূপ, যদি আইফনাম এবং তাদের সূচিগুলির সাথে মিলে যাওয়া উভয়ই একই প্যারেন্ট ওডের সন্তানের হয়ে থাকে তবে এটি একটি তুচ্ছ কাজ। তবে এটি যেভাবে রিলেশনাল ডিবিতে সংরক্ষণ করা হয়, এটি এর মূল কাঠামোর সাথে সম্পর্কিত নয় এবং আমি মনে করি যে এটি একটি শ্রেণিবিন্যাসিক ফ্যাশনে সংরক্ষণ করা আরও দক্ষ।

— বেনি

"একজন ব্যবহারকারী এক বছরের জন্য প্রতি 5 মিনিটে 3 টি ডিভাইসের জন্য 10 মেট্রিক রেকর্ড করে, আমাদের কাছে কেবল 5 মিলিয়ন রেকর্ড থাকবে।" 10 * 3 * 365 * 24 * 12 প্রায় 5 মিলিয়ন এর সমান নয় যা কেবল 5 মিলিয়নের নিচে নয় ?

— ম্যাথিউ বর্ডারé 9

Answer 1

অবশ্যই সম্পর্কিত। সীমাহীন নমনীয়তা এবং প্রসারণ।

দুটি উন্নতি, ধারণা এবং প্রয়োগ উভয়ই, এর পরে একটি উন্নতি হয়।

সংশোধন

1. এটি "অ-প্রয়োজনীয় ডেটা ফিল্টারিং" নয়; এটি কেবলমাত্র প্রয়োজনীয় ডেটা নির্বাচন করছে । হ্যাঁ, অবশ্যই, আপনি যদি শুল্কের শর্তে চিহ্নিত কলামগুলিকে সমর্থন করার জন্য একটি সূচক পেয়ে থাকেন তবে এটি খুব দ্রুত এবং কোয়েরিটি টেবিলের আকারের উপর নির্ভর করে না (১ billion বিলিয়ন সারি সারণী থেকে ১,০০০ সারি আঁকানো তাত্ক্ষণিক) ।

2. আপনার টেবিলে একটি মারাত্মক প্রতিবন্ধকতা রয়েছে। আপনার বিবরণ দেওয়া হয়েছে, আসল পিকে হ'ল (ডিভাইস, মেট্রিক, ডেটটাইম)। (দয়া করে এটিকে টাইমস্ট্যাম্প বলবেন না, এর অর্থ অন্য কিছু, তবে এটি একটি সামান্য সমস্যা)) সারিটির স্বতন্ত্রতা দ্বারা চিহ্নিত করা হয়েছে:

      (Device, Metric, DateTime)
   

   • Idকলাম, কিছুই না এটি সম্পূর্ণই এবং সম্পূর্ণরূপে অপ্রয়োজনীয়।

     • একটি Idকলাম কখনই কী হয় না (নকল সারিগুলি, যা সম্পর্কিত সম্পর্কিত ডাটাবেসে নিষিদ্ধ, অবশ্যই অন্য উপায়ে প্রতিরোধ করা উচিত)।

     • Idকলাম একটি অতিরিক্ত সূচক, যা স্পষ্টত গতি বাধাগ্রস্থ করে প্রয়োজন INSERT/DELETE, এবং ডিস্কে ব্যবহৃত স্থান থেকে যোগ করা হয়েছে।

     • আপনি এ থেকে মুক্তি পেতে পারেন। অনুগ্রহ.

টিলা

1. এখন আপনি বাধা অপসারণ করেছেন, আপনি এটি স্বীকৃত নাও হতে পারেন, তবে আপনার টেবিলটি ষষ্ঠ সাধারণ ফর্মের মধ্যে রয়েছে। পিকেতে মাত্র একটি সূচক সহ খুব উচ্চ গতি। বোঝার জন্য, এই উত্তরটি ষষ্ঠ নরমাল ফর্মটি কী থেকে পড়ুন ? এগিয়ে যাচ্ছে।

   • (আমার কেবল একটি সূচক রয়েছে, তিনটি নয়; নন-এসকিউএলগুলিতে আপনার তিনটি সূচকের প্রয়োজন হতে পারে)।

   • আমার কাছে ঠিক একই টেবিলটি রয়েছে ( Idঅবশ্যই "কী" ছাড়াই )। আমার একটি অতিরিক্ত কলাম রয়েছে Server। আমি একাধিক গ্রাহককে দূর থেকে সমর্থন করি।

     (Server, Device, Metric, DateTime)

   টেবিলটি একই রকম এসকিউএল কোড (হ্যাঁ, ঘরগুলি স্যুইচ করুন) ব্যবহার করে ডেটা পিভট করতে (যেমন Devicesউপরে এবং Metricsপাশের দিকের নীচে বা পিভোটেড) ব্যবহার করা যেতে পারে। আমি গ্রাহকদের সার্ভারের পারফরম্যান্সের জন্য সীমাহীন বিভিন্ন গ্রাফ এবং চার্ট তৈরি করতে টেবিলটি ব্যবহার করি।

   • পরিসংখ্যান ডেটা মডেল নিরীক্ষণ ।
     (ইনলাইনের জন্য খুব বড়; কিছু ব্রাউজার ইনলাইন লোড করতে পারে না; লিঙ্কটি ক্লিক করুন obvious এছাড়াও এটি অপ্রচলিত ডেমো সংস্করণ, সুস্পষ্ট কারণে, আমি আপনাকে বাণিজ্যিক পণ্য ডিএম প্রদর্শন করতে পারি না))

   • এটি আমাকে একক সিলেক্ট কমান্ড ব্যবহার করে গ্রাহকের কাছ থেকে কাঁচা নজরদারি স্ট্যাটাস ফাইল পাওয়ার পরে ছয়টি কীস্ট্রোক এর মতো চার্ট তৈরি করতে দেয় । মিশ্রণ এবং মিলটি লক্ষ্য করুন; একই চার্টে ওএস এবং সার্ভার; পিভট বিভিন্ন। অবশ্যই, পরিসংখ্যান ম্যাট্রিক্সের সংখ্যা এবং এইভাবে চার্টের কোনও সীমা নেই। (গ্রাহকের সদয় অনুমতি সহ ব্যবহৃত।)

   • মডেলিং সম্পর্কিত সম্পর্কিত ডেটাবেসগুলির জন্য স্ট্যান্ডার্ডের সাথে অপরিচিত পাঠকরা IDEF1X স্বরলিপি সহায়ক বলে মনে করতে পারেন।

আরেকটা জিনিস

সর্বশেষে তবে সর্বনিম্ন নয়, এসকিউএল হ'ল একটি আইইসি / আইএসও / এএনএসআই স্ট্যান্ডার্ড। ফ্রিওয়্যারটি আসলে নন-এসকিউএল; যদি তারা স্ট্যান্ডার্ড সরবরাহ না করে তবে এসকিউএল শব্দটি ব্যবহার করা প্রতারণামূলক। তারা "অতিরিক্ত" সরবরাহ করতে পারে তবে তারা বেসিকগুলি অনুপস্থিত।

Comments

@ পারফরম্যান্সডিবিএ আপনি কি একটি সেটআপের জন্য প্রস্তাবিত স্কিমা ব্যবহার করবেন যা 1 মিনিটের ফ্রিকোয়েন্সি সহ 3 মিলিয়ন ডলার ব্যবস্থা করতে হবে? আপনি কীভাবে এই জাতীয় টেবিলে পিকে অর্ডার করবেন? ডিভাইস, মেট্রিক, ডেটটাইম বিভাজন তৈরি করবে না এবং আরডিবিএমএসকে প্রচুর পৃষ্ঠা বিভক্ত করতে বাধ্য করবে? পরিবর্তে ডেটটাইম স্থাপনের ফলে খণ্ডন হ্রাস হবে (আমি সময় অর্ডার করা সন্নিবেশকে ধরে নিচ্ছি) তবে পড়ার সবচেয়ে খারাপ হয়।

— মারকব

@Buchi। আমি সাইবাস এএসই ব্যবহার করি। তবে এটি কোনও প্ল্যাটফর্মের সমস্যা নয় (নিশ্চিত, উচ্চ প্ল্যাটফর্মগুলি এমন কর্মক্ষমতা সরবরাহ করে যা নিম্ন প্রান্তের চেয়ে প্রস্থের অর্ডার হয়; ওরাকলের চেয়ে তিনটি প্রস্থের মাত্রা আরও ভাল, তবে এটি বিন্দু নয়), টেবিল থেকে চার্টটি তৈরি করা " যে কোনও প্ল্যাটফর্মে "কাজ করে। কাজের জন্য সঠিক টুল ব্যবহার করুন। আরডিবিএমএস একটি ডাটাবেস সরঞ্জাম, গ্রাফিংয়ের সরঞ্জাম নয়। gnuplot, অ্যাপল নাম্বার (বা আপনি যদি দশগুণ বেশি দিতে চান তবে অর্ধেকের জন্য, এমএস এক্সেল) ডাটাবেস সরঞ্জাম নয়, চার্টিংয়ের সরঞ্জাম। আজকাল আমরা ফলাফল তৈরিতে সরঞ্জামগুলির স্তরগুলি ব্যবহার করি, একঘেয়েটি হ'ল ডাইনোসর।

— পারফরমেন্সডিবিএ

@marcob। আপনার প্রশ্নটি একটি ভাল তবে মন্তব্যগুলিতে এর সঠিক উত্তর দেওয়া যাবে না। আপনি যদি একটি নতুন প্রশ্ন খোলেন, এবং আমাকে ইমেল করুন (প্রোফাইলে যান), আমি এটির উত্তর দেব। দ্রুত উত্তর জন্য এখানে। (1) 3 মিলিয়ন ডলার মেট্রিক্স। দুর্দান্ত, যত বেশি Merier, এটি INSERT পয়েন্টগুলি সুন্দরভাবে ছড়িয়ে দেয়, আপনার শেষ পৃষ্ঠায় দ্বন্দ্বের নিশ্চয়তা দেওয়া হবে। সার্ভারটি বহু-থ্রেডযুক্ত, হ্যাঁ? টেবিল বিভাজন। ফিলফেক্টর ব্যবহার করুন এবং সন্নিবেশকারীদের জন্য স্থান ত্যাগ করুন এবং এভাবে পৃষ্ঠ বিভাজনগুলি এড়ান। (2) ~ 3 মিলটি সূচিত করে যে মেট্রিকগুলি নরমালাইজড হয় না, আপনি যদি এটি সংশোধন করেন তবে এটি আরও দ্রুত হবে।

— পারফরম্যান্সডিবিএ

@marcob। (3) লোডের নিচে সন্নিবেশগুলি ছড়িয়ে দিতে আমি প্রদত্ত সূচকটি স্পষ্টভাবে ব্যবহার করি , যা কোনও বিবাদ নিশ্চিত করে না। (4) অতএব, আমার পদ্ধতিটি কোনও দ্বন্দ্ব ছাড়াই এবং নির্বাচনগুলিতে উচ্চ-কার্যকারিতা উভয়ই সন্নিবেশ গ্রহণ করে।

— পারফরম্যান্সডিবিএ

@Loic। কেন পৃথিবীতে এমন কারও, যার এসকিউএল প্ল্যাটফর্মে বিনিয়োগ (ডেটা; কোড) রয়েছে, যা সময় সিরিজের ডেটা সহজেই এবং খুব উচ্চ কার্য সম্পাদনের সাথে পরিচালনা করে (উত্তরে বর্ণিত), কোনও এসকিউএল ছাড়াই কোনও টিএসডিবিতে স্থানান্তরিত হবে; টাইম সিরিজের ডেটা ছাড়া আর কি অজানা গতি? যার যার প্রয়োজন কেবলমাত্র সময়-সিরিজ-ডেটা-ছাড়িয়ে যায়, সে এসকিউএল প্ল্যাটফর্ম ব্যবহার করবে না কেন ? মন বগল। TSDB দ্রুত রিলেশনাল চেয়ে শুধুমাত্র যখন তথ্য একটি ডিবি মধ্যে সংরক্ষিত হয় কিন্তু দু: খিত ইনস্ট্যান্সের মধ্যে না Relationally স্বাভাবিক। যেমন। Idকলামগুলি যখন "কী" হিসাবে ব্যবহৃত হয়। "তাত্ত্বিক" দ্বারা পরামর্শ হিসাবে।

— পারফরম্যান্সডিবিএ

Answer 2

উপরের উত্তরগুলি খুব আকর্ষণীয় পেয়েছে। এখানে আরও কয়েকটা বিবেচনা যুক্ত করার চেষ্টা করছি।

1) ডেটা বার্ধক্য

সময়-সিরিজ পরিচালনার জন্য সাধারণত বার্ধক্যজনিত নীতিগুলি তৈরি করা প্রয়োজন। একটি সাধারণ দৃশ্যের (যেমন মনিটরিং সার্ভার সিপিইউ) সংরক্ষণ করতে হবে:

• অল্প সময়ের জন্য 1 সেকেন্ডের কাঁচা নমুনা (যেমন 24 ঘন্টা)

• মাঝারি সময়ের জন্য 5-মিনিটের বিশদ সামগ্রিক নমুনাগুলি (উদাহরণস্বরূপ 1 সপ্তাহ)

• এর উপরে 1-ঘন্টার বিশদ (উদাহরণস্বরূপ 1 বছর পর্যন্ত)

যদিও রিলেশনাল মডেলগুলি এটি নিশ্চিতভাবে পরিচালনা করতে সক্ষম করেছে (আমার সংস্থা কয়েক হাজার ডেটা সিরিজ সহ কয়েকটি বৃহত্তর গ্রাহকদের জন্য এটি বিশালভাবে কেন্দ্রিয় ডাটাবেস প্রয়োগ করেছে) সঠিকভাবে পরিচালনা করার জন্য, ডেটা স্টোরের নতুন জাতটি আকর্ষণীয় কার্যকারিতা যুক্ত করে যেমন অন্বেষণ করা:

• অটোমেটেড ডেটা শুদ্ধ করা (রেডিসের এক্সপায়ার কমান্ড দেখুন)

• বহুমাত্রিক সমষ্টি (উদাহরণস্বরূপ মানচিত্র হ্রাস করার কাজগুলি একটি লা-স্প্লঙ্ক)

2) রিয়েল-টাইম সংগ্রহ

আরও গুরুত্বপূর্ণটি হল কিছু অ-সম্পর্কযুক্ত ডেটা স্টোর সহজাতভাবে বিতরণ করা হয়েছে এবং হটস্পটস তৈরি করার কারণে আরডিবিএমএসের সাথে সমস্যা হতে পারে এমন অনেক বেশি কার্যকর রিয়েল-টাইম (বা নিকট-আসল সময়) ডেটা সংগ্রহের অনুমতি দেয় যা সন্নিবেশ করার সময় সূচিক্যকরণ পরিচালনা করে একক টেবিল)। আরডিবিএমএস স্পেসে এই সমস্যাটি সাধারণত ব্যাচ আমদানি পদ্ধতিতে ফিরে যাওয়ার সমাধান করা হয় (আমরা অতীতে এটি পরিচালনা করেছিলাম) যখন নো-এসকিএল প্রযুক্তিগুলি বিশাল রিয়েল-টাইম সংগ্রহ এবং একীকরণে সফল হয়েছে (উদাহরণস্বরূপ, পূর্ববর্তী জবাবগুলিতে বর্ণিত স্প্লঙ্ক) ।

Answer 3

আপনার টেবিলের একক টেবিলে ডেটা রয়েছে। সুতরাং রিলেশনাল বনাম অ রিলেশনাল প্রশ্নটি নয়। মূলত আপনাকে প্রচুর অনুক্রমিক ডেটা পড়তে হবে। এখন আপনার যদি কয়েক বছরের মূল্যবান ডেটা সংরক্ষণ করার জন্য পর্যাপ্ত র্যাম থাকে তবে রেডিস / মঙ্গোডিবি ব্যবহারের মতো কিছুই নেই etc.

বেশিরভাগ নোএসকিউএল ডাটাবেসগুলি একাধিক ডিস্ক অ্যাক্সেস এড়ানোর জন্য আপনার ডেটা একই অবস্থান এবং সংকুচিত আকারে সঞ্চয় করবে।

নোএসকিউএল ডিভাইস আইডি এবং মেট্রিক আইডিতে সূচক তৈরি করার মতো একই কাজ করে তবে তার নিজস্ব উপায়ে। ডাটাবেস সহ আপনি যদি এটি করেন তবে সূচক এবং ডেটা বিভিন্ন জায়গায় থাকতে পারে এবং প্রচুর ডিস্ক আইও থাকতে পারে।

স্প্লঙ্কের মতো সরঞ্জামগুলি সময় সিরিজের ডেটা সঞ্চয় করার জন্য নোএসকিউএল ব্যাকেন্ডগুলি ব্যবহার করছে এবং তারপরে সমষ্টি তৈরি করতে মানচিত্র হ্রাস করুন (যা আপনি পরে যা চান তা হতে পারে)। সুতরাং আমার মতে নোএসকিউএল ব্যবহার করা একটি বিকল্প হিসাবে লোকে ইতিমধ্যে অনুরূপ ব্যবহারের ক্ষেত্রে এটি চেষ্টা করেছে। তবে কি এক মিলিয়ন সারি ডেটাবেসকে ক্রল করে আনবে (শালীন হার্ডওয়্যার এবং সঠিক কনফিগারেশনের সাহায্যে নয়)।

Comments

আপনি কী ব্যাখ্যা করতে পারেন যে টেবিলটি "ডি-নরমালাইজড" কীভাবে হয়? টেবিলটিতে মার্কাসের ত্রুটি রয়েছে তবে এটি কোনও স্বাভাবিককরণের ত্রুটি নয়।

— পারফরম্যান্সডিবিএ

আমি নিজেকে সংশোধন করব, টেবিলগুলি গতানুগতিক অর্থে স্বাভাবিক করা হয়। আমি বোঝাতে চাইছিলাম ডি-নরমালাইজ করা হয়েছে যে ব্যবহারের ক্ষেত্রে এখানে একটি টেবিলের সমস্ত ডেটা রয়েছে।

— রবীন্দ্র

Answer 4

একটি ফাইল তৈরি করুন, এর নাম দিন 1_2.ডাটা। ক্লান্ত ধারণা? তুমি কি পেলে:

• আপনি 50% স্পেস সঞ্চয় করেন কারণ আপনার প্রতিটি ডাটা পয়েন্টের জন্য fk_to_device এবং fk_to_metric মান পুনরাবৃত্তি করতে হবে না।
• আপনার আরও সূচকের প্রয়োজন নেই বলে আপনি আরও বেশি জায়গা বাঁচিয়েছেন।
• ডেটা যুক্ত করে ফাইলটিতে জোড়া (টাইমস্ট্যাম্প, মেট্রিক_ভ্যালু) সংরক্ষণ করুন যাতে আপনি নিখরচায় টাইমস্ট্যাম্পের মাধ্যমে অর্ডার পান। (ধরে নিই যে আপনার উত্সগুলি কোনও ডিভাইসের জন্য অর্ডার ডেটা প্রেরণ করে না)

=> টাইমস্ট্যাম্পের অনুসন্ধানগুলি আশ্চর্যরূপে দ্রুত চালায় কারণ আপনি বাইনারি অনুসন্ধান ব্যবহার করে ফাইল থেকে পড়ার জন্য সঠিক জায়গাটি খুঁজে পেতে পারেন।

আপনি যদি এটি পছন্দ করেন তবে আরও বেশি অনুকূলিত আপনার ফাইলগুলি বিভক্ত করার বিষয়ে চিন্তাভাবনা শুরু করুন;

• 1_2_january2014.data
• 1_2_february2014.data
• 1_2_march2014.data

বা http://kx.com থেকে kdb + ব্যবহার করুন কারণ তারা আপনার জন্য এগুলি করে :) কলাম-ওরিয়েন্টেড যা আপনাকে সহায়তা করতে পারে।

পপ আপ একটি মেঘ ভিত্তিক কলাম ভিত্তিক সমাধান আছে, যাতে আপনি এ একবার দেখতে চান: http://timeseries.guru

Comments

আমি বিষয়টি নিয়ে একটি ব্লগ পোস্ট লিখেছি। গুগল অনুবাদ করে আপনি এটি সহায়ক হিসাবে খুঁজে পেতে পারেন: blog.michaelwittig.info/die-spaltenorientierte-datebank-kdb

— Hellomichibye

Answer 5

আপনি যদি জিপিএল প্যাকেজগুলির দিকে তাকান তবে আরআরডিটুলটি দেখতে ভাল। এটি টাইম-সিরিজ ডেটা সংরক্ষণ, উত্তোলন এবং গ্রাফ করার জন্য একটি ভাল সরঞ্জাম। আপনার ব্যবহারের ক্ষেত্রে হুবহু সময়-সিরিজের ডেটার মতো দেখাচ্ছে।

Answer 6

এটি একটি সমস্যা যা আমাদের এপিএক্সলে সমাধান করতে হয়েছিল। আমরা রেডিস ব্যবহার করে এটি কীভাবে করেছি তাতে একটি ব্লগ পোস্ট লিখেছিলাম । এটি খুব বেশি দিন বাইরে ছিল না তবে এটি কার্যকর হিসাবে প্রমাণিত হচ্ছে।

আমি আরআরডিটুলকে অন্য একটি প্রকল্পের জন্যও ব্যবহার করেছি যা দুর্দান্ত ছিল।

Answer 7

আমি মনে করি যে এই ধরণের প্রশ্নের উত্তরটি মূলত আপনার ডেটাবেস স্টোরেজটি কীভাবে ব্যবহার করে সে সম্পর্কে ঘুরে দেখা উচিত। কিছু ডেটাবেস সার্ভারগুলি র‌্যাম এবং ডিস্ক ব্যবহার করে, কিছু কেবল র‌্যাম ব্যবহার করে (অবিচ্ছিন্নতার জন্য ডিস্ক), ইত্যাদি etc. প্রকৃত অবস্থান). টাইমসরিজ স্টোরগুলির জন্য, বেশিরভাগ ক্ষেত্রে কাজের চাপ এমন কিছু হয়: প্রচুর পরিমাণের সন্নিবেশের তুলনামূলকভাবে কম-ব্যবধান, যখন পাঠগুলি কলাম ভিত্তিক হয় (বেশিরভাগ ক্ষেত্রে আপনি একটি নির্দিষ্ট কলাম থেকে কোনও মেট্রিককে উপস্থাপন করে বিভিন্ন পরিসংখ্যান পড়তে চান)

আমি কলামার ডেটাবেসগুলি পেয়েছি (গুগল এটি, আপনি মনিটডিবি, ইনফর্মাইট, প্যারাস্যাকেল ইত্যাদি) সময় সিরিজের জন্য দুর্দান্ত কাজ করছেন।

আপনার প্রশ্নের বিষয়ে, যা ব্যক্তিগতভাবে আমি কিছুটা অবৈধ বলে মনে করি (ফল্ট টার্ম নোএসকিউএল - আইএমও ব্যবহার করে সমস্ত আলোচনা হিসাবে): আপনি এমন একটি ডাটাবেস সার্ভার ব্যবহার করতে পারেন যা এসকিউএল কথা বলতে পারে, আপনার জীবনকে খুব সহজ করে তোলে কারণ সবাই অনেকের কাছে এসকিউএলকে জানে making বছর এবং এই ভাষাটি তথ্য অনুসন্ধানের জন্য বারবার নিখুঁত হয়েছে; তবে এখনও আপনার সমাধানটি সবচেয়ে উপযুক্ত ফিট টাইম সিরিজ তৈরি করে র‌্যাম, সিপিইউ ক্যাশে এবং ডিস্কটি একটি কলামার ভিত্তিক উপায়ে ব্যবহার করুন

Answer 8

5 মিলিয়ন মিলিয়ন সারি আজকের মুষলধারিত তথ্যের জন্য কিছুই নয়। মাত্র কয়েক মাসের মধ্যে ডেটা টিবি বা পিবিতে থাকবে বলে আশা করুন। এই মুহুর্তে আরডিবিএমএস টাস্কের দিকে স্কেল করে না এবং আমাদের নো এসকিএল ডাটাবেসের লিনিয়ার স্কেলিবিলিটি প্রয়োজন। কর্মক্ষমতা জোরদার করার জন্য আরও কলাম এবং কম সারি ধরণের ধারণা যুক্ত করে ডেটা সঞ্চয় করার জন্য ব্যবহৃত কলামার পার্টিশনের জন্য পারফরম্যান্স অর্জন করা হবে। এইচবিএসইএস বা ম্যাপআর_ডিবি ইত্যাদির উপরে ওপেন টিএসডিবি কাজের উপার্জন পান etc.

Comments

"আরডিবিএমএস কাজটি স্কেল করে না" - কেন করবে না? Code.facebook.com/posts/190251048047090/…

— জাথ্রাস লেখক

Answer 9

আমি নিয়মিত অনুরূপ প্রয়োজনীয়তার মুখোমুখি হয়েছি এবং সম্প্রতি এই জাতীয় ডেটা সংগ্রহ এবং সঞ্চয় করতে জ্যাববিক্স ব্যবহার শুরু করেছি। জ্যাববিক্সের নিজস্ব গ্রাফিং ক্ষমতা রয়েছে তবে জাবিবিক্সের ডাটাবেস থেকে ডেটা বের করে নেওয়া এবং আপনার পছন্দমতো প্রক্রিয়া করা যথেষ্ট সহজ। আপনি যদি ইতিমধ্যে জাব্বিক্স পরীক্ষা করে না দেখে থাকেন তবে এটি করার জন্য আপনার সময়টি উপযুক্ত মনে হতে পারে।

Comments

হ্যাঁ, জাবিবিক্স দুর্দান্ত এবং ইতিমধ্যে এসএনএমপি পর্যবেক্ষণের সাথে সংহত করেছে। জ্যাববিক্স মাইএসকিউএল বা পোস্টগ্রিএসকিউএল ব্যবহার করতে পারে এবং উবুন্টুর বাক্সের বাইরে কম-বেশি কাজ করে।

— ডার্ক এডেলবুয়েটেল ২:11

ধন্যবাদ, আমার কাছে জাবিবিক্স এবং অন্যান্য অনেক এসএনএমপি সরঞ্জাম সম্পর্কে জ্ঞান রয়েছে। তবে আমি এই প্রকল্পটি এখানে একটি শিক্ষামূলক প্রক্রিয়া হিসাবে বিকাশ করছি, এখানে আলোচিত বিষয়ে এবং অন্যান্য অনেক দিক থেকে। যদিও একটি ভাল পয়েন্ট!

— মার্কাস হোয়ব্রো

Answer 10

আপনার সময় সিরিজ ডাটাবেস সন্ধান করা উচিত । এটি এই উদ্দেশ্যে তৈরি করা হয়েছিল।

একটি টাইম সিরিজ ডাটাবেস (টিএসডিবি) এমন একটি সফ্টওয়্যার সিস্টেম যা সময় সিরিজের ডেটা, সময় অনুসারে সূচিত সংখ্যার অ্যারে (একটি তারিখের সময় বা একটি তারিখের সীমা) হ্যান্ডেল করার জন্য অনুকূলিত হয়।

সময়-সিরিজের ডাটাবেস ইনফ্লুডডিবি -র জনপ্রিয় উদাহরণ

Comments

এখনই এই তালিকায়

— টাইমসেল্ডব যুক্ত করুন