কলামার ডাটাবেস কী?


98

আমি কিছুক্ষণের জন্য গুদাম নিয়ে কাজ করছি।

আমি কলামার ডেটাবেসগুলি এবং ডেটা পুনরুদ্ধারগুলির জন্য তাদের যে গতি সরবরাহ করতে চাই তার দ্বারা আগ্রহী।

আমার বহু অংশের প্রশ্ন রয়েছে:

  • কলামার ডেটাবেসগুলি কীভাবে কাজ করে?
  • তারা কীভাবে সম্পর্কিত ডেটাবেস থেকে আলাদা?

4
উত্তরে উল্লিখিত সন্ধানের হ্রাসপ্রাপ্ত সংখ্যা ছাড়াও কিছু বাস্তবায়ন (যেমন এসকিউএল সার্ভারের কলাম স্টোর) ডেটা সংকুচিত করবে। এটি সারি ফিল্টারিং প্রতিরোধ করে তবে কোয়েরি কার্যকারিতা আরও উন্নত করতে পারে।
গত

উত্তর:


50

কলামার ডেটাবেসগুলি কীভাবে কাজ করে?
কলামার ডাটাবেস একটি ধারণা বরং একটি নির্দিষ্ট স্থাপত্য / বাস্তবায়ন । অন্য কথায়, এই ডাটাবেসগুলি কীভাবে কাজ করে সে সম্পর্কে একটি নির্দিষ্ট বিবরণ নেই; প্রকৃতপক্ষে, বেশিরভাগগুলি traditionalতিহ্যবাহী, সারি-ভিত্তিক, ডিবিএমএস-এর উপর ভিত্তি করে তৈরি করা হয়, কেবলমাত্র একটি (বা বরং প্রায় দুটি) কলামগুলির সাথে টেবিলগুলিতে তথ্য সংরক্ষণ করে (এবং একটি সহজ ফ্যাশনে কলামার ডেটা অ্যাক্সেস করার জন্য প্রয়োজনীয় স্তর যুক্ত করে)।

তারা কীভাবে সম্পর্কিত ডেটাবেস থেকে আলাদা? তারা সাধারণত প্রথাগত (সারি ভিত্তিক) ডাটাবেস থেকে পৃথক ...

  • কর্মক্ষমতা...
  • স্টোরেজ প্রয়োজনীয়তা ...
  • স্কিমা পরিবর্তন করার সহজতা ...

... ডিবিএমএসের নির্দিষ্ট ব্যবহারের ক্ষেত্রে
নির্দিষ্ট ক্ষেত্রে সীমাবদ্ধ সংখ্যার কলামে সমষ্টিগত মানগুলি গণনা করা যখন নির্দিষ্ট ব্যবহারের জন্য দেওয়া হয় সত্তার জন্য সমস্ত / সর্বাধিক কলামগুলি পুনরুদ্ধার করার বিপরীতে সাধারণত উল্লিখিত ক্ষেত্রগুলিতে তারা সুবিধা প্রদান করে।

আশেপাশে খেলতে আমি ইনস্টল করতে পারি এমন কলামার ডাটাবেসের কোনও ট্রায়াল সংস্করণ রয়েছে কি? (আমি উইন্ডোজ on এ আছি) হ্যাঁ, কলামার ডাটাবেসের বাণিজ্যিক, বিনামূল্যে এবং ওপেন সোর্স বাস্তবায়ন রয়েছে। স্টার্টার জন্য উইকিপিডিয়া নিবন্ধের শেষে তালিকাটি দেখুন।
সাবধান যে এই প্রয়োগগুলি বেশ কয়েকটি নির্দিষ্ট প্রয়োজন (খুব ছোট পদচিহ্ন, খুব সংকোচযোগ্য ডেটা বিতরণ, বা অতিরিক্ত ম্যাট্রিক্স এমুলেশন ইত্যাদি বলারজন্য) প্রবর্তন করা হয়েছে- প্রতি-সেয়ে সাধারণ উদ্দেশ্যে কলাম-ভিত্তিক ডিবিএমএস সরবরাহ করার জন্য।

দ্রষ্টব্য: বেশ কয়েকটি কলামার ডিবিএমএসের "একক উদ্দেশ্য ওরিয়েন্টেশন" সম্পর্কে মন্তব্য এই বাস্তবায়নগুলির একটি সমালোচনা নয়, বরং এটি একটি অতিরিক্ত ইঙ্গিত যে ডিবিএমএসের জন্য এই জাতীয় দৃষ্টিভঙ্গি আরও "প্রাকৃতিক" (এবং অবশ্যই আরও বিস্তৃতভাবে ব্যবহৃত হয়) থেকে আসা পথ অবলম্বন করে রেকর্ড সত্তা সংরক্ষণ। ফলস্বরূপ, এই পদ্ধতির ব্যবহার করা হয় যখন সারি-ভিত্তিক দৃষ্টিভঙ্গি সন্তোষজনক না হয়, এবং তাই এবং
ক) একটি নির্দিষ্ট উদ্দেশ্যে লক্ষ্যবস্তু করা হয় খ) "সাধারণ উদ্দেশ্য", "চেষ্টা করা এবং" কাজের চেয়ে কম সংস্থান / আগ্রহ গ্রহণ করে পরীক্ষিত ", সারণী পদ্ধতির।

সাময়িকভাবে, সত্তা-গুণ-মান (EAV) ডেটা মডেল, একটি বিকল্প স্টোরেজ কৌশল হতে পারে যা আপনি বিবেচনা করতে চাইতে পারেন। যদিও "খাঁটি" কলামার ডিবি মডেল থেকে পৃথক, ইএভি কলামার ডিবিগুলির বেশ কয়েকটি বৈশিষ্ট্য ভাগ করে নিচ্ছে।


253

কলামার ডাটাবেসগুলি কীভাবে কাজ করে? কলাম-স্টোরের সংজ্ঞায়িত ধারণাটি হ'ল একটি সারণির মানগুলি কলাম দ্বারা স্বচ্ছভাবে সংরক্ষণ করা হয়। সিজে ডেটের সরবরাহকারী এবং যন্ত্রাংশের ডাটাবেস থেকে এইভাবে ক্লাসিক সরবরাহকারী সারণী:

SNO  STATUS CITY    SNAME
---  ------ ----    -----
S1       20 London  Smith
S2       10 Paris   Jones
S3       30 Paris   Blake
S4       20 London  Clark
S5       30 Athens  Adams

ডিস্কে বা স্মৃতিতে এমন কিছু সঞ্চয় করা হবে:

S1S2S3S4S5;2010302030;LondonParisParisLondonAthens;SmithJonesBlakeClarkAdams 

এটি একটি traditionalতিহ্যবাহী রোউস্টোরের বিপরীতে যা ডেটা আরও এভাবে সংরক্ষণ করবে:

S120LondonSmith;S210ParisJones;S330ParisBlake;S420LondonClark;S530AthensAdams

এই সাধারণ ধারণাটি থেকে কলাম-স্টোর এবং একটি সারি-স্টোরের মধ্যে পারফরম্যান্সের সমস্ত মৌলিক পার্থক্য ভাল বা খারাপ হিসাবে প্রবাহিত হয়। উদাহরণস্বরূপ, একটি কলামের স্টোর মোট এবং গড়ের মতো সংগ্রহগুলিতে দক্ষতা অর্জন করবে, তবে একক সারি সন্নিবেশ করা ব্যয়বহুল হতে পারে, যখন বিপরীতটি সারি-স্টোরগুলির পক্ষে সত্য। উপরের চিত্রটি থেকে এটি স্পষ্ট হওয়া উচিত।

তারা কীভাবে সম্পর্কিত ডেটাবেস থেকে আলাদা? একটি সম্পর্কিত ডেটাবেস একটি যৌক্তিক ধারণা। একটি কলামার ডাটাবেস বা কলাম-স্টোর একটি শারীরিক ধারণা। সুতরাং দুটি পদ কোনও অর্থবহ উপায়ে তুলনীয় নয়। কলামমুখী ডিএমবিএসগুলি আপেক্ষিক বা নাও হতে পারে, যেমন সারি-ভিত্তিক ডিবিএমএসগুলি সম্পর্কীয় নীতিগুলিতে কমবেশি মেনে চলতে পারে।


22
এটি গৃহীত উত্তরের চেয়ে ভাল বলে মনে হচ্ছে তবে আমি কোনও বিশেষজ্ঞ নই। উপনোট।
রব গ্রান্ট

4
কলাম ওরিয়েন্টেড ডাটাবেসগুলি ব্যবহৃত হয় যেখানে নির্দিষ্ট কলামগুলিতে সমষ্টিগুলি বিক্রয় প্রতিবেদনের মতো অনুসন্ধান করা হয়। এখানে মূল কথাটি হ'ল আপনি যদি সারি ওরিয়েন্টেড ডাটাবেস ব্যবহার করেন তবে সমস্ত সারি (ব্লক) মূল স্মৃতিতে আনতে হবে, যার মধ্যে ডিস্ক থেকে সমস্ত ব্লককে ডিসে আনার জন্য ডিস্ক থেকে প্রচুর সময় নেওয়ার দরকার রয়েছে, এমনকি যদি আপনি কেবল কলামে আগ্রহী হন যা আপনাকে বিক্রয় প্রতিবেদন সরবরাহ করতে সহায়তা করে। কলাম ওরিয়েন্টেড স্কিম কলামগুলিতে ব্লকগুলিতে স্বচ্ছভাবে সংরক্ষণ করা হয় যা কম সংখ্যক ব্লকের কারণে কম অনুসন্ধান করে। সুতরাং কলামের ডেটাবেসগুলি ওএলএপির জন্য ব্যবহৃত হয়, তবে সারি ওরিয়েন্টেড ওলটিপি স্টাফের জন্য ব্যবহৃত হয়।
ভারতজ

4

আমি বলব কলাম ওরিয়েন্টেড ডাটাবেসগুলি সম্পর্কে বোঝার জন্য সেরা প্রার্থী হচ্ছেন HBase ( অ্যাপাচি এইচবিএস ) পরীক্ষা করা । আপনি কোডটি একটি চেকআউট করেছেন এবং বাস্তবায়ন সম্পর্কে আরও অনুসন্ধান করতে পারেন।


2

এছাড়াও, কলামার ডিবিতে ডেটা সংকোচনের জন্য বিল্ট ইন ইনফিনিটি রয়েছে এবং লোডিং প্রক্রিয়াটি অনন্য। এখানে আমি একটি নিবন্ধটি লিখেছিলাম যা ২০০৮ সালে আরও কিছুটা ব্যাখ্যা করে।

আপনি তৃতীয় প্রজন্মের ডিবিএমএস প্রযুক্তির আইডিসির কার্ল অলফসনের একটি নতুন প্রতিবেদনে আগ্রহীও হতে পারেন। এটি কলামার, এবং অন্যান্য নিয়ে আলোচনা করে। আপনি যদি কোনও আইডিসি ক্লায়েন্ট না হন তবে আপনি আমাদের সাইটে এটি বিনামূল্যে পেতে পারেন। তিনি 16 ই জুন একটি ওয়েবিনার করছেন, এটিও (আমাদের সাইটেও)।

(বিটিডাব্লু, উপরে একটি মন্তব্য অ্যাসেরডাটা তালিকাভুক্ত করে তবে আমি সেগুলি কলামার বলে মনে করি না))


আপনি আইডিসির প্রতিবেদনটি এখানে পেতে পারেন: প্যারাক্সেল
কিম স্ট্যানিক

অ্যাস্টার ডেটা এমপিপি রিলেশনাল ডাটাবেস এবং এটিতে কলামার টেবিলগুলির জন্য স্থানীয় সমর্থন রয়েছে।
topchef

@ কিমস্তানিক, প্যারাসেল ইউআরএল মারা গেছে।
ব্যবহারকারী 674669

2

কলাম ওরিয়েন্টেড ডাটাবেস কী তা বোঝার জন্য এটি সারি ওরিয়েন্টেড ডাটাবেসের সাথে বিপরীত করা ভাল।

সারি ভিত্তিক ডাটাবেসগুলি (যেমন এমএস এসকিউএল সার্ভার এবং এসকিউএলাইট) পুরো সারিটির জন্য দক্ষতার সাথে ডেটা ফেরত দেওয়ার জন্য ডিজাইন করা হয়েছে। এটি একটি সারির সমস্ত কলামের মান একসাথে সঞ্চয় করে এটি করে। সারি-ভিত্তিক ডাটাবেসগুলি ওলটিপি সিস্টেমগুলির জন্য উপযুক্ত (যেমন, খুচরা বিক্রয় এবং আর্থিক লেনদেন সিস্টেম)।

কলাম ওরিয়েন্টেড ডাটাবেসগুলি সীমিত সংখ্যক কলামের জন্য দক্ষতার সাথে ডেটা ফেরানোর জন্য ডিজাইন করা হয়েছে। এটি একটি কলামের সমস্ত মান এক সাথে সঞ্চয় করে করে। দুটি বহুল ব্যবহৃত কলাম ওরিয়েন্টেড ডাটাবেস হ'ল অ্যাপাচি হ্যাবেস এবং গুগল বিগ টেবিল (গুগল তার অনুসন্ধান, অ্যানালিটিক্স, মানচিত্র এবং জিমেইলের জন্য ব্যবহার করে)। এগুলি বড় ডেটা প্রকল্পের জন্য উপযুক্ত। একটি কলাম ভিত্তিক ডাটাবেস সীমিত সংখ্যক কলামে পঠিত অপারেশনগুলিতে দক্ষতা অর্জন করবে, তবে সারি ভিত্তিক ডাটাবেসের তুলনায় লেখার কাজটি ব্যয়বহুল হবে।

আরও তথ্যের জন্য: https://en.wikedia.org/wiki/ Column-oriented_DBMS


1

পণ্যের তথ্য. এটি সাহায্য করতে পারে। এগুলি গুগল অনুসন্ধানে বৈশিষ্ট্যযুক্ত পণ্যগুলিতে ছিল।

http://www.vertica.com/

http://www.paraccel.com/

http://www.asterdata.com/index.php


ভার্টিকা সম্পর্কে একটি বিষয় লক্ষণীয় হ'ল আমি ওয়েবে একটি লাইসেন্সের দামের জন্য 150 মিলিয়ন ডলার / টিবি ডেটা সংরক্ষণের রেফারেন্স দেখেছি। সুতরাং এটি সস্তা নয়।
চিহ্নিত করুন

@ মার্ক: ব্যয় ইস্যু নয়। তথ্য ইস্যু। যদি ওপি তথ্য চায়, বিক্রেতারা প্রায়শই সেরা সম্ভাব্য উত্স।
এস .লট

4
আপনি যদি বিশেষভাবে কলামারটির সন্ধান না করেন তবে অ্যামাজন প্রতি বছর প্রতি টেরাবাইট প্রতি 1000 ডলারের নিচে তার সুপার ফাস্ট রেডশিফ্ট ডেটা স্টোরেজ সরবরাহ করে।
mevdiven

1

কেএক্স হ'ল আরেকটি কলামার ডাটাবেস, উদাহরণস্বরূপ আর্থিক খাতে ব্যবহৃত। যদিও গতবার আমি যাচাই করেছি লাইসেন্সটি কিছুটা $ 50K K কোন অপ্টিমাইজেশান প্রয়োজন, কোনো সূচক প্রয়োজন, KX শক্তিশালী অপারেটার হয়েছে কারণ (মতলব সমতুল: .*, kron, bsxfun, ...)।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.