এসকিউএল সার্ভারের ডেটা সংক্ষেপণ কেবল পঠনযোগ্য ডাটাবেসের জন্য স্পষ্টতই ভাল?


11

এসকিউএল সার্ভারের ডেটা সংক্ষেপণের উপর কিছু সাহিত্য আমি লিখেছি যে লেখার ব্যয়টি সাধারণত যা প্রয়োজন তার থেকে প্রায় চারগুণ বেড়ে যায়। এটি আরও বোঝাচ্ছে যে এটি ডেটা সংকোচনের প্রাথমিক নেতিবাচক দিক, দৃ imp়তার সাথে বোঝায় যে কেবলমাত্র পঠনযোগ্য সংরক্ষণাগার ডাটাবেসের জন্য, 100% ভরাট পৃষ্ঠাগুলির ডেটা সংক্ষেপণের ব্যবহারের মাধ্যমে পারফরম্যান্সটি (কয়েকটি ব্যতীত টিউন সহ) উন্নত হবে।

  1. উপরের বক্তব্যগুলি কি সত্য?
  2. ডেটা সংক্ষেপণ এবং অন্যথায় (পড়ার জন্য) মধ্যে প্রাথমিক "প্রকরণগুলি" কী কী?

    • "সিপিইউ + এক্স%"?
    • "আইও -y%"?
    • পৃষ্ঠা বিভক্ত ঘটনা?
    • টেম্পডিবি ব্যবহার?
    • র‌্যাম ব্যবহার?
  3. আর লেখার জন্য?

এই প্রশ্নের প্রয়োজনে, আপনি একটি বড় (> 1 টিবি) ডাটাবেসের পৃষ্ঠার স্তরের সংক্ষেপণে প্রসঙ্গটি সীমাবদ্ধ করতে পারেন তবে অতিরিক্ত মন্তব্য সর্বদা স্বাগত।


তথ্যসূত্র:

এসকিউএল সার্ভার স্টোরেজ ইঞ্জিন ব্লগ (ডিডাব্লু দৃশ্যটি সংকোচনাকে খুব সুবিধাজনক বলে দেখায়) ডেটা সংক্ষেপণ
: কৌশল, দক্ষতা পরিকল্পনা এবং সেরা অভ্যাসগুলি

কী সংকোচন করতে হবে তা স্থির করার জন্য আরও বিশদ পদ্ধতির মধ্যে প্রতিটি সারণী এবং সূচকের জন্য কাজের চাপ বৈশিষ্ট্য বিশ্লেষণ করা জড়িত। এটি নিম্নলিখিত দুটি মেট্রিকের উপর ভিত্তি করে:

ইউ: object বস্তুর মোট ক্রিয়াকলাপের সাথে সম্পর্কিত কোনও নির্দিষ্ট টেবিল, সূচক বা পার্টিশনে আপডেট অপারেশনের শতাংশ। ইউ এর মান যত কম হবে (তা হ'ল, সারণী, সূচক বা পার্টিশনটি খুব কম সময়ে আপডেট করা হয়), পৃষ্ঠা সংকোচনের জন্য এটি আরও ভাল প্রার্থী।
এস: কোনও টেবিল, সূচক বা পার্টিশনে স্ক্যান অপারেশনগুলির শতাংশ, সেই বস্তুর মোট ক্রিয়াকলাপের তুলনায়। এস এর মান উচ্চতর (এটি, সারণী, সূচক বা পার্টিশন বেশিরভাগ স্ক্যান করা হয়), পৃষ্ঠা সংকোচনের জন্য এটি আরও ভাল প্রার্থী।

উপরের দু'টিই ডাব্লু-স্টাইলের ডাটাবেসগুলির (পঠন-নিবিড় / এক্সক্লুসিভ, বিগ-ডেটা ক্রিয়াকলাপ) এর জন্য পৃষ্ঠা সংক্ষেপণের সুপারিশ করার পক্ষে বায়ামুক্ত are


বিশেষত কোন সাহিত্য? উভয় কমপ্রেস / আনপ্রেপ্রেস করার জন্য সর্বদা সিপিইউ ওভারহেড হতে চলেছে তবে পাঠ্যের মতো আপনিও কয়েকটি সংখ্যক পৃষ্ঠায় লিখছেন। আসলে আমি মনে করব লেখার দিকটি পড়ার দিকের চেয়ে আরও বেশি উপকৃত হবে কারণ পড়ার দিকটিতে প্রায়শই সংকীর্ণ পৃষ্ঠাগুলি মেমরিতে সঞ্চিত থাকে (এটি সর্বদা নয়, তবে ডেটা এবং মেমরির বরাদ্দের উপর নির্ভর করে একটি সেরা কেস)।
অ্যারন

3
আপনি যে মেট্রিকগুলির জন্য জিজ্ঞাসা করছেন এটি সরবরাহ করা খুব কঠিন হতে চলেছে কারণ এটি সম্পূর্ণভাবে ডেটা প্রকৃতি এবং এটি সংকোচনের ক্ষমতা উপর নির্ভর করে (এবং এটি সারি বনাম পৃষ্ঠার উপর নির্ভর করে পৃথক হতে চলেছে) )। কিছু লোক 90% পর্যন্ত সংকোচনের অনুপাতের প্রতিবেদন করেছে যা অনেক বেশি সংকোচনের জন্য মেমরির ব্যবহার (ইতিবাচক উপায়ে) এবং সিপিইউ উভয়তেই প্রভাব ফেলবে। এই কাগজটি সারি সংক্ষেপণের জন্য 10% এবং পৃষ্ঠার জন্য উচ্চতর সিপিইউ ওভারহেড করে । আপনি যা পর্যবেক্ষণ করছেন তা অন্যরকম হতে পারে।
হারুন বারট্রান্ড

1
কেবলমাত্র পঠনযোগ্য সংরক্ষণাগার ডাটাবেসের জন্য, আমি মনে করি প্রশ্নটি এটি মেমরিতে ফিট করতে পারে কিনা। যদি এটি সমস্ত স্মৃতিতে ফিট করতে পারে তবে এটি একবার বাফার পুলে লোড হয়ে গেলে এটি সংকুচিত হওয়ার কোনও লাভ নেই। তবে, এটি সমস্ত স্মৃতিতে মাপসই করা যায় না, আপনি এখনও ক্যাশে-এর বাইরে এবং অল্প সংখ্যক পৃষ্ঠাগুলি অদলবদল করতে কিছুটা উপকার পেতে পারেন, যদিও এটির কাজ সঙ্কুচিত করা হবে।
অ্যারন বারট্র্যান্ড

আপনি যে লিঙ্কগুলি যুক্ত করেছেন তা উভয়ই লেখার জন্য এই 4x জরিমানার কোনও উল্লেখ করে বলে মনে হচ্ছে না। মনে আছে তুমি কোথায় তুলেছ? প্রসঙ্গটি দেখতে চাই।
অ্যারন বারট্র্যান্ড

1
আচ্ছা আপনি যদি সেই দৃশ্যের তুলনায় মেমরির সাথে ডেটা মাপসই করতে না পারেন, তবে এটি ঠিক আছে? :-)
অ্যারন বারট্র্যান্ড

উত্তর:


6

1-2 বছরের পুরানো হার্ডওয়্যারটিতে আমার নিজস্ব পরীক্ষাগুলি থেকে কেবল আমার 2 টি:

পৃষ্ঠা-সংক্ষেপিত টেবিলগুলিতে কেবল-পঠনযোগ্য ক্রিয়াকলাপগুলি (ডিডাব্লু-স্টাইলের স্ক্যানগুলি, প্রকারগুলি ইত্যাদি) (~ 80 ক্রয় / পৃষ্ঠা) আমি ~ 3x এর কমপ্রেস আকার হ্রাস পেয়ে বিরতি পেয়েছি।

উদাহরণস্বরূপ, যদি টেবিলগুলি যাইহোক মেমরির সাথে ফিট করে তবে পৃষ্ঠার সংক্ষেপণ কেবলমাত্র পারফরম্যান্সের উপকার করে যদি ডেটা আকার 3x এর বেশি হয়ে যায়। আপনি মেমরিতে কম পৃষ্ঠাগুলি স্ক্যান করেন তবে প্রতিটি পৃষ্ঠা স্ক্যান করতে এটি বেশি সময় নেয়।

আমি মনে করি আপনার পরিকল্পনাটি নেস্ট-লুপ এবং সন্ধানী-ভারী হলে আপনার মাইলেজটি আলাদা হতে পারে। অন্যগুলির মধ্যে, এটি হার্ডওয়্যার-নির্ভরশীল (বিদেশী NUMA নোড অ্যাক্সেস পেনাল্টি, মেমরির গতি ইত্যাদি) হবে।

উপরেরটি কেবল একটি নিয়মিত নিয়ম-নীতির যা আমি অনুসরণ করি, নিজের টেস্টের উপর ভিত্তি করে আমার নিজের হার্ডওয়্যার (ডেল পাওয়ার্ডেজ 910 এবং তার চেয়ে কম) এর নিজের অনুসন্ধানগুলি ব্যবহার করে test এটা গসপেল এহ না!

সম্পাদনা: গতকাল থমাস কেজারের দুর্দান্ত এসকিউএলবিট একাদশ উপস্থাপনাটি একটি ভিডিও হিসাবে উপলব্ধ করা হয়েছিল। এই আলোচনার সাথে বেশ প্রাসঙ্গিক, এটি পৃষ্ঠা সংকোচনের জন্য সিপিইউ ব্যয়ের 'কুৎসিত' চেহারা দেখায় - আপডেটগুলি 4x দ্বারা কমিয়ে আনা হয়, লকগুলি বেশ খানিকক্ষণ ধরে রাখা হয়।

তবে থমাস ফিউশনআইও স্টোরেজ ব্যবহার করছেন এবং তিনি একটি টেবিল বাছাই করেছেন যা পৃষ্ঠা সংকোচনের জন্য কেবল 'ঠিক' উপযুক্ত। স্টোরেজটি যদি কোনও সাধারণ SAN তে থাকে এবং ডেটা সংক্ষেপিত 3x-4x ব্যবহার করা হয় তবে ছবিটি কম নাটকীয় হতে পারে।


1
এটি কি পুরানো হার্ডওয়্যার হতে পারে? নতুন হার্ডওয়্যারে, খালি এসএসডি স্টোরেজ করার জন্য, আমি পাই যে কোরগুলি সহজেই ডিস্কগুলি সাথে রাখতে সক্ষম হয় না। আমি কোনওভাবেই এই সুবিধাটি লট ইজিলারটি শুরু করতে পারব - অনেকগুলি পরিবর্তন না করে আইও-তে 50% হ্রাস করা ভাল।
টমটম

টমটম, স্টোরেজ এই পরিসংখ্যানগুলির জন্য কার্যকর হয় না। তুলনা হ'ল মেমোরিতে সঙ্কুচিত-সারণী -গুলিতে এবং সংকোচিত-টেবিলগুলিতে মেমরি।
জন অ্যালান

মেমরির জন্য যথেষ্ট ভাল এমন কোনও ডিডাব্লুএইচ কখনও দেখেনি। সিরিয়াসলি। আপনি ডিস্ক ফিরে যেতে হবে।
টমটম

1
হ্যাঁ অবশ্যই আপনি মাঝেমধ্যে ডিস্কে ফিরে যাবেন - ডিস্ক থেকে পড়া যেখানে পৃষ্ঠা-সংক্ষেপণের প্রায় সবসময় একটি কিনারা থাকে (ধরে নিই ডেটা যথেষ্ট সংকোচযোগ্য!)। তবে যদি আপনার কাজের চাপটি একবারে ডিস্ক থেকে লোড হয়ে যায় এবং তারপরে সারা দিন মেমরির সমস্ত জিনিস ম্যানিপুলেট করে - আপনি ডিস্ক রিডিংয়ের পক্ষে কতটা ওজন দেবেন এবং মেমরির অপারেশনগুলিতে কতটা দেবেন?
জন অ্যালান

1
শুধু টমাস Kejser দ্বারা SQLBits 2013 থেকে একটি প্রাসঙ্গিক উপস্থাপনা slidedeck জুড়ে এসেছিল: slideshare.net/fusionio/...
জন অ্যালেন

0

আমি আমার ডেটা গুদাম পরিবেশ থেকে কয়েকটি শব্দ যুক্ত করতে পারি।

30 মিলিয়ন সারি (18 গিগাবাইট) সহ একটি টেস্ট টেবিলে সংক্ষেপণ (আমার ক্ষেত্রে PAGE) প্রয়োগ করছে টেবিলটির আকারটি 18 গিগাবাইট থেকে 3 জিবি হ্রাস করুন! (নিশ্চিতরূপে স্টোরেজ দক্ষতা) তবে লোড সময় (লেখার) 22 থেকে 36 মিনিটের মধ্যে বাড়িয়ে দিন।

সুতরাং পড়তে বা পড়ার জন্য এবং মেমরিতে ডেটা রাখার জন্য এটি একটি ভাল সমাধান হতে পারে তবে প্রতিদিনের ডেটা লোডের জন্য এটি কর্মক্ষমতা হ্রাস পেতে পারে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.