স্নেপ্পির সাথে পরকীট বনাম ওআরসি বনাম ওআরসি

Question 1

আমি হাইভের সাথে উপলব্ধ স্টোরেজ ফর্ম্যাটগুলিতে কয়েকটি পরীক্ষা চালিয়ে যাচ্ছি এবং পারকুইট এবং ওআরসি প্রধান বিকল্প হিসাবে ব্যবহার করছি। আমি ওআরসি একবার ডিফল্ট সংকোচনের সাথে এবং একবার স্নাপ্পির সাথে অন্তর্ভুক্ত করেছিলাম।

আমি অনেকগুলি ডকুমেন্ট পড়েছি যা ওপিসির তুলনায় পার্কিটকে সময় / স্থান জটিলতায় আরও ভাল হতে বলেছে কিন্তু আমার পরীক্ষাগুলি আমি যে নথিগুলি দিয়েছিলাম তার বিপরীতে।

আমার ডেটা সম্পর্কিত কিছু বিবরণ অনুসরণ করে।

Table A- Text File Format- 2.5GB

Table B - ORC - 652MB

Table C - ORC with Snappy - 802MB

Table D - Parquet - 1.9 GB

আমার টেবিলের সংকোচনের বিষয়ে পরকীয়াটি সবচেয়ে খারাপ ছিল।

উপরের টেবিলগুলির সাথে আমার পরীক্ষাগুলি নিম্নলিখিত ফলাফল পেয়েছে।

সারি গণনা অপারেশন

Text Format Cumulative CPU - 123.33 sec

Parquet Format Cumulative CPU - 204.92 sec

ORC Format Cumulative CPU - 119.99 sec 

ORC with SNAPPY Cumulative CPU - 107.05 sec

একটি কলাম অপারেশনের যোগফল

Text Format Cumulative CPU - 127.85 sec   

Parquet Format Cumulative CPU - 255.2 sec   

ORC Format Cumulative CPU - 120.48 sec   

ORC with SNAPPY Cumulative CPU - 98.27 sec

কলাম ক্রিয়াকলাপের গড়

Text Format Cumulative CPU - 128.79 sec

Parquet Format Cumulative CPU - 211.73 sec    

ORC Format Cumulative CPU - 165.5 sec   

ORC with SNAPPY Cumulative CPU - 135.45 sec

যেখানে ক্লজ ব্যবহার করে প্রদত্ত ব্যাপ্তি থেকে 4 টি কলাম নির্বাচন করা

Text Format Cumulative CPU -  72.48 sec 

Parquet Format Cumulative CPU - 136.4 sec       

ORC Format Cumulative CPU - 96.63 sec 

ORC with SNAPPY Cumulative CPU - 82.05 sec

তার মানে কি ওআরসি পার্কুয়েট তত দ্রুত? বা এমন কিছু আছে যা আমি ক্যোয়ারীর প্রতিক্রিয়া সময় এবং সংক্ষেপণের অনুপাতের সাথে এটি আরও ভালভাবে কাজ করতে পারি

ধন্যবাদ!

Question 2

আমি বলব, এই উভয় বিন্যাসের নিজস্ব সুবিধা রয়েছে।

আপনার খুব বেশি নেস্ট করা ডেটা থাকলে পার্কিট আরও ভাল হতে পারে, কারণ এটি গুগল ড্রেমেলের মতো গাছ হিসাবে এর উপাদানগুলিকে সংরক্ষণ করে ( এখানে দেখুন )।
আপনার ফাইল-কাঠামো সমতল করা থাকলে অ্যাপাচি ওআরসি আরও ভাল।

এবং যতদূর আমি জানি parquet এখনও সূচিগুলি সমর্থন করে না। ওআরসি একটি হালকা ওজন সূচক নিয়ে আসে এবং এইচআইভি 0.14 সাল থেকে একটি অতিরিক্ত ব্লুম ফিল্টার রয়েছে যা বিশেষত যখন সংখ্যার ক্রিয়াকলাপের বিষয়টি আসে তখন ভাল ক্যোয়ারির প্রতিক্রিয়া সময়কে সহায়ক হতে পারে।

Parquet ডিফল্ট সংক্ষেপণ SNAPPY। টেবিল A - B - C এবং D একই ডেটাসেটটি ধারণ করছে? যদি হ্যাঁ দেখে মনে হয় এটির মতো কিছু ছায়াময় রয়েছে, যখন এটি কেবল 1.9 গিগাবাইটে সংকুচিত হয়

Question 3

আপনি এটি দেখছেন কারণ:

মধুচক্রের একটি ভেক্টরাইজড ওআরসি রিডার রয়েছে তবে কোনও ভেক্টরাইজড পারকুইট রিডার নেই।
স্পার্কের একটি ভেক্টরাইজ পারকুইট রিডার রয়েছে এবং কোনও ভেক্টরাইজড ওআরসি রিডার নেই।
স্পার্ক parquet সঙ্গে সেরা সঞ্চালন, মুরগি ORC সঙ্গে সেরা সঞ্চালন করে।

স্পার্কের সাথে ওআরসি এবং পারকুইট চালানোর সময় আমি একই রকম পার্থক্য দেখেছি।

ভেক্টরাইজেশন এর অর্থ হল যে সারিগুলি ব্যাচগুলিতে ডিকোড হয় নাটকীয়ভাবে মেমরির স্থানীয়ত্ব এবং ক্যাশে ব্যবহারের উন্নতি করে।

(হাইভ ২.০ এবং স্পার্ক ২.১ হিসাবে সঠিক)

Question 4

পারকুইট এবং ওআরসি উভয়েরই নিজস্ব সুবিধা এবং অসুবিধা রয়েছে। তবে আমি কেবল থাম্বের একটি সহজ নিয়ম অনুসরণ করার চেষ্টা করি - "আপনার ডেটা কতটা নেস্টেড এবং কতগুলি কলাম রয়েছে" । আপনি যদি গুগল ড্রিমেল অনুসরণ করেন তবে আপনি কীভাবে parquet নকশা করা হয়েছে তা দেখতে পাবেন। তারা ডেটা সঞ্চয় করার জন্য একটি শ্রেণিবিন্যাস গাছের মতো কাঠামো ব্যবহার করে। গাছ আরও গভীর নীড়।

তবে ওআরসি একটি সমতল ফাইল স্টোরের জন্য ডিজাইন করা হয়েছে। সুতরাং যদি আপনার ডেটা কম কলামগুলির সাথে সমতল হয়, আপনি ওআরসি-র সাথে যেতে পারেন, অন্যথায়, কাঠের কাঠামো আপনার পক্ষে ভাল। সমতল ডেটাতে সংক্ষেপণ ওআরসিতে আশ্চর্যজনকভাবে কাজ করে।

আমরা একটি বৃহত্তর সমতল ফাইলের সাথে কিছু বেঞ্চমার্কিং করেছি, এটি স্পার্ক ডেটাফ্রেমে রূপান্তরিত করেছি এবং এটি এস 3-তে parquet এবং ORC উভয় ফর্ম্যাটে সংরক্ষণ করেছি এবং ** রেডশিফ্ট-স্পেকট্রাম ** দিয়ে অনুসন্ধান করেছি।

Size of the file in parquet: ~7.5 GB and took 7 minutes to write
Size of the file in ORC: ~7.1. GB and took 6 minutes to write
Query seems faster in ORC files.

শীঘ্রই আমরা নেস্টেড ডেটাগুলির জন্য কিছু বেঞ্চমার্কিং করব এবং ফলাফলগুলি এখানে আপডেট করব।

Question 5

আমরা বিভিন্ন ব্যবহারের ক্ষেত্রে বিভিন্ন ফাইল ফর্ম্যাটগুলির (অভ্র, জেএসএন, ওআরসি, এবং পরকুইট) তুলনা করে কিছু বেঞ্চমার্ক করেছি।

https://www.slideshare.net/oom65/file-format-benchmark-avro-json-orc-parquet

ডেটা সমস্ত প্রকাশ্যে উপলভ্য এবং বেঞ্চমার্ক কোড এখানে সমস্ত ওপেন সোর্স:

https://github.com/apache/orc/tree/branch-1.4/java/bench

Question 6

তাদের উভয় সুবিধা আছে। আমরা একসাথে কর্মক্ষেত্রে Parquet ব্যবহার মধুচক্র এবং Impala সঙ্গে, কিন্তু Parquet উপর ওআরসি কয়েক সুবিধার বাতলান তৈরি করতে চেয়েছিলাম: সময় দীর্ঘ নির্বাহ প্রশ্নের, যখন মধুচক্র ওআরসি টেবিল জিজ্ঞাস্য জিসি কম ঘন ঘন 10 বার সম্পর্কে বলা হয় । অনেক প্রকল্পের জন্য কিছুই হতে পারে না, তবে অন্যদের জন্য এটি অত্যন্ত গুরুত্বপূর্ণ।

যখন আপনাকে টেবিল থেকে মাত্র কয়েকটি কলাম নির্বাচন করতে হবে তখন ওআরসিও অনেক কম সময় নেয়। কিছু অন্যান্য ক্যোয়ারী, বিশেষত যোগদানের সাথে, ভেক্টরাইজড ক্যোয়ারী কার্যকর করার কারণে কম সময় নেয়, যা পারকুইটের জন্য উপলভ্য নয়

এছাড়াও, ওআরসি সংকোচন কখনও কখনও কিছুটা এলোমেলো হয়, অন্যদিকে পারকুইট সংকোচনতা আরও বেশি সামঞ্জস্যপূর্ণ। দেখে মনে হচ্ছে যখন ওআরসি টেবিলে অনেকগুলি সংখ্যক কলাম রয়েছে - এটি সংকোচনও করে না। এটি উভয় জ্লিব এবং তীব্র সংকোচনের উপর প্রভাব ফেলে