প্রশ্ন ট্যাগ «parquet»

অ্যাপাচি পারকুয়েটের বৈশিষ্ট্যগুলি হ'ল: স্ব-বর্ণনা কলামার ফর্ম্যাট ভাষা স্বাধীন অভ্র, সিকোয়েন্স ফাইলস, আরসি ফাইল ইত্যাদির তুলনায় আমি ফর্ম্যাটগুলির একটি ওভারভিউ চাই। আমি ইতিমধ্যে পড়েছি: ইমডালা হ্যাডোপ ফাইল ফর্ম্যাটগুলির সাথে কীভাবে কাজ করে , এটি ফর্ম্যাটগুলিতে কিছুটা অন্তর্দৃষ্টি দেয় তবে আমি জানাতে চাই যে এই ফর্ম্যাটগুলির প্রতিটিটিতে কীভাবে ডেটা অ্যাক্সেস এবং …

136 file  hadoop  hdfs  avro  parquet 

উভয়ই ডেটা বিশ্লেষণ সিস্টেমে ব্যবহারের জন্য কলামার (ডিস্ক-) স্টোরেজ ফর্ম্যাট । উভয়ই অ্যাপাচি অ্যারো ( পাইথনের জন্য পাইররো প্যাকেজ) এর মধ্যে একীভূত এবং মেমোরি বিশ্লেষণ স্তরটি কলামার হিসাবে অ্যারোর সাথে মিলিয়ে ডিজাইন করা হয়েছে । উভয় ফর্ম্যাট কিভাবে পৃথক হয়? সম্ভব হলে পান্ডার সাথে কাজ করার সময় আপনার কি সবসময় …

95 python  pandas  parquet  feather  pyarrow 

আমি আমার হ্যাডোপ সম্পর্কিত প্রকল্পের জন্য একটি হ্যাডোপ ফাইল ফর্ম্যাট ব্যবহার করার পরিকল্পনা করছি। আমি বুঝতে পারি যে parquet কলাম ভিত্তিক ক্যোয়ারি এবং পূর্ণ স্ক্যানের জন্য অভ্র বা যখন আমাদের সমস্ত কলামের ডেটা প্রয়োজন তখন দক্ষ! আমি এগিয়ে যাওয়ার আগে এবং ফাইল ফর্ম্যাটটির একটি চয়ন করার আগে, আমি বুঝতে চাই …

92 hadoop  avro  parquet 

আমি হাইভের সাথে উপলব্ধ স্টোরেজ ফর্ম্যাটগুলিতে কয়েকটি পরীক্ষা চালিয়ে যাচ্ছি এবং পারকুইট এবং ওআরসি প্রধান বিকল্প হিসাবে ব্যবহার করছি। আমি ওআরসি একবার ডিফল্ট সংকোচনের সাথে এবং একবার স্নাপ্পির সাথে অন্তর্ভুক্ত করেছিলাম। আমি অনেকগুলি ডকুমেন্ট পড়েছি যা ওপিসির তুলনায় পার্কিটকে সময় / স্থান জটিলতায় আরও ভাল হতে বলেছে কিন্তু আমার পরীক্ষাগুলি …

88 hadoop  hive  parquet  snappy  orc