শূকর এবং মুরগীর মধ্যে পার্থক্য? দুটো কেন? [বন্ধ]

Question

আমার পটভূমি - হাদোপ বিশ্বে 4 সপ্তাহ বয়সী। ক্লৌডেরার হ্যাডোপ ভিএম ব্যবহার করে হিভ, পিগ এবং হাদুপকে কিছুটা ডাবলড করেছেন। মানচিত্র-হ্রাস এবং জিএফএসে ( পিডিএফ লিঙ্ক ) গুগলের কাগজ পড়েছেন ।

আমি বুঝতে পারি যে-

• পিগের ভাষা পিগ ল্যাটিন হ'ল এক প্রস্থান (প্রোগ্রামাররা যেভাবে মনে করেন স্যুট করে) এসকিউএল এর মতো প্রোগ্রামিংয়ের ঘোষণামূলক স্টাইল এবং হাইভের ক্যোয়ারী ল্যাঙ্গুয়েজ এসকিউএল এর সাথে সাদৃশ্যপূর্ণ।

• পিগ হ্যাডোপের শীর্ষে বসে এবং নীতিগতভাবে ড্রায়ডের শীর্ষেও বসতে পারে। আমি ভুল হতে পারি তবে হিভ হডোপের সাথে একত্রে মিলিত।

• পিগ ল্যাটিন এবং হাইভ উভয় কমান্ড মানচিত্র এবং হ্রাস কাজগুলিকে সংকলন করে।

আমার প্রশ্ন - যখন একজন (পিগ বলুন) উদ্দেশ্যটি পরিবেশন করতে পারে তখন উভয়েই থাকার লক্ষ্য কী। পিগ ইয়াহু দ্বারা প্রচারিত হয়েছে কেবল কারণ! এবং ফেসবুক দ্বারা মধুচন্দি?

Comments

মুরগি কাঠামোগত ডেটার জন্য। শূকরটি কাঠামোগত ডেটার জন্য।

— ডেড প্রোগ্রামার

Answer 1

ইয়াহুর পিগ আর্কিটেক্ট অ্যালান গেটস থেকে এই পোস্টটি দেখুন , যা তুলনামূলকভাবে কখন পিগের চেয়ে হাইভের মতো এসকিউএল ব্যবহার করবে। তিনি পিগের মতো পদ্ধতিগত ভাষার দরকারীতা এবং ডেটাফ্লো ডিজাইনারদের কাছে এর দরকারীতা সম্পর্কে খুব দৃ case়প্রত্যয়ী কেস তৈরি করেন।

Comments

অ্যালান নীচে j03m ভাগ হিসাবে, বিশেষত Hive নিয়ে আলোচনা করা একটি নিবন্ধও করেছেন। তার কাছ থেকে ভাল জিনিস!

— দোলান অ্যান্টুচি

মুরগি কাঠামোগত ডেটার জন্য। শূকর আনস্ট্রাক্ট্রিত ডেটার জন্য।

— ডেড প্রোগ্রামার

আমি বিভ্রান্ত আপনার অর্থ কি পিগের মতো পদ্ধতিগত ভাষার "[...] উপযোগিতা" বলতে চান? কারণ নিবন্ধটি বারবার দাবি করেছে যে "পিগ ল্যাটিন প্রক্রিয়াজাতীয়"।

— ম্যাট ফেনউইক

আমি এটি অস্থায়ী কিনা তা নিশ্চিত নই, তবে নিবন্ধটি শেষ হয়ে গেছে বলে মনে হচ্ছে। আপনি কি লিঙ্কটি আপডেট করতে পারবেন (দ্রুত সন্ধানের সাথে এটি সন্ধান করতে পারলাম না)?

— পিটার ক্লিপফেল

অ্যালান গেটস পোস্টটি এখানে .. দয়া করে এর মাধ্যমে যান .. বিকাশকারী.ইহু.

— com

Answer 2

এইচকিউএল দিয়ে আরামদায়ক কোনও সম্প্রদায়ের কাছে আবেদন করার জন্য এই মাইভ ডিজাইন করা হয়েছিল। এর দর্শনটি ছিল আমাদের আর একটি স্ক্রিপ্টিং ভাষার প্রয়োজন নেই। হাইভ মানচিত্র সমর্থন করে এবং ব্যবহারকারীর পছন্দের ভাষায় ট্রান্সফর্ম স্ক্রিপ্টগুলি হ্রাস করে (যা এসকিউএল ধারাগুলির মধ্যে এম্বেড করা যেতে পারে)। এটি এসকিউএল আরামদায়ক পাশাপাশি পাইথনের ডেটা মাইনার প্রোগ্রামিংয়ের মাধ্যমে ফেসবুকে ব্যাপকভাবে ব্যবহৃত হয়। পিগের এসকিউএল সামঞ্জস্যতার প্রচেষ্টা আফাইককে পরিত্যাগ করা হয়েছে - সুতরাং দুটি প্রকল্পের মধ্যে পার্থক্য খুব স্পষ্ট।

এসকিউএল সিনট্যাক্সকে সমর্থন করার অর্থ হ'ল মাইক্রোস্ট্রেটজির মতো বিদ্যমান বিআই সরঞ্জামগুলির সাথে একীকরণ করা সম্ভব। হাইভের একটি ওডিবিসি / জেডিবিসি ড্রাইভার রয়েছে (এটি একটি প্রক্রিয়াধীন) এটি অদূর ভবিষ্যতে এটি হওয়ার অনুমতি দেওয়া উচিত। এটি সূচকগুলির জন্য সমর্থনও যুক্ত করা শুরু করেছে যা এই জাতীয় পরিবেশে ড্রিল-ডাউন প্রশ্নের জন্য সহায়তা করার অনুমতি দেয়।

অবশেষে - এটি সরাসরি প্রশ্নের সাথে প্রাসঙ্গিক নয় - হাইভ বিশ্লেষণমূলক প্রশ্নগুলি সম্পাদন করার জন্য একটি কাঠামো। যদিও এর প্রভাবশালী ব্যবহার ফ্ল্যাট ফাইলগুলি অনুসন্ধান করা, এটি অন্য স্টোরগুলিকে জিজ্ঞাসা করতে পারে না তার কোনও কারণ নেই। হাইভসে বর্তমানে সংরক্ষিত ডেটা জিজ্ঞাসা করতে ব্যবহার করা যেতে পারে (যা বেশিরভাগ আরডিবিএমএসের সাহসের মতো একটি মূল-মূল্য স্টোর), এবং হ্যাডোপডিবি প্রকল্পটি একটি ফেডারেশনযুক্ত আরডিবিএমএস স্তরকে জিজ্ঞাসা করতে হাইভকে ব্যবহার করেছে।

Answer 3

আমি এটিকে সবচেয়ে সহায়ক হিসাবে খুঁজে পেয়েছি (যদিও এটি এক বছরের পুরনো) - http://yahoohadoop.tumblr.com/post/98256601751/pig-and-hive-at-yahoo

এটি বিশেষত পিগ বনাম হিভ এবং কখন এবং কোথায় তারা ইয়াহুতে নিযুক্ত রয়েছে সে সম্পর্কে আলোচনা করে। আমি এটি খুব অন্তর্দৃষ্টিযুক্ত পেয়েছি। কিছু আকর্ষণীয় নোট:

ডেটা সেটগুলিতে বর্ধিত পরিবর্তন / আপডেটে:

পরিবর্তে, নতুন ইনক্রিমেন্টাল ডেটার বিরুদ্ধে যোগদান এবং পূর্ববর্তী সম্পূর্ণ যোগদানের ফলাফলের সাথে ফলাফলগুলি একসাথে ব্যবহার করা সঠিক পন্থা। এটি কয়েক মিনিট সময় নিতে হবে। পিগ ল্যাটিনে স্ট্যান্ডার্ড ডাটাবেস ক্রিয়াকলাপগুলি এই বর্ধিত পদ্ধতিতে প্রয়োগ করা যেতে পারে, যা পিগকে এই ব্যবহারের ক্ষেত্রে ভাল সরঞ্জাম হিসাবে তৈরি করে।

স্ট্রিমিংয়ের মাধ্যমে অন্যান্য সরঞ্জামগুলি ব্যবহার করার সময়:

স্ট্রিমিংয়ের সাথে শূকর সংহতকরণ গবেষকদের পক্ষে পার্ল বা পাইথন স্ক্রিপ্ট নেওয়া সহজ করে তোলে যা তারা ইতিমধ্যে একটি ছোট ডেটা সেট-এ ডিবাগ করেছে এবং এটি একটি বিশাল ডেটা সেটের বিপরীতে চালায়।

ডেটা গুদামজাতকরণের জন্য হাইভ ব্যবহার করার সময়:

উভয় ক্ষেত্রেই রিলেশনাল মডেল এবং এসকিউএল সেরা ফিট। প্রকৃতপক্ষে, ডেটা ওয়্যারহাউজিং এর ইতিহাসের বেশিরভাগ ক্ষেত্রে এসকিউএল-এর অন্যতম প্রধান ব্যবহারের বিষয় হয়ে দাঁড়িয়েছে। বিশ্লেষকরা যে ধরণের প্রশ্ন এবং সরঞ্জামগুলি ব্যবহার করতে চান তা সমর্থন করার জন্য এটিতে সঠিক নির্মাণ রয়েছে। এবং এটি ইতিমধ্যে ক্ষেত্রের সরঞ্জাম এবং ব্যবহারকারীদের দ্বারা ব্যবহৃত।

হ্যাডোপ সাবপ্রজেক্ট হাইভ হ্যাডোপের জন্য একটি এসকিউএল ইন্টারফেস এবং রিলেশনাল মডেল সরবরাহ করে। এইচআইভি দল ওডিবিসির মতো ইন্টারফেসের মাধ্যমে বিআই সরঞ্জামগুলির সাথে সংহত করার কাজ শুরু করেছে।

Comments

ইয়াহু, যিনি, আমি পিগের মূল নির্মাতা বা কমপক্ষে একটি খুব বড় প্রবক্তাকে যা বুঝতে পেরেছি তার থেকে তুলনা দেখতে +1 দুর্দান্ত। সম্পাদনা: উপরের জাকোব থেকে, আমি দেখতে পাচ্ছি যে লেখক (অ্যালান গেটস) ইয়াহুর পিগ আর্কিটেক্ট - এত দুর্দান্ত ভাগ :)

— দোলান অ্যান্টুচি

লিঙ্কটি মারা গেছে। আমি মনে করি এই মুহুর্তে সঠিক URL টি হল: https://developer.yahoo.com/blogs/hadoop/pig-hive-yahoo-464.html ।

— আগারি

উপরে প্রতি লিঙ্ক আপডেট হয়েছে

— j03m

আর একটি নতুন লিঙ্ক: yahoohadoop.tumblr.com/post/98256601751/pig-and-hive-at-yahoo

— rcrogers

উপরে ভাগ করা 2 টি লিঙ্ক আর খুঁজে পাওয়া যায় না।

— কেশব প্রদীপ রমনাথ

Answer 4

"ডিজেয়ার" নিবন্ধ থেকে বাদামের শাঁসে পিগ ভিএস হিভ তুলনা দেখুন

মুরগি পিআইজি এর চেয়ে আরও ভাল : পার্টিশন, সার্ভার, ওয়েব ইন্টারফেস এবং জেডিবিসি / ওডিবিসি সমর্থন।

কিছু পার্থক্য:

1. মধুচক্র হয় জন্য শ্রেষ্ঠ স্ট্রাকচার্ড ডেটা & শূকর জন্য সবচেয়ে ভাল হয় আধা কাঠামোবদ্ধ ডেটা

2. Hive প্রোগ্রামিং জন্য রিপোর্ট এবং পিআইজি ব্যবহার করা হয়

3. মধুচক্রটি প্রক্রিয়াকরণী ভাষা হিসাবে ঘোষিত এসকিউএল এবং পিআইজি হিসাবে ব্যবহৃত হয়

4. Hive পার্টিশন সমর্থন করে এবং পিআইজি সমর্থন করে না

5. মৌচাক একটি alচ্ছিক থ্রিফ্ট ভিত্তিক সার্ভার শুরু করতে পারে এবং পিআইজি পারে না

6. এইচআইভি পূর্বে টেবিলগুলি সংজ্ঞায়িত করে ( স্কিমা ) + একটি ডাটাবেসে স্কিমার তথ্য সঞ্চয় করে এবং পিআইজি -তে ডেটাবেসের ডেডিকেটেড মেটাডেটা থাকে না

7. হাইভ অভ্রকে সমর্থন করে না তবে পিআইজি করে। সম্পাদনা: মুরগি অভ্রকে সমর্থন করে, সার্ডকে org.apache.hadoop.hive.serde2.avro হিসাবে নির্দিষ্ট করুন

8. বহিরাগত যোগদানের জন্য পিগ অতিরিক্ত COGROUP বৈশিষ্ট্যটি সমর্থন করে তবে মধুচোষে তা হয় না। তবে হাইভ এবং পিআইজি উভয়ই গতিশীলভাবে যোগ দিতে, অর্ডার করতে এবং বাছাই করতে পারে ।

Answer 5

আমি বিশ্বাস করি যে আপনার প্রশ্নের আসল উত্তর হ'ল এগুলি / স্বাধীন প্রকল্প এবং কোনও কেন্দ্রীয় সমন্বিত লক্ষ্য ছিল না। এগুলি প্রথম দিকে বিভিন্ন জায়গায় ছিল এবং উভয় প্রকল্পের প্রসারিত হওয়ার সাথে সাথে সময়ের সাথে ওভারল্যাপ হয়ে উঠেছে।

হাডোপ ও'রিলি বইটি থেকে প্যারাফ্রেস করা:

পিগ: খুব বড় ডেটাসেটগুলি অন্বেষণের জন্য একটি ডেটাফ্লো ভাষা এবং পরিবেশ।

Hive: একটি বিতরণ ডেটা গুদাম

Comments

মুরগি আরডিবিএমএসের মতো কিছুই নয়। এটি পিগের মতো ফ্ল্যাট ফাইলগুলি প্রক্রিয়া করে। তারা উভয়ই মূলত একই জিনিস করে। কাজের সংকলন করার সময় তারা যে অপটিমাইজারগুলি ব্যবহার করে থাকে সেগুলি দেখুন কারণ এটিই বৃহত্তম আসল পার্থক্য।

— স্টিভ সিভেনেন্স

Answer 6

আপনি শূকর / মুরগির ক্যোয়ারীগুলির সাথে একই ফলাফল অর্জন করতে পারেন। মূল পার্থক্য বোঝার / লেখার / কোয়েরি তৈরির পদ্ধতির মধ্যে রয়েছে।

পিগ ডেটা প্রবাহ তৈরি করতে ঝোঁক: ছোট পদক্ষেপ যেখানে আপনি কিছু প্রক্রিয়াকরণ করেন
হিভ আপনাকে আপনার ডেটাতে চালনার জন্য এসকিউএল-এর মতো ভাষা দেয়, সুতরাং আরডিবিএমএস থেকে রূপান্তরকরণ আরও সহজ (পূর্বে অভিজ্ঞতা না থাকা ব্যক্তির জন্য পিগ সহজতর হতে পারে) এসকিউএল সহ)

এটিও লক্ষণীয় যে, এইচআইভির জন্য আপনি এই ডেটা (এইচইইউর জন্য বীসফ্যাক্স, বা হিভ ওয়েব ইন্টারফেস) নিয়ে কাজ করতে ভাল ইন্টারফেস করতে পারেন, এবং এটি আপনাকে আপনার ডেটা (স্কিমা ইত্যাদি) সম্পর্কিত তথ্যের জন্য মেটাস্টোরও দেয় যা একটি হিসাবে কার্যকর আপনার তথ্য সম্পর্কে কেন্দ্রীয় তথ্য।

আমি হাইভ এবং পিগ উভয়ই আলাদা আলাদা প্রশ্নের জন্য ব্যবহার করি (আমি যেখানে কোয়েরিটি দ্রুত / সহজতরভাবে লিখতে পারি এটি ব্যবহার করি, আমি এটি বেশিরভাগভাবে অ্যাড-হক প্রশ্নগুলি করি) - তারা ইনপুট হিসাবে একই ডেটা ব্যবহার করতে পারে। তবে বর্তমানে আমি আমার বেশিরভাগ কাজ বিস ওয়াক্সের মাধ্যমে করছি।

Answer 7

পিগ পাইপলাইনের যে কোনও সময়ে ডেটা এবং ব্যবহারকারী কোড লোড করতে দেয়। এটি বিশেষত গুরুত্বপূর্ণ যদি ডেটা স্ট্রিমিং ডেটা হয়, উদাহরণস্বরূপ উপগ্রহ বা যন্ত্রের ডেটা।

হাইভ, যা আরডিবিএমএস ভিত্তিক, ডেটাটি প্রথমে আমদানি করা (বা লোড) করা দরকার এবং এর পরে এটিতে কাজ করা যেতে পারে। সুতরাং আপনি যদি স্ট্রিমিং ডেটাতে হাইভ ব্যবহার করে থাকেন তবে নতুন আগত ডেটা সংরক্ষণ করার জন্য অন্যান্য বালতি ব্যবহার করার সময় , আপনাকে বালতি (বা ফাইল) পূরণ করতে হবে এবং প্রতিটি ভরাট বালতিতে মুরগি ব্যবহার করতে হবে।

শূকর অলস মূল্যায়নও ব্যবহার করে। এটি প্রোগ্রামিংয়ের বৃহত্তর স্বাচ্ছন্দ্যের অনুমতি দেয় এবং হিভের মতো ভাষার মতো এসকিউএল এর চেয়ে বেশি স্বাধীনতার সাথে ডেটা বিশ্লেষণ করতে এটি ব্যবহার করতে পারে। সুতরাং আপনি যদি সত্যই নিজের হাতে থাকা কিছু কাঠামোগত ডেটাতে ম্যাট্রিক্স বা নিদর্শনগুলি বিশ্লেষণ করতে চেয়েছিলেন এবং সেগুলি সম্পর্কে আকর্ষণীয় গণনা করতে চেয়েছিলেন, পিগের সাথে আপনি কিছুটা দূরত্বে যেতে পারেন, হাইভের সাথে, আপনাকে ফলাফলগুলি খেলতে অন্য কিছু দরকার need

পিগ ডেটা আমদানিতে দ্রুত তবে হাইভের মতো আরডিবিএমএস বান্ধব ভাষার চেয়ে প্রকৃত প্রয়োগে ধীর।

পিগ সমান্তরালকরণের জন্য ভাল উপযুক্ত এবং তাই সম্ভবত এটির সিস্টেমগুলির ক্ষেত্রে একটি প্রান্ত রয়েছে যেখানে ডেটাসেটগুলি বিশাল ie যেমন সিস্টেমে যেখানে আপনি আপনার ফলাফলের আউটপুট সম্পর্কে বেশি উদ্বিগ্ন হন তার চেয়ে বেশি (ফলাফলের কোনও নির্দিষ্ট ডেটাম পাওয়ার সময়) than

Answer 8

Hive বনাম পিগ-

এইচআইএল এসকিউএল ইন্টারফেস হিসাবে রয়েছে যা এসকিউএল বুদ্ধিমান ব্যবহারকারী বা টেবিলু / মাইক্রোস্ট্রেটজি / অন্য কোনও সরঞ্জাম বা ভাষাতে এসকিউএল ইন্টারফেসের মতো অন্য সরঞ্জামগুলিকে অনুমতি দেয় ..

পিআইজি হ'ল একটি ইটিএল পাইপলাইনের মতো..কেন ধাপে ধাপে কমান্ডের সাথে ভেরিয়েবলগুলি ঘোষনা, লুপিং, পুনরাবৃত্তি, শর্তাধীন বিবৃতি ইত্যাদি step

যখন আমি জটিল ধাপে ধাপে যুক্তি লিখতে চাই তখন আমি হাইব কিউএল-র উপরে পিগ স্ক্রিপ্টগুলি লেখাই পছন্দ করি। আমি যখন ডেভটি টানতে চাই তার জন্য একটি একক স্কেল লিখতে স্বাচ্ছন্দ্যবোধ করি। মুরগির জন্য জিজ্ঞাসা করার আগে আপনাকে টেবিলটি সংজ্ঞায়িত করতে হবে (আপনি আরডিবিএমএসে যেমন করেন)

উভয়ের উদ্দেশ্য পৃথক তবে হুডের নীচে উভয়ই একই কাজ করে ম্যাপে রূপান্তরিত করে প্রোগ্রাম হ্রাস করে A এছাড়াও অ্যাপাচি ওপেন সোর্স সম্প্রদায় সেখানে উভয় প্রকল্পগুলিতে আরও বেশি বৈশিষ্ট্য যুক্ত করছে

Answer 9

এই লিঙ্কে পিআইজি এবং এইচআইভি-র মধ্যে পার্থক্যটি পড়ুন।

http://www.aptibook.com/Articles/Pig-and-hive-advantages-disadvantages-features

সমস্ত দিক দেওয়া হয়। আপনি যদি কোনটি বেছে বেছে বিভ্রান্তিতে থাকেন তবে আপনাকে অবশ্যই সেই ওয়েব পৃষ্ঠাটি দেখতে হবে page

Comments

ভাল নিবন্ধ, তবে আপনার উত্তরের সংক্ষিপ্ত বিবরণ দেওয়া উচিত: meta.stackexchange.com/questions/8231/…

— গ্রুবার

Answer 10

1. পিগ-ল্যাটিন হ'ল ডেটা ফ্লো স্টাইল, সফটওয়্যার ইঞ্জিনিয়ারের জন্য আরও উপযুক্ত। যদিও এসকিউএল বিশ্লেষণকারী ব্যক্তির পক্ষে বেশি উপযুক্ত যারা স্কেল করতে অভ্যস্ত হয়। জটিল কাজের জন্য, মুরগির জন্য আপনাকে মধ্যবর্তী ডেটা সঞ্চয় করতে অস্থায়ী টেবিল তৈরি করতে হবে, তবে শূকের পক্ষে এটি প্রয়োজনীয় নয়।

2. পিগ-ল্যাটিন জটিল ডেটা কাঠামোর জন্য উপযুক্ত (ছোট গ্রাফের মতো)। ডেটাবাগ নামে শূকরায় একটি ডেটা স্ট্রাকচার রয়েছে যা টিপলের সংগ্রহ। কখনও কখনও আপনাকে এমন মেট্রিক গণনা করতে হবে যা একাধিক টিপল জড়িত (টিপলসের মধ্যে একটি লুকানো লিঙ্ক আছে, এক্ষেত্রে আমি এটিকে গ্রাফ বলব)। এই ক্ষেত্রে, একাধিক টিউপস জড়িত মেট্রিকগুলি গণনা করার জন্য একটি ইউডিএফ লেখা খুব সহজ। অবশ্যই এটি মুরগীতে করা যেতে পারে, তবে এটি শূকরের মতো এটি সুবিধাজনক নয়।

3. আমার মতে হাইভের চেয়ে শুয়োরের মধ্যে ইউডিএফ লেখা অনেক সহজ।

4. পিগের কোনও মেটাডেটা সমর্থন নেই, (বা এটি alচ্ছিক, ভবিষ্যতে এটি hcatolog একীভূত করতে পারে)। মৌচাকের ডাটাবেসে সারণীর মেটাডেটা রয়েছে stored

5. আপনি স্থানীয় পরিবেশে শূকর স্ক্রিপ্ট ডিবাগ করতে পারেন, তবে মাতালদের পক্ষে এটি করা কঠিন হবে। কারণটি পয়েন্ট ৩. আপনাকে আপনার স্থানীয় পরিবেশে মুরগির মেটাডেটা সেট আপ করা দরকার, খুব সময়সাপেক্ষ।

Answer 11

কিভাবে এবং কখন এইচআইভি এবং পিআইজি ব্যবহার করবেন তা অন্বেষণ করতে দরকারী লিঙ্কটি নীচে পেয়েছি।

http://www.hadoopwizard.com/when-to-use-pig-latin-versus-hive-sql/

Answer 12

পিগ বা হাইভ ব্যবহার করার জন্য এখানে কয়েকটি অতিরিক্ত লিঙ্ক রয়েছে।

http://aws.amazon.com/elasticmapreduce/faqs/#hive-8

http://www.larsgeorge.com/2009/10/hive-vs-pig.html

Answer 13

লিঙ্কটি থেকে: http://www.aptibook.com/discuss-technical?uid=tech-hive4&question=What-kind-of-datawarehouse-application-is-suitable- for- Hive ?

Hive একটি সম্পূর্ণ ডাটাবেস নয়। হাদুপ এবং এইচডিএফএসের নকশার সীমাবদ্ধতা এবং সীমাবদ্ধতা হিভ কী করতে পারে তার উপর সীমাবদ্ধ করে।

মুরগি ডেটা গুদাম অ্যাপ্লিকেশনগুলির জন্য সবচেয়ে উপযুক্ত, যেখানে

1) তুলনামূলকভাবে স্থির ডেটা বিশ্লেষণ করা হয়,

2) দ্রুত প্রতিক্রিয়া সময় প্রয়োজন হয় না, এবং

3) যখন ডেটা দ্রুত পরিবর্তন হচ্ছে না।

ওয়ালটিপি, অনলাইন লেনদেন প্রক্রিয়াজাতকরণের জন্য প্রয়োজনীয় মৌলিক বৈশিষ্ট্যগুলি মাইভ সরবরাহ করে না। এটি ওএলএপি সরঞ্জাম, অনলাইন অ্যানালিটিক প্রসেসিং হওয়ার কাছাকাছি। সুতরাং, ডাইনি গুদাম ডেটা গুদাম অ্যাপ্লিকেশনগুলির জন্য সবচেয়ে উপযুক্ত, যেখানে একটি বড় ডেটা সেট বজায় থাকে এবং অন্তর্দৃষ্টি, প্রতিবেদন ইত্যাদির জন্য খনন করা হয়

Answer 14

সহজ কথায়, পিগ হ্যাডোপের সাথে ব্যবহৃত ম্যাপ্রেডস প্রোগ্রাম তৈরির জন্য একটি উচ্চ-স্তরের প্ল্যাটফর্ম, শূকর স্ক্রিপ্ট ব্যবহার করে আমরা বিপুল পরিমাণে ডেটা পছন্দসই বিন্যাসে প্রসেস করব।

প্রক্রিয়াজাত ডেটা একবার প্রাপ্ত হয়ে গেলে, এই প্রক্রিয়াজাত ডেটাটি পরবর্তী প্রসেসিংয়ের জন্য কাঙ্ক্ষিত ফলাফল পাওয়ার জন্য এইচডিএফএসে রাখা হয়।

সঞ্চিত প্রক্রিয়াজাত ডেটার উপরে আমরা কাঙ্ক্ষিত ফলাফল পেতে এইচআইভি এসকিউএল কমান্ড প্রয়োগ করব, অভ্যন্তরীণভাবে এই এইচআইভি এসকিএল কমান্ডগুলি এমএপি হ্রাস প্রোগ্রাম পরিচালনা করে।

Comments

এটি আসলে জ্ঞানের ভিত্তিতে একটি অর্থবহ সংযোজন নয়। আরও তথ্য যুক্ত করার চেষ্টা করুন

— agconti

Answer 15

সংক্ষেপে উভয়কেই একটি উচ্চ স্তরের ওভারভিউ দেওয়ার জন্য:

1) পিগ হ্যাডোপ ওভার রিলেশনাল বীজগণিত

২) হাইভ হ্যাডোপের উপরে একটি এসকিউএল (পিগের উপরে এক স্তর)

Comments

বীজগণিতের তুলনা আকর্ষণীয়

— রবীন্দ্র বাবু

Answer 16

এইচআইভি কী করতে পারে যা পিআইজি-তে সম্ভব নয়?

পার্টিশন HIV ব্যবহার করে করা যেতে পারে তবে পিআইজি-তে নয়, এটি আউটপুটকে বাইপাস করার একটি উপায়।

এইচআইভিতে সম্ভব নয় এমন পিআইজি কী করতে পারে?

অবস্থানগত রেফারেন্সিং - এমনকি আপনার ক্ষেত্রের নাম না থাকলেও আমরা প্রথম ক্ষেত্রের জন্য $ 0 - দ্বিতীয় ক্ষেত্রের জন্য $ 1 এর মতো অবস্থানটি ব্যবহার করে উল্লেখ করতে পারি can

আর একটি মৌলিক পার্থক্য হ'ল, পিআইজি মানগুলি লিখতে স্কিমা প্রয়োজন হয় না তবে এইচআইভি একটি স্কিমা প্রয়োজন।

আপনি জেডিবিসি এবং অন্যান্য ব্যবহার করে কোনও বাহ্যিক অ্যাপ্লিকেশন থেকে এইচআইভিতে সংযুক্ত করতে পারেন তবে পিআইজি-র সাথে নয়।

দ্রষ্টব্য: উভয়ই এইচডিএফএসের শীর্ষে চলেছে (হ্যাডোপ বিতরণ করা ফাইল সিস্টেম) এবং বিবৃতিগুলি মানচিত্র হ্রাস প্রোগ্রামগুলিতে রূপান্তরিত হয়।

Answer 17

যখন আমরা Hadoopঅর্থে ব্যবহার করছি তখন এর অর্থ আমরা বিশাল ডেটা প্রক্রিয়াকরণের চেষ্টা করছি শেষ লক্ষ্য থেকে সামগ্রী / প্রতিবেদন তৈরি করা।

সুতরাং এটি অভ্যন্তরীণভাবে 2 প্রধান ক্রিয়াকলাপ নিয়ে গঠিত:

1) ডেটা প্রসেসিং লোড হচ্ছে

2) সামগ্রী তৈরি করুন এবং এটি প্রতিবেদনের জন্য / ইত্যাদি ব্যবহার করুন ..

লোডিং / ডেটা প্রসেসিং -> পিগ এতে সহায়ক হবে।

এটি একটি ইটিএল হিসাবে সহায়তা করে (আমরা শূকর স্ক্রিপ্টগুলি ব্যবহার করে etl অপারেশন করতে পারি))

ফলাফলটি প্রক্রিয়া করার পরে আমরা প্রক্রিয়াজাত ফলাফলের উপর ভিত্তি করে প্রতিবেদনগুলি তৈরি করতে মুরগি ব্যবহার করতে পারি।

Hive: এটি গুদাম প্রসেসিংয়ের জন্য hdfs এর উপরে নির্মিত on

আমরা শুয়োর থেকে উত্পন্ন প্রক্রিয়াজাত সামগ্রী থেকে মধুচক্র ব্যবহার করে সহজেই অ্যাডহক প্রতিবেদন তৈরি করতে পারি।

Answer 18

শূকর কিছু খায়! অর্থাত এটি অনঠিত ডেটা গ্রাস করতে পারে।

মৌচাকের জন্য একটি স্কিমা প্রয়োজন।

Answer 19

পিগটি সাধারণত কথা বলার জন্য ETL ধরণের কাজের চাপের জন্য দরকারী। উদাহরণস্বরূপ রূপান্তরগুলির সেটটি আপনাকে প্রতিদিন আপনার ডেটাতে করতে হবে।

যখন আপনার অ্যাডহক ক্যুরিগুলি চালানো বা কেবল ডেটা অন্বেষণ করতে চান তখন মধুশক্তিটি জ্বলে ওঠে। এটি কখনও কখনও আপনার ভিজ্যুয়ালাইজেশন লেয়ারের (ইন্টারফেস / ক্লিকভিউ) ইন্টারফেস হিসাবে কাজ করতে পারে।

উভয়ই অপরিহার্য এবং বিভিন্ন উদ্দেশ্যে পরিবেশন করে।