যে কেউ আমায় হাইভের বাহ্যিক সারণী এবং অভ্যন্তরীণ সারণীর মধ্যে পার্থক্য বলতে পারে। আমি জানি টেবিলটি নামানোর সময় পার্থক্য আসে। আপনার ডেটা বলতে কী বোঝায় তা বুঝতে পারছি না এবং মেটাডেটা অভ্যন্তরীণভাবে মুছে ফেলা হবে এবং কেবল মেটাডেটা বাহ্যিক সারণীতে মুছে ফেলা হবে। দয়া করে নোডের ক্ষেত্রে কেউ আমাকে ব্যাখ্যা করতে পারেন।
উত্তর:
হাইভের মাস্টার নোডে একটি সম্পর্কিত সম্পর্কিত ডাটাবেস রয়েছে যা এটি রাষ্ট্রের উপর নজর রাখতে ব্যবহার করে। উদাহরণস্বরূপ, আপনি যখন CREATE TABLE FOO(foo string) LOCATION 'hdfs://tmp/';, এই টেবিল স্কিমা ডাটাবেসে সংরক্ষণ করা হয়।
আপনার যদি পার্টিশনযুক্ত টেবিল থাকে, পার্টিশনগুলি ডাটাবেসে সঞ্চিত থাকে (এটি হাইভকে ফাইল-সিস্টেমে না গিয়ে পার্টিশনের তালিকাগুলি ব্যবহার করার অনুমতি দেয়) ইত্যাদি finding এই ধরণের জিনিস হ'ল 'মেটাডেটা'।
আপনি যখন কোনও অভ্যন্তরীণ টেবিলটি ড্রপ করেন, তখন এটি ডেটা ফেলে দেয় এবং এটি মেটাডেটাও ড্রপ করে।
আপনি যখন কোনও বাহ্যিক টেবিলটি ফেলে দেন তখন এটি কেবল মেটা ডেটা ফেলে দেয়। তার অর্থ হুইভ এখন সেই ডেটা সম্পর্কে অজ্ঞ। এটি নিজেই ডেটা স্পর্শ করে না।
মৌচাকের টেবিলগুলি বহিরাগত বা অভ্যন্তরীণ হিসাবে তৈরি করা যেতে পারে। এটি এমন একটি পছন্দ যা ডেটা লোড, নিয়ন্ত্রণ এবং পরিচালিত হয় managed
বহিরাগত সারণী ব্যবহার করুন যখন:
অভ্যন্তরীণ সারণীগুলি ব্যবহার করুন যখন:
তথ্য অস্থায়ী।
আপনি চাইছেন যে হিভ পুরোপুরি সারণী এবং ডেটাটির জীবনচক্র পরিচালনা করতে পারে।
বাহ্যিক টেবিলগুলির জন্য, Hive টেবিল তৈরির সময় নির্দিষ্ট করা LOCATION এ ডেটা সঞ্চয় করে (সাধারণত গুদাম ডিরেক্টরিতে নয়)। যদি বাহ্যিক টেবিলটি বাদ দেওয়া হয়, তবে সারণী মেটাডেটা মুছে ফেলা হবে তবে ডেটা নয়।
অভ্যন্তরীণ সারণীগুলির জন্য, Hive এর গুদাম ডিরেক্টরিতে ডেটা সঞ্চয় করে। যদি টেবিলটি বাদ দেওয়া হয় তবে টেবিল মেটাডেটা এবং ডেটা উভয়ই মুছে ফেলা হবে।
অভ্যন্তরীণ এবং বাহ্যিক সারণীর মধ্যে পার্থক্য:
বাহ্যিক টেবিলগুলির জন্য -
বাহ্যিক টেবিলগুলি এইচডিএফএস সার্ভারে ফাইল সঞ্চয় করে তবে টেবিলগুলি উত্স ফাইলে সম্পূর্ণ লিঙ্কযুক্ত নয়।
আপনি যদি কোনও বাহ্যিক সারণী মুছেন তবে ফাইলটি এখনও এইচডিএফএস সার্ভারে রয়েছে।
উদাহরণস্বরূপ যদি আপনি এইচআইভি -কিউএল ব্যবহার করে এইচআইভিতে "টেবিল_স্টেস্ট" নামে একটি বাহ্যিক টেবিল তৈরি করেন এবং টেবিলটিকে " ফাইল " ফাইলের সাথে সংযুক্ত করেন , তবে এইচআইভি থেকে "টেবিল_স্টেস্ট" মোছা "এইচডিএফএস" থেকে "ফাইল" মুছবে না ।
এইচডিএফএস ফাইল কাঠামোর অ্যাক্সেস রয়েছে এমন যে কোনও ব্যক্তির পক্ষে বাহ্যিক টেবিল ফাইল অ্যাক্সেসযোগ্য এবং তাই সুরক্ষাটি এইচডিএফএস ফাইল / ফোল্ডার স্তরে পরিচালনা করা দরকার।
মেটা ডেটা মাস্টার নোডে রক্ষণাবেক্ষণ করা হয় এবং এইচআইভি থেকে কোনও বাহ্যিক টেবিল মুছে ফেলা কেবল ডেটা / ফাইল নয় মেটাডেটা মুছে দেয়।
অভ্যন্তরীণ টেবিলগুলির জন্য-
- সেটিংস উপর ভিত্তি করে একটি ডিরেক্টরির মধ্যে সংরক্ষিত
hive.metastore.warehouse.dir, ডিফল্ট অভ্যন্তরীণ টেবিল দ্বারা সংরক্ষণ করা হয় নিম্নলিখিত ডিরেক্টরির মধ্যে "/ ব্যবহারকারী / মধুচক্র / গুদাম" আপনি কনফিগ ফাইলে অবস্থান আপডেট করে এটি বদলাতে পারেন।- সারণী মোছা হ'ল যথাক্রমে মাস্টার-নোড এবং এইচডিএফএস থেকে মেটাডেটা এবং ডেটা মুছে দেয়।
- অভ্যন্তরীণ সারণী ফাইল সুরক্ষা কেবলমাত্র এইচআইভির মাধ্যমে নিয়ন্ত্রণ করা হয়। সুরক্ষা HIVE এর মধ্যে পরিচালনা করা দরকার সম্ভবত স্কিমা স্তরে (সংস্থার উপর নির্ভর করে) depends
মধুদের অভ্যন্তরীণ বা বাহ্যিক সারণী থাকতে পারে, এটি এমন একটি পছন্দ যা ডেটা কীভাবে লোড, নিয়ন্ত্রণ এবং পরিচালনা করা হয় তা প্রভাবিত করে।
বহিরাগত সারণী ব্যবহার করুন যখন:
অভ্যন্তরীণ সারণীগুলি ব্যবহার করুন যখন:
উৎস :
এইচডি ইনসাইট: মধু অভ্যন্তরীণ এবং বহিরাগত টেবিলগুলি অন্তর্ভুক্ত
একটি অভ্যন্তরীণ টেবিল ডেটা গুদাম ফোল্ডারে সংরক্ষণ করা হয়, যেখানে আপনি টেবিল তৈরির ক্ষেত্রে উল্লিখিত স্থানে একটি বাহ্যিক টেবিল ডেটা সংরক্ষণ করা হয়।
সুতরাং আপনি যখন কোনও অভ্যন্তরীণ সারণী মুছবেন, এটি গুদাম ফোল্ডারের নীচে থাকা স্কিমার পাশাপাশি ডেটা মুছে ফেলবে, তবে বাহ্যিক টেবিলের জন্য এটি কেবল এমন স্কিমা যা আপনি আলগা করে ফেলবেন।
সুতরাং আপনি যখন কোনও বহিরাগত টেবিলটি মোছার পরে আবার ফিরে চান তখন একই স্কিমার সাহায্যে আবার একটি টেবিল তৈরি করতে পারেন এবং এটিকে মূল ডেটা অবস্থানের দিকে নির্দেশ করতে পারেন। আশা করি এটি এখন পরিষ্কার হয়ে গেছে।
আমার এখন পর্যন্ত সীমিত গবেষণা এবং পরীক্ষার উপর ভিত্তি করে আচরণের (পার্থক্যযুক্ত ব্যবহারের নয়) পার্থক্য (হাইভ ১.১.০ -cd5.12.0 ব্যবহার করে) মনে হয় যখন কোনও টেবিল বাদ দেওয়া হয়
(দ্রষ্টব্য: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL এ বিভাগ 'পরিচালিত এবং বাহ্যিক সারণীসমূহ' দেখুন যা আমি সম্পূর্ণরূপে বুঝতে পারি নি এমন আরও কিছু পার্থক্য তালিকাভুক্ত করে)
আমি বিশ্বাস করি যে নীচটি নীচ থেকে নীচে নীচের অগ্রাধিকারের ভিত্তিতে সারণি তৈরি করা দরকার যেখানে সেই অবস্থানটি চয়ন করে
"হাইভ টেবিল তৈরি করার সময়" যখন "অবস্থান" বিকল্পটি ব্যবহার করা হয় না, তখন উপরের অগ্রাধিকার নিয়ম ব্যবহার করা হয়। এটি অভ্যন্তরীণ এবং বাহ্যিক উভয় টেবিলের জন্য প্রযোজ্য। এর অর্থ একটি অভ্যন্তরীণ টেবিলটি অবশ্যই গুদাম ডিরেক্টরিতে থাকতে হবে না এবং অন্য যে কোনও জায়গায় থাকতে পারে।
দ্রষ্টব্য: আমি হয়ত কিছু পরিস্থিতি মিস করেছি, তবে আমার সীমাবদ্ধ অন্বেষণের ভিত্তিতে অভ্যন্তরীণ এবং এক্সটেনাল উভয় সারণীর আচরণ উপরে বর্ণিত একটি পার্থক্য (ডেটা মোছা) বাদে একই বলে মনে হচ্ছে। আমি অভ্যন্তরীণ এবং বাহ্যিক উভয় টেবিলের জন্য নিম্নলিখিত পরিস্থিতিতে চেষ্টা করেছি।
বাহ্যিক টেবিলগুলিতে, যদি আপনি এটিকে ফেলে দেন তবে এটি কেবল টেবিলের স্কিমা মুছে দেয়, টেবিলের ডেটা শারীরিক অবস্থানে বিদ্যমান। সুতরাং ডেটা মোছার জন্য হ্যাডোপ এফএস ব্যবহার করুন - আরএমআর টেবিল নাম। পরিচালিত টেবিল মুরগীর টেবিলগুলিতে পুরো নিয়ন্ত্রণ থাকবে। বাহ্যিক সারণিতে ব্যবহারকারীদের এটির নিয়ন্ত্রণ থাকবে control
অভ্যন্তরীণ সারণীগুলি দরকারী যদি আপনি হিভকে মুছে ফেলা সহ আপনার ডেটার সম্পূর্ণ জীবনচক্র পরিচালনা করতে চান তবে হিভের বাইরে ফাইলগুলি ব্যবহার করা হলে বাহ্যিক সারণীগুলি কার্যকর হয় are
বাহ্যিক পোষাকের টেবিলের সুবিধাগুলি রয়েছে যে যখন আমরা টেবিলগুলি ড্রপ করি তখন এটি ফাইলগুলি সরিয়ে দেয় না, আমরা সেরেডের মতো বিভিন্ন সেটিংস সহ সারি বিন্যাসগুলি সেট করতে পারি ....
এছাড়াও মনে রাখবেন যে হিভ একটি বড় ডেটা গুদাম। আপনি যখন কোনও টেবিলটি ফেলে দিতে চান তখন আপনি গিগাবাইট বা টেরাবাইট ডেটা হারাতে চান না। সেই স্কেলে ডেটা তৈরি করা, স্থানান্তর করা এবং অনুলিপি করা সময় সাপেক্ষ হতে পারে। আপনি যখন কোনও 'পরিচালিত' টেবিল মধুচক্র ফেলে দেবেন তখন এর ডেটাও ট্র্যাশ হয়ে যাবে। আপনি যখন কোনও 'বহিরাগত' টেবিলটি ফেলে দেন কেবলমাত্র মাইভ মেটা-স্টোর থেকে স্কিমা সংজ্ঞাটি সরানো হয়। এইচডিএফএসের ডেটা এখনও রয়ে গেছে।
এই দৃশ্যের বিষয়টি বিবেচনা করুন যা বাহ্যিক সারণীর জন্য সবচেয়ে উপযুক্ত:
একটি মানচিত্রে (এমআর) কাজ nসাব লগ ফাইলগুলি স্পিট আউট করার জন্য একটি বিশাল লগ ফাইল ফিল্টার করে (যেমন প্রতিটি সাব লগ ফাইলটিতে একটি নির্দিষ্ট বার্তার প্রকারের লগ থাকে) এবং আউটপুট অর্থাৎ nসাব লগ ফাইলগুলি এইচডিএফএসে সংরক্ষণ করা হয়।
এই লগ ফাইলগুলি আরও বিশ্লেষণ সম্পাদন করার জন্য এইচআইভি টেবিলগুলিতে লোড করা উচিত, এই পরিস্থিতিতে আমি একটি বাহ্যিক সারণি (গুলি) প্রস্তাব করব, কারণ আসল লগ ফাইলগুলি বাহ্যিক প্রক্রিয়া দ্বারা উত্পাদিত এবং মালিকানাযুক্ত অর্থাৎ একটি এমআর জব ছাড়াও আপনি এড়াতে পারবেন প্রতিটি উত্পন্ন লগ ফাইলকে নিজ নিজ মাতাল টেবিলের মধ্যে লোড করার অতিরিক্ত পদক্ষেপ।
এইচআইভি কেবলমাত্র মেটাস্টোরের মেটা ডেটা এবং মুরগির বাইরে দিকের মূল ডেটা সংরক্ষণ করে যখন আমরা বাহ্যিক টেবিল ব্যবহার করি তখন আমরা আমাদের মূল ডেটা দ্বারা টেবিলটি ফেলে দিই না তবে আমাদের মূল ডেটা অভ্যাস দ্বারা স্থান দিতে পারি we
যখন এইচডিএফএসে ইতিমধ্যে ডেটা রয়েছে তখন ডেটা বর্ণনা করার জন্য একটি বাহ্যিক এইচাইভ টেবিল তৈরি করা যেতে পারে। এটিকে বহিরাগত বলা হয় কারণ বাহ্যিক সারণীতে থাকা ডেটা ডিফল্ট গুদাম ডিরেক্টরি পরিবর্তে LOCATION বৈশিষ্ট্যে নির্দিষ্ট করা থাকে।
অভ্যন্তরীণ টেবিলগুলিতে ডেটা রাখার সময়, হিভ পুরোপুরি সারণী এবং ডেটার জীবনচক্র পরিচালনা করে। এর অর্থ অভ্যন্তরীণ টেবিলটি বাদ দেওয়ার পরে ডেটা সরানো হবে। যদি বাহ্যিক টেবিলটি বাদ দেওয়া হয়, সারণী মেটাডেটা মোছা হবে তবে ডেটা রাখা হয়। বেশিরভাগ সময়, বাহ্যিক টেবিলটি ভুলভাবে টেবিলগুলির সাথে ডেটা মুছে ফেলা এড়াতে পছন্দ করা হয়।
পরিচালিত টেবিলগুলির জন্য, Hive তাদের ডেটাটির জীবনচক্র নিয়ন্ত্রণ করে। মৌলিকভাবে hive.metastore.warehouse.dir দ্বারা সংজ্ঞায়িত ডিরেক্টরি অধীনে একটি উপ-ডিরেক্টরিতে পরিচালিত টেবিলগুলির জন্য ডেভ সঞ্চয় করে ive
আমরা যখন কোনও পরিচালিত টেবিলটি ফেলে দিই, তখন হিভ টেবিলের ডেটা মুছে দেয় ut তবে পরিচালিত টেবিলগুলি অন্য সরঞ্জামগুলির সাথে ভাগ করার জন্য কম সুবিধাজনক। উদাহরণস্বরূপ, আসুন আমরা বলতে পারি যে আমাদের কাছে এমন ডেটা রয়েছে যা প্রাথমিকভাবে পিগ তৈরি এবং ব্যবহার করে থাকে তবে আমরা এর বিরুদ্ধে কিছু অনুসন্ধান চালাতে চাই, তবে ডেভটিকে হাইভকে দেই না।
সেই সময়ে, বাহ্যিক সারণিটি সংজ্ঞায়িত করা হয় যা সেই ডেটাতে নির্দেশ করে, তবে এর মালিকানা নেয় না।
হাইভে আমরা একটি বাহ্যিক সারণীও তৈরি করতে পারি। এটি হাইভকে গুদাম ডিরেক্টরিগুলির বাইরে বিদ্যমান অবস্থানে থাকা ডেটা উল্লেখ করতে বলে। বাহ্যিক টেবিলগুলি বাদ দেওয়ার ফলে মেটাডেটা মুছে যাবে তবে ডেটা নয়।
আমি এটি যোগ করতে চাই
সহজ কথায় দুটি জিনিস রয়েছে:
Hive গুদামে জিনিস পরিচালনা করতে পারে অর্থাত্ এটি গুদামের বাইরে থাকা ডেটা মুছবে না। যখন আমরা টেবিলটি মুছি:
1) অভ্যন্তরীণ টেবিলগুলির জন্য ডেটা গুদামে অভ্যন্তরীণভাবে পরিচালিত হয়। তাই মুছে ফেলা হবে।
2) বাহ্যিক টেবিলের জন্য ডেটা গুদাম থেকে চিরন্তন পরিচালিত হয়। সুতরাং মুছা যায় না এবং মুরগির অন্যান্য ক্লায়েন্টরাও এটি ব্যবহার করতে পারে।