চিড়িয়াখানা কি কাফকার পক্ষে আবশ্যক?

Question

কাফকাতে, আমি কেবলমাত্র একটি একক ব্রোকার, একক বিষয় এবং একক পার্টিশন ব্যবহার করতে চাই যার এক জন প্রযোজক এবং একাধিক গ্রাহক (প্রতিটি গ্রাহক ব্রোকারের কাছ থেকে ডেটার নিজস্ব অনুলিপি পেয়েছেন)। এটি দেওয়া, আমি চিড়িয়াখানার ব্যবহারের ওভারহেড চাই না; আমি কি শুধু ব্রোকার ব্যবহার করতে পারি না? চিড়িয়াখানা কীভাবে করা উচিত?

Comments

কাফকার সবচেয়ে বড় ডিজাইনের লক্ষ্যগুলির মধ্যে একটি হ'ল ক্লাস্টার মোতায়েন। এই সমস্যাটি তারা সমাধান করছে, এবং স্ট্যান্ডেলোন সার্ভারের জন্য একটি zk- কম সংস্করণ তৈরি করা নির্বোধ হবে। আমি অনুভূতি কাফকা যে আপনার কাজের জন্য হাতিয়ার নয়, কিন্তু আপনি শুধুমাত্র একটি ভ্যানিলা ফাইল ব্যবহার করে এর ভাল হবে যে ..

— RickyA

আপনি কি চূড়ান্ত করেছেন তা আমি সত্যিই জানতে চাই? যেহেতু আপনি কোনও উত্তর চয়ন করেন নি, আমি ধরে নিই এর জন্য আপনার নিজের সমাধান ছিল। ধন্যবাদ!

— কার্তিকেইয়ান

জোকো চিড়িয়াখানা নির্ভরতা এবং একক বাইনারি ইনস্টল ছাড়াই কাফকার গোলং বাস্তবায়ন

— অরুণ গোপালপুরী

চিড়িয়াখানাটি সরানো হয়েছে, নীচের উত্তরটি দেখুন - stackoverflow.com/a/57328140/1699956

— মাঙ্গাত রাই মোদী

কেবল যোগ করতে, আপনি Zookeeper is network coordinator in a distributed system. Use ZooKeeper extensively for discovery, resource allocation, leader election, and high priority notifications.

— চিড়িয়াখানার

Answer 1

হ্যাঁ, কাফকা চালানোর জন্য চিড়িয়াখানার প্রয়োজনীয়। কাফকা শুরু করা ডকুমেন্টেশন থেকে:

পদক্ষেপ 2: সার্ভারটি শুরু করুন

কাফকা চিড়িয়াখানার ব্যবহার করে তাই আপনার যদি ইতিমধ্যে কোনও জুককিপার সার্ভার না থাকে তবে প্রথমে আপনার প্রয়োজন। দ্রুত এবং নোংরা একক নোড চিড়িয়াখানার উদাহরণ পেতে আপনি কাফকার সাথে প্যাকেজ করা সুবিধাযুক্ত স্ক্রিপ্টটি ব্যবহার করতে পারেন।

কেন, ভাল লোকেরা অনেক আগেই আবিষ্কার করেছিল যে কোনও বিতরণ সিস্টেমের মধ্যে আপনার কার্যাদি, রাজ্য পরিচালনা, কনফিগারেশন ইত্যাদি সমন্বয় করার কিছু উপায় থাকা দরকার। কিছু প্রকল্প তাদের নিজস্ব প্রক্রিয়া তৈরি করেছে (কোনও মঙ্গোডিবি শার্ল্ড ক্লাস্টারে কনফিগারেশন সার্ভারের কথা চিন্তা করুন, বা একটি ইলাস্টিকসার্ক ক্লাস্টারে মাস্টার নোড)। অন্যরা সাধারণ উদ্দেশ্য বিতরণ প্রক্রিয়া সমন্বয় ব্যবস্থা হিসাবে চিড়িয়াখানার সুবিধা গ্রহণ করা বেছে নিয়েছে। সুতরাং কাফকা, ঝড়, এইচবেস, সোলারক্লাউড কেবলমাত্র কয়েকজনের নাম লেখাতে জুউকিপারকে পরিচালনা ও সমন্বয় করতে সহায়তা করে।

কাফকা একটি বিতরণ সিস্টেম এবং চিড়িয়াখানা ব্যবহারকারীর জন্য নির্মিত। আপনি কাফকার বিতরণকৃত বৈশিষ্ট্যগুলির কোনও ব্যবহার করছেন না এটি কীভাবে তৈরি হয়েছিল তা পরিবর্তন করে না। কোনও ইভেন্টে চিড়িয়াখানা ব্যবহারকারীর ব্যবহার থেকে খুব বেশি ওভারহেড হওয়া উচিত নয়। একটি বড় প্রশ্ন হ'ল আপনি কেন এই বিশেষ নকশার প্যাটার্নটি ব্যবহার করবেন - কাফকার একক ব্রোকার বাস্তবায়ন তার স্কেল করার ক্ষমতা সহ একাধিক ব্রোকার ক্লাস্টারের সমস্ত নির্ভরযোগ্যতা বৈশিষ্ট্যগুলিকে মিস করে।

Comments

প্রকৃতপক্ষে, কাফকা এমনভাবে ডিজাইন করা হয়েছে যে আপনি এমনকি একক ব্রোকারের সাথে এটি এখনও বিতরণ মোডে রয়েছে, তবে 1 এর প্রতিরূপ ফ্যাক্টরের সাথে - কোনও শর্টকাট প্রক্রিয়া বা বিশেষ মোড থাকবে না (এবং এটি আসলে ভাল) good

— ওম-নাম-মনোনীত

কাফকা 0.8.1 এর zk প্রয়োজন। এবং আমি অবাক হই, যদি কাফকার কোনও সমন্বয় ব্যবস্থা নিয়ে কাজ করার জন্য কোনও বিমূর্ত স্তর না থাকে, তবে কীভাবে অন্যান্য সমন্বয় ব্যবস্থা কাফকাকে সক্ষম করা যায়।

— stanleyxu2005

গুরুত্বপূর্ণ আপডেট stackoverflow.com/a/57328140/3438570

— theodosis

Answer 2

অন্যদের দ্বারা ব্যাখ্যা করা হয়েছে, কাফকা (এমনকি সাম্প্রতিক সংস্করণেও) জুকিপার ব্যতীত কাজ করবে না।

কাফকা নীচের জন্য চিড়িয়াখানা ব্যবহার করেন:

একটি নিয়ামক নির্বাচন করা । কন্ট্রোলার দালালদের মধ্যে অন্যতম এবং সমস্ত পার্টিশনের জন্য নেতা / অনুসারী সম্পর্ক বজায় রাখার জন্য দায়বদ্ধ। যখন কোনও নোড বন্ধ হয়ে যায়, এটি নিয়ামক যা অন্য প্রতিলিপিগুলি পার্টিশন লিডার হয়ে যাওয়ার নোডে পার্টিশন নেতাদের প্রতিস্থাপন করতে পার্টিশন লিডার হওয়ার জন্য বলে। চিড়িয়াখানা একটি নিয়ামক নির্বাচন করতে ব্যবহৃত হয়, কেবলমাত্র একজন আছে কিনা তা নিশ্চিত করুন এবং এটি ক্র্যাশ হলে এটি একটি নতুনকে নির্বাচন করুন।

ক্লাস্টারের সদস্যতা - কোন দালাল জীবিত এবং গুচ্ছের অংশ? এটি চিড়িয়াখানার মাধ্যমে পরিচালিত হয়।

টপিক কনফিগারেশন - কোন টপিক উপস্থিত রয়েছে, প্রত্যেকের কয়টি পার্টিশন রয়েছে, রেপ্লিকা কোথায় আছে, কে পছন্দের লিডার, প্রতিটি টপিকের জন্য কোন কনফিগারেশন ওভাররাইড সেট করা আছে

(০.৯.০) - কোটা - প্রতিটি ক্লায়েন্টকে কতগুলি ডেটা অনুমোদিত এবং পড়তে দেওয়া হয়

(০.৯.০) - এসিএল - যাকে কোন বিষয়ে (পুরানো উচ্চ স্তরের ভোক্তা) পড়তে এবং লেখার অনুমতি দেওয়া হয়েছে - কোন গ্রাহক দল বিদ্যমান, কে তাদের সদস্য এবং প্রতিটি দলটি প্রতিটি বিভাগ থেকে প্রাপ্ত সর্বশেষতম অফসেট কী।

[ https://www.quora.com/What-is-the-actual-rol-of-ZooKeeper-in- Kafka/answer/Gwen-Shapira থেকে ]

আপনার দৃশ্যের বিষয়ে, কেবলমাত্র একটি ব্রোকার উদাহরণ এবং একাধিক গ্রাহক সহ একটি উত্পাদক, আপনি একটি চ্যানেল তৈরি করতে পুশার ব্যবহার করতে পারেন, এবং সেই চ্যানেলে ইভেন্টটিকে চাপ দিতে পারেন যা গ্রাহকরা সেই ইভেন্টগুলিতে সদস্যতা নিতে এবং হস্তান্তর করতে পারে। https://pusher.com/

Comments

আপনি কি প্রকৃত সংস্করণে "অতি সাম্প্রতিক সংস্করণ" সম্পাদনা করতে চান? আপনার প্রতিক্রিয়া বয়স ভাল করে তোলে।

— akauppi

আপনার কাছ থেকে উত্তর কপি quora.com/What-is-the-actual-role-of-ZooKeeper-in-Kafka/answer/...

— Junchen লিউ

আমি রেফারেন্সটি যুক্ত করি, শেষ অনুচ্ছেদটি মূলত আমার থেকেই।

— কেভিন লি

Answer 3

গুরুত্বপূর্ণ আপডেট - আগস্ট 2019:

চিড়িয়াখানার নির্ভরতা অ্যাপাচি কাফকা থেকে সরানো হবে । কেআইপি -500- এ উচ্চ স্তরের আলোচনা দেখুন : চিড়িয়াখানার একটি স্ব-পরিচালিত মেটাডেটা কোরামের সাথে প্রতিস্থাপন করুন ।

এই প্রচেষ্টাগুলিতে কয়েকটি কাফকার রিলিজ এবং অতিরিক্ত কেআইপি লাগবে। কাফকা কন্ট্রোলাররা বর্তমান চিড়িয়াখানার কার্যাদি গ্রহণ করবে। কন্ট্রোলাররা ইভেন্ট লগের সুবিধাগুলি লাভ করবে যা কাফকার মূল ধারণা।

নতুন কাফকা আর্কিটেকচারের কিছু সুবিধা হ'ল একটি সহজ আর্কিটেকচার, ক্রিয়াকলাপে স্বাচ্ছন্দ্য এবং আরও ভাল স্কেলিবিলিটি (যেমন "সীমাহীন পার্টিশনগুলিকে অনুমতি দিন"।

Answer 4

2020 জুলাই আপডেট হয়েছে

কাফকা চালানোর জন্য সাম্প্রতিকতম সংস্করণ (২.০.০) এর জন্য চিড়িয়াখানার এখনও প্রয়োজনীয় , তবে অদূর ভবিষ্যতে চিড়িয়াখানার একটি স্ব-পরিচালিত মেটাটাটা কোরামের সাথে প্রতিস্থাপন করা হবে ।

গৃহীত কেআইপি -500 এ বিশদটি দেখুন ।

Answer 5

কাফকা চিড়িয়াখানা ব্যবহার করার জন্য নির্মিত। সে থেকে কোনও রক্ষা নেই।

কাফকা একটি বিতরণ সিস্টেম এবং কাফকা ক্লাস্টার নোডের স্থিতি ট্র্যাক করতে চিড়িয়াখানা ব্যবহার করে। এটি কাফকার বিষয়, পার্টিশন ইত্যাদির উপর নজর রাখে

আপনার প্রশ্নটি দেখে মনে হচ্ছে আপনার কাফকার দরকার নেই। আপনি এমন কোনও অ্যাপ্লিকেশন ব্যবহার করতে পারেন যা পাব-সাব সমর্থন করে যেমন রেডিস , রেবিট এমকিউ বা হোস্টযুক্ত সমাধান যেমন পাব-নব ।

Answer 6

আইএমএইচও চিড়িয়াখানা কোনও ওভারহেড নয় তবে আপনার জীবনকে অনেক সহজ করে তোলে।

এটি মূলত একটি ক্লাস্টারে বিভিন্ন নোডের মধ্যে সমন্বয় বজায় রাখতে ব্যবহৃত হয়। কাফকার একটি গুরুত্বপূর্ণ বিষয় হ'ল এটি চিড়িয়াখানাটি পর্যায়ক্রমে অফসেটগুলি সংঘবদ্ধ করার জন্য ব্যবহার করে যাতে নোড ব্যর্থতার ক্ষেত্রে এটি পূর্বে প্রতিশ্রুতিবদ্ধ অফসেট থেকে পুনরায় শুরু করতে পারে (নিজেকে নিজেরাই এই সমস্ত যত্ন নেওয়ার কল্পনা করুন)।

চিড়িয়াখানা অন্যান্য অনেকগুলি কাজের জন্য যেমন নেতৃবৃন্দ সনাক্তকরণ, কনফিগারেশন পরিচালনা, সিঙ্ক্রোনাইজেশন, কোনও নতুন নোডের সাথে কখন যোগ দেয় বা ক্লাস্টার ছেড়ে যায় ইত্যাদি সনাক্তকরণ ইত্যাদি গুরুত্বপূর্ণ ভূমিকা পালন করে etc.

ভবিষ্যতের কাফকার প্রকাশগুলি চিড়িয়াখানার নির্ভরতা অপসারণ করার পরিকল্পনা করছে তবে এখন পর্যন্ত এটি এর একটি অবিচ্ছেদ্য অঙ্গ part

তাদের FAQ পৃষ্ঠা থেকে নেওয়া কয়েকটি লাইন এখানে দেওয়া হয়েছে:

চিড়িয়াখানার কোরাম কম হয়ে গেলে দালালরা খারাপ অবস্থার সৃষ্টি করতে পারে এবং সাধারণত ক্লায়েন্টের অনুরোধগুলি সরবরাহ করতে পারে না etc. তারা তা করতে পারে না এবং এটিকে স্বাভাবিক অবস্থায় ফিরিয়ে আনতে কঠোরভাবে হত্যা এবং পুনরুদ্ধারের প্রয়োজন। সুতরাং আপনার চিড়িয়াখানার ক্লাস্টারটি নিবিড়ভাবে পর্যবেক্ষণ করার জন্য এটির প্রস্তাব দেওয়া হয়েছে যাতে এটি অভিনয় করে।

আরও তথ্যের জন্য এখানে চেক করুন

Comments

চিড়িয়াখানার একটি বড় মাথাব্যথা হয়। এইচবাসে। কাফকায়। ঝড় কাফকা / জেডকে-তে আমি দীর্ঘদিনের ত্রুটিগুলি সম্পর্কে অবগত রয়েছি যার কারণে আমার দল এটিকে রাবট এমকিউর পক্ষে ছেড়ে দিতে বাধ্য করেছিল। এইচবিএস স্থাপনের সাথে জেডকে সমস্যাগুলি মোকাবেলা করার সময় জড়িত। তবে ওপি আইএস সম্পর্কিত আপনার উত্তরটি সঠিক: জেডকে প্রয়োজনীয়।

— জাভাদবা

সত্য যে এখানে বাগ এবং সংস্করণ সামঞ্জস্যের সমস্যা রয়েছে (কমপক্ষে কাফকা এবং জেডকে দিয়ে) তবে চিড়িয়াখানার মূল উদ্দেশ্যটি হ'ল যে কোনও বিতরণকৃত সিস্টেমের জন্য প্রয়োজনীয় জটিল কাজগুলি পরিচালনা করা I আমি সম্মত হই যে আপনার জেডকে ক্লাস্টার পরিচালনা ও সুর করার জন্য কিছু প্রচেষ্টা প্রয়োজন এবং ভারী নির্ভর করে অন ​​zk বুদ্ধিমান কল নাও হতে পারে। সম্ভবত কাফকা পরবর্তী সংস্করণগুলিতে zk নির্ভরতা হ্রাস করার চেষ্টা করছে তা হ'ল। অন্য একটি নোটে আমি বিশ্বাস করি যে রবিট এমকিউ এবং কাফকার একটি পৃথক নকশার দর্শন রয়েছে এবং বিভিন্ন ব্যবহারের কেসগুলি সমাধান করার লক্ষ্য রয়েছে তবে আমি মনে করি যে এই আলোচনার পরিধি ছাড়িয়ে গেছে :)

— ব্যবহারকারী 2720864

হ্যাঁ, কাফকা উচ্চ লোডের পরিস্থিতিতে উন্নত superior আমরা যতক্ষণ না আমাদের স্পষ্টভাবে এই সুবিধাগুলির প্রয়োজন হয় না হওয়া অবধি রব্বিটএমকিউ করার সিদ্ধান্ত নিয়েছি। রাব্বিটএমকিউতে প্রোগ্রামিং করা আরও সহজ ছিল: কাফকার পক্ষে স্কেল সংস্করণ নির্ভরতা ছিল কঠিন।

— জাভাদ্ব্বা

IMHO zookeeper is not an overhead but makes your life a lot easier.-> সিস্পের দৃষ্টিভঙ্গি থেকে নয়। জেডকে হ'ল পিছনের পুরানো জাভা ক্রাফ্টের টুকরো। উদাহরণস্বরূপ এটির একটি দীর্ঘ অসামান্য বাগ রয়েছে যে এটি কোনও ডিএনএস এন্ট্রির ttl মেনে চলে না তাই এটি কোনও এন্ট্রি পুনরায় সমাধান করবে না। উইন্ডোটির বাইরে আপনার সার্ভারের সম্ভাব্যতা অদলবদল হয়। আমি আনন্দের সাথে এডিডির জন্য বিনিময় করব।

— রিকিএ

"আমরা যতক্ষণ না আমাদের স্পষ্টভাবে এই সুবিধাগুলির প্রয়োজন হয় ততক্ষণ আমরা রাবিট এমকিউ করার সিদ্ধান্ত নিয়েছি"। আমার দলটি এভাবে আলোকিত হোন আইএমএইচও, কাফকারকে ন্যায্যতা দেওয়ার জন্য আমাদের কাছে স্পষ্টভাবে উচ্চ পরিমাণ নেই, তবে আমরা কাফকা যেভাবেই ব্যবহার করছি :(

— মিঃ স্মিথ

Answer 7

চিড়িয়াখানা কোনও প্রকারের বিতরণ ব্যবস্থার জন্য কেন্দ্রীকরণ এবং পরিচালনা পদ্ধতি management বিতরণকারী সিস্টেম হ'ল বিভিন্ন নোড / ক্লাস্টারগুলিতে চলমান বিভিন্ন সফ্টওয়্যার মডিউল (ভৌগোলিকভাবে দূরবর্তী অবস্থানগুলিতে থাকতে পারে) তবে একটি সিস্টেম হিসাবে চলমান। চিড়িয়াখানা নোডগুলির মধ্যে যোগাযোগের সুবিধা দেয়, নোডগুলির মধ্যে কনফিগারেশনগুলি ভাগ করে দেয়, এটি কোন নোডের লিডার, কোন নোড / পাতগুলিতে যোগ দেয় ইত্যাদি সম্পর্কে নজর রাখে etc. চিড়িয়াখানা মূলত একটি অর্কেস্ট্রেশন প্ল্যাটফর্ম।

কাফকা একটি বিতরণ সিস্টেম। এবং তাই এর নোডগুলির জন্য এটির জন্য একরকম অর্কেস্ট্রেশন দরকার যা ভৌগলিকভাবে দূর (অথবা না) হতে পারে।

Answer 8

হ্যাঁ, চিড়িয়াখানা অবশ্যই কাফকার ডিজাইনের মাধ্যমে। কারণ চিড়িয়াখানার কাফকা ক্লাস্টার পরিচালনার একধরণের দায়িত্ব রয়েছে। এটিতে এটি সহ সমস্ত কাফকা ব্রোকারের তালিকা রয়েছে। এটি কাফকারাকে অবহিত করে, যদি কোনও ব্রোকার নিচে যায়, বা পার্টিশনটি নীচে চলে যায় বা নতুন ব্রোকার উপরে থাকে বা পার্টিশন শেষ হয়। সংক্ষেপে জেডকে প্রতিটি কাফকা ব্রোকারকে কাফকা গুচ্ছের বর্তমান অবস্থা সম্পর্কে আপডেট রাখে।

তারপরে প্রতিটি কাফকা ক্লায়েন্ট (প্রযোজক / গ্রাহক) যা যা করতে হবে তা কোনও একক ব্রোকারের সাথে সংযোগ স্থাপন করতে হবে এবং সেই ব্রোকারের সমস্ত মেটাডেটা জুকারির দ্বারা আপডেট করা হয়েছে, তাই ক্লায়েন্টকে ব্রোকার আবিষ্কারের মাথাব্যথা নিয়ে মাথা ঘামানোর দরকার নেই।

Answer 9

সাধারণ পেডলোড বার্তা স্থানান্তর ব্যতীত, কাফকার মতো আরও অনেকগুলি যোগাযোগ রয়েছে ications

• দালালের সাথে সম্পর্কিত ইভেন্টগুলি ক্লাস্টারের সদস্যতার জন্য অনুরোধ করছে।
• ব্রোকার সম্পর্কিত ইভেন্টগুলি উপলভ্য হয়ে উঠছে।
• বুটস্ট্র্যাপ কনফিগার সেটআপগুলি পাওয়া যাচ্ছে।
• নিয়ামক এবং নেতার আপডেট সম্পর্কিত ইভেন্টগুলি।
• হার্টবিট আপডেটের মতো সহায়তা স্থিতির আপডেটগুলি।

চিড়িয়াখানা নিজেই একটি বিতরণ সিস্টেম যা একটি নকশায় একাধিক নোড সমন্বিত। চিড়িয়াখানা এ জাতীয় মেটাডেটা বজায় রাখার জন্য কেন্দ্রিক পরিষেবা।

Answer 10

এই নিবন্ধটি কাফকার চিড়িয়াখানার ভূমিকা ব্যাখ্যা করে। এটি ব্যাখ্যা করে যে কাফকা কীভাবে রাষ্ট্রবিহীন এবং কীভাবে জাফকার কাফকার বিতরণ প্রকৃতির (এবং আরও অনেক বিতরিত সিস্টেম) গুরুত্বপূর্ণ ভূমিকা পালন করে।

Answer 11

চিড়িয়াখানা ছাড়াই কাফকা চালানোর অনুরোধটি বেশ সাধারণ বলে মনে হচ্ছে। গ্রন্থাগার চার্লাতান এটিকে সম্বোধন করে।

বর্ণনানুসারে চার্লাতন হ'ল চিড়িয়াখানার জন্য কমবেশি একটি বিদ্রূপ, চিড়িয়াখানার পরিষেবাগুলি অন্য সরঞ্জামের সাহায্যে বা ডেটাবেস দ্বারা ব্যাক আপ করা হয়।

চার্লাতান গ্রন্থাগারের জন্য লেখকদের প্রধান পণ্য নিয়ে কাজ করার সময় আমি সেই লাইব্রেরির মুখোমুখি হয়েছি; সেখানে এটি কাজ করে ...

Answer 12

প্রথমত

এ্যাপাচি ZooKeeper বন্টিত দোকান যা সরবরাহ করতে ব্যবহৃত হয় কনফিগারেশন এবং সিঙ্ক্রোনাইজেশন একটি উচ্চ প্রাপ্তিসাধ্য ভাবে সেবা। কাফকার আরও সাম্প্রতিক সংস্করণগুলিতে ক্লায়েন্ট গ্রাহকরা চিড়িয়াখানায় বার্তা (অফসেট বলে) কতটা ব্যবহার করেছেন সে সম্পর্কে তথ্য সংরক্ষণ না করার জন্য কাজ করা হয়েছিল, .This reduced usage did not get rid of the need for consensus and coordination in distributed systems however.যদিও কাফকা দোষ-সহনশীলতা এবং স্থিতিস্থাপকতা সরবরাহ করার জন্য কিছু প্রয়োজন সমন্বয় প্রয়োজন এবং চিড়িয়াখানার সামগ্রিক সিস্টেমের সেই অংশটিকে সক্ষম করে।

দ্বিতীয়ত

কোন পার্টিশনের নেতা কে সে বিষয়ে একমত হওয়া, কাফকা বাস্তুতন্ত্রের মধ্যে চিড়িয়াখানার ব্যবহারিক প্রয়োগের একটি উদাহরণ।

Zookeeper would work if there was even a single broker. 

এগুলি কাফকা ইন অ্যাকশন বইয়ের। চিত্র এই কোর্স থেকে