KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message));
producer.send(keyedMessage);
বর্তমানে, কীড বার্তাগুলির অংশ হিসাবে আমি কোনও কী ছাড়াই বার্তা পাঠাচ্ছি, এটি কি এখনও কাজ করবে delete.retention.ms? বার্তার অংশ হিসাবে আমার কী কী পাঠাতে হবে? এই বার্তার অংশ হিসাবে কী তৈরি করা ভাল?
উত্তর:
আপনার যদি কোনও কীটির জন্য দৃ order় আদেশের প্রয়োজন হয় এবং রাষ্ট্রীয় মেশিনের মতো কিছু বিকাশ করা হয় তবে কীগুলি বেশিরভাগই দরকারী / প্রয়োজনীয়। আপনার যদি একই কী (উদাহরণস্বরূপ, একটি অনন্য আইডি) সহ বার্তাগুলি প্রয়োজন হয় তবে সর্বদা সঠিক ক্রমে দেখা যায়, বার্তাগুলির সাথে একটি কী সংযুক্তি নিশ্চিত করা হবে যে একই কী সহ বার্তাগুলি সর্বদা একটি বিষয়ের একই বিভাগে যাবে। কাফকা একটি পার্টিশনের মধ্যে অর্ডারের গ্যারান্টি দেয় তবে কোনও বিষয়ে পার্টিশন জুড়ে নয়, তাই বিকল্পভাবে কোনও কী সরবরাহ না করে - যার ফলে পার্টিশনগুলিতে গোল-রবিন বিতরণ হবে - এই জাতীয় ক্রমটি বজায় রাখবে না।
স্টেট মেশিনের ক্ষেত্রে, লোগুলিএল.সিএনর দিয়ে কীগুলি একই কী সহ এন্ট্রিগুলি নকল করতে সক্ষম। সেক্ষেত্রে, কাফকা অনুমান করে যে আপনার অ্যাপ্লিকেশনটি কেবলমাত্র একটি প্রদত্ত কীটির সাম্প্রতিকতম দৃষ্টান্তের বিষয়ে চিন্তা করে এবং লগ ক্লিনারটি যদি কোনও শর্তটি ফাঁকা না হয় তবেই প্রদত্ত কীটির পুরানো নকল মুছে ফেলা হয়। লগ কমপ্যাক্টের এই ফর্মটি log.cleaner.delete.retention সম্পত্তি দ্বারা নিয়ন্ত্রিত হয় এবং কীগুলি প্রয়োজন।
বিকল্পভাবে, আরও সাধারণ সম্পত্তি লগ.আর্টেন্ট.হাউসগুলি , যা ডিফল্টরূপে সক্ষম হয়, লগের সম্পূর্ণ বিভাগগুলিকে মুছে ফেলার মাধ্যমে কাজ করে যা পুরানো । এই ক্ষেত্রে কীগুলি সরবরাহ করতে হবে না। কাফকা প্রদত্ত ধরে রাখার সময়কালের চেয়ে পুরানো লগের অংশগুলি কেবল মুছে ফেলবে।
এগুলি বলার জন্য, আপনি যদি লগ কমপ্যাকশন সক্ষম করে থাকেন বা একই কী সহ বার্তাগুলির জন্য কঠোর অর্ডার প্রয়োজন হয় তবে অবশ্যই আপনার কীগুলি ব্যবহার করা উচিত। অন্যথায়, নাল কীগুলি আরও ভাল বিতরণ সরবরাহ করতে পারে এবং সম্ভাব্য হট স্পটিং সমস্যাগুলি প্রতিরোধ করতে পারে যেখানে কিছু কী অন্যের চেয়ে বেশি প্রদর্শিত হতে পারে।
ProducerRecord
অত্যন্ত সহায়ক গৃহীত উত্তর ছাড়াও আমি আরও কয়েকটি বিশদ যুক্ত করতে চাই
ডিফল্টরূপে, কাফকা বার্তাটির কীটি ব্যবহার করে এতে লেখা বিষয়টির বিভাজন নির্বাচন করে। এটি দ্বারা করা DefaultPartitionerহয়
kafka.common.utils.Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions;
যদি কোনও কী সরবরাহ করা হয় না, তবে কাফকা একটি বৃত্তাকার রবিন ফ্যাশনে এলোমেলোভাবে ডেটা ভাগ করবে।
কাফকার ক্ষেত্রে Partitionerক্লাস বাড়িয়ে নিজের পার্টিশনার তৈরি করা সম্ভব । এর জন্য, আপনাকে partitionস্বাক্ষরযুক্ত পদ্ধতিটি ওভাররাইড করতে হবে :
int partition(String topic,
Object key,
byte[] keyBytes,
Object value,
byte[] valueBytes,
Cluster cluster)
সাধারণত, কাফকা বার্তার কীটি পার্টিশন নির্বাচন করতে ব্যবহৃত হয়। কোনও কী না থাকলে আপনাকে সেই মানটির উপর নির্ভর করতে হবে যা প্রক্রিয়া করার জন্য আরও জটিল হতে পারে।
প্রদত্ত উত্তরে যেমন বলা হয়েছে, কাফকার কেবলমাত্র পার্টিশন পর্যায়ে বার্তাগুলি অর্ডার করার নিশ্চয়তা রয়েছে।
ধরা যাক আপনি দুটি গ্রাহকদের সাথে কাফকা বিষয়ে আপনার গ্রাহকদের জন্য আর্থিক লেনদেন সঞ্চয় করতে চান। বার্তাগুলি দেখতে দেখতে (কী: মান)
null:{"customerId": 1, "changeInBankAccount": +200}
null:{"customerId": 2, "changeInBankAccount": +100}
null:{"customerId": 1, "changeInBankAccount": +200}
null:{"customerId": 1, "changeInBankAccount": -1337}
null:{"customerId": 1, "changeInBankAccount": +200}
যেহেতু আমরা কোনও কীটি সংজ্ঞায়িত না করে দুটি পার্টিশন সম্ভবত প্রদর্শিত হবে
// partition 0
null:{"customerId": 1, "changeInBankAccount": +200}
null:{"customerId": 1, "changeInBankAccount": +200}
null:{"customerId": 1, "changeInBankAccount": +200}
// partition 1
null:{"customerId": 2, "changeInBankAccount": +100}
null:{"customerId": 1, "changeInBankAccount": -1337}
আপনার গ্রাহকরা সেই বিষয়টি পড়ে শেষ হতে পারে যে অ্যাকাউন্টে ব্যালেন্সটি নির্দিষ্ট সময়ে 600 হয় যদিও এটি কখনও হয়নি! পার্টিশন 1-এ থাকা বার্তাগুলির পূর্বে এটি 0 বিভাজনে সমস্ত বার্তা পড়ছিল বলে।
একটি বোধগম্য কী (গ্রাহকআইডের মতো) দিয়ে এড়ানো যায় কারণ পার্টিশনিংটি এরকম হবে:
// partition 0
1:{"customerId": 1, "changeInBankAccount": +200}
1:{"customerId": 1, "changeInBankAccount": +200}
1:{"customerId": 1, "changeInBankAccount": -1337}
1:{"customerId": 1, "changeInBankAccount": +200}
// partition 1
2:{"customerId": 2, "changeInBankAccount": +100}
আপনার বার্তাগুলি অংশ হিসেবে একটি কী ছাড়া, আপনি বিষয় কনফিগারেশন সেট করতে সক্ষম হবেন না cleanup.policyকরতে compacted। ডকুমেন্টেশন অনুসারে "লগ কমপ্যাকশন নিশ্চিত করে যে কাফকা সর্বদা একটি টপিক পার্টিশনের জন্য ডেটা লগের মধ্যে প্রতিটি বার্তা কীটির জন্য কমপক্ষে সর্বশেষ জ্ঞাত মান বজায় রাখে।"
এই দুর্দান্ত এবং সহায়ক সেটিংটি কোনও কী ছাড়াই উপলব্ধ হবে না।
বাস্তব জীবনের ব্যবহারের ক্ষেত্রে, কাফকা বার্তার মূল কী আপনার কার্যকারিতা এবং আপনার ব্যবসায়ের যুক্তির সুস্পষ্টতার উপর বিশাল প্রভাব ফেলতে পারে।
উদাহরণস্বরূপ একটি কী আপনার ডেটা বিভাজনের জন্য প্রাকৃতিকভাবে ব্যবহার করা যেতে পারে। যেহেতু আপনি আপনার ভোক্তাদের নির্দিষ্ট পার্টিশন থেকে পড়তে নিয়ন্ত্রণ করতে পারেন এটি একটি দক্ষ ফিল্টার হিসাবে পরিবেশন করতে পারে। এছাড়াও, কীটিতে বার্তার আসল মূল্য সম্পর্কে কিছু মেটা ডেটা অন্তর্ভুক্ত থাকতে পারে যা আপনাকে পরবর্তী প্রক্রিয়াজাতিকে নিয়ন্ত্রণ করতে সহায়তা করে। কীগুলি সাধারণত মানগুলির চেয়ে ছোট হয় এবং তাই পুরো মানের পরিবর্তে একটি কী পার্স করা আরও সুবিধাজনক। একই সাথে, আপনি সমস্ত সিরিয়ালাইজেশন এবং স্কিমা রেজিস্ট্রেশন আপনার মান সহ কী হিসাবেও প্রয়োগ করতে পারেন।
একটি নোট হিসাবে, শিরোনামের ধারণাটিও রয়েছে যা তথ্য সঞ্চয় করতে, ডকুমেন্টেশন দেখুন ।
একটি বার্তা সহ কীটি মূলত একটি নির্দিষ্ট ক্ষেত্রের জন্য বার্তাটি অর্ডার করার জন্য প্রেরণ করা হয়।
ব্যাখ্যা এবং উদাহরণ