কাফকা: ক্রমাগত FETCH_SESSION_ID_NOT_FOUND পাচ্ছে


9

আমি ক্রমাগত FETCH_SESSION_ID_NOT_FOUND পাচ্ছি। আমি কেন নিশ্চিত তা নিশ্চিত নই। কেউ কি আমাকে খুশি করতে পারেন কি সমস্যা এবং গ্রাহক এবং দালালের উপর কী প্রভাব পড়বে।

কাফকা সার্ভার লগ:

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

কাফকা গ্রাহক লগ:

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

ক্লাস্টারের বিবরণ:

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only) 

কাফকা জাভা ক্লায়েন্ট ২.৩.১ এর সাথে আমি একই ত্রুটিটি পাচ্ছি। কারো কি কোন ধারনা আছে?
বার্ট এস

@ বার্টস.ইঙ্কার এই মানটি বাড়ানmax.incremental.fetch.session.cache.slots
মিশ্র

হাই @ হৃষীকেশমিশ্রা কি এই (উপরের মন্তব্য) এই সমস্যার সমাধান পেয়েছিলেন? আপনি কি এটি আপনার পোস্টের উত্তর হিসাবে যুক্ত করার বিষয়ে বিবেচনা করবেন এবং যদি সম্ভব হয় তবে কিছুটা ব্যাখ্যা দিয়ে। আমার একই সমস্যা হচ্ছে, আমি আপনার উপরের সমাধানটি পরীক্ষা করব।
জর্জি ক্যাম্পোস

এটি একটি INFO লগ। এটিকে কেবল উপেক্ষা করার কী কী প্রভাব রয়েছে?
বার্ট এস

উত্তর:


1

এর মান বাড়ান max.incremental.fetch.session.cache.slots। ডিফল্ট মান 1K, আমার ক্ষেত্রে আমি এটি 10K-এ বাড়িয়েছি এবং এটি স্থির হয়েছে।


এটি কি ব্রোকারের সেটিং?
বার্ট এস

হ্যাঁ, এর ব্রোকার সেটিং
হৃষীকেশ মিশ্র

গ্রাহক বা প্রযোজক পক্ষের কিছু করা যেতে পারে?
বার্ট এস

প্রযোজক এবং ভোক্তার শেষে কিছু প্রয়োজন হয় না।
হৃষীকেশ মিশ্র

আমি আমার গ্রাহকের উপর ত্রুটি দেখতে পাচ্ছি। ব্রোকার নিজেই পরিবর্তন করতে আমার অ্যাক্সেস নেই। এটি কি আমার জন্য উদ্বেগজনক হওয়া উচিত?
বার্ট এস

0

আমি প্রথমে এটি 1K থেকে 2K এ এবং দ্বিতীয় ধাপে 2K থেকে 4K এ বৃদ্ধি করেছি এবং যতক্ষণ না সীমাটি শেষ হয় ততক্ষণ ত্রুটির কোনও উপস্থিতি দেখা যায় নি:

এখানে চিত্র বর্ণনা লিখুন

এখানে চিত্র বর্ণনা লিখুন

যেমনটি আমার কাছে কিছু অজানা গ্রাহক সেশন ফাঁসের মতো দেখে মনে হয়েছিল, আমি এখনও 10 কে সীমা চেষ্টা করিনি, তবে হৃষীকেশ মিশ্রের উত্তরটি পড়ে, আমি অবশ্যই করব। কারণ, সীমা বৃদ্ধি করাও ত্রুটির ফ্রিকোয়েন্সি হ্রাস করেছে, সুতরাং পৃথক গ্রাহক গোষ্ঠীগুলি চিহ্নিত করার প্রশ্ন যা এখানে অতিরিক্ত পরিমাণে বর্ধনমূলক আনয়ন সেশন খোলার চেষ্টা করছে, এখানে উল্লেখ করা হয়েছে কাফকা ক্লাস্টারে ব্যবহৃত ইনক্রিমেন্টাল ফেচেশন সেশন ক্যাশে স্লটগুলির আসল সংখ্যাটি কীভাবে পরীক্ষা করবেন? , শেষ পর্যন্ত অপ্রাসঙ্গিক হতে পারে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.