আমার একটি ব্যবহারের কেস আছে যেখানে তথ্য আসার প্রবাহ আসবে এবং আমি এটি একই গতিতে গ্রাস করতে পারি না এবং একটি বাফারের প্রয়োজন হয়। এটি কোনও এসএনএস-এসকিউএস কিউ ব্যবহার করে সমাধান করা যেতে পারে। আমি জানতে পেরেছিলাম কিনেসিস একই উদ্দেশ্য সমাধান করে, তবে পার্থক্য কী? কেন কেনেসিসকে আমার পছন্দ করা উচিত (বা পছন্দ করা উচিত নয়)?
উত্তর:
পৃষ্ঠে এগুলি অস্পষ্টভাবে অনুরূপ, তবে আপনার ব্যবহারের ক্ষেত্রে কোন সরঞ্জামটি উপযুক্ত তা নির্ধারণ করবে। আইএমও, আপনি যদি এসকিউএস দিয়ে পেতে পারেন তবে আপনার উচিত - এটি আপনি যা চান তা করলে এটি সহজ এবং সস্তা হবে, তবে এখানে এডাব্লুএস এফএকিউ থেকে আরও ভাল ব্যাখ্যা দেওয়া হয়েছে যা উভয় সরঞ্জামের জন্য উপযুক্ত ব্যবহারের ক্ষেত্রে উদাহরণ দেয় আপনাকে সিদ্ধান্ত নিতে সহায়তা করুন:
মনে রাখবেন এই উত্তরটি ২০১৫ সালের জুনে সঠিক ছিল
সমস্যাটি কিছুক্ষণ অধ্যয়ন করার পরে, একই প্রশ্নটি মনে রেখে, আমি দেখতে পেলাম যে বার্তাগুলির ক্রমটি আপনার কাছে গুরুত্বপূর্ণ না হলে (এসকিউএস বার্তাগুলিতে ফিফোর গ্যারান্টি দেয় না) সর্বাধিক ব্যবহারের ক্ষেত্রে এসকিউএস (এসএনএস সহ) সবচেয়ে বেশি ব্যবহৃত হয় for
কিনেসিসের জন্য দুটি প্রধান সুবিধা রয়েছে:
এসকিউএসে ফ্যান আউট হিসাবে এসএনএস ব্যবহার করে উভয় সুবিধা অর্জন করা যায়। তার মানে এই যে বার্তার প্রযোজক এসএনএসকে কেবল একটি বার্তা প্রেরণ করেন, তারপরে এসএনএস বার্তাটি একাধিক এসকিউএস-তে পাঠায়, প্রতিটি ভোক্তার আবেদনের জন্য একটি করে। এইভাবে আপনার ধারণক্ষমতা বাড়ানোর কথা চিন্তা না করে আপনি যত বেশি গ্রাহক চান তার কাছে থাকতে পারেন।
তদুপরি, আমরা আরও একটি এসকিউএস যুক্ত করেছি যা এসএনএসের সাবস্ক্রাইব হয়েছে যা 14 দিনের জন্য বার্তা রাখবে। সাধারণ ক্ষেত্রে কেউ এই এসকিউএস থেকে পড়ে না তবে কোনও ত্রুটির কারণে আমাদের ডেটাটি রিওয়াইন্ড করতে চায় আমরা সহজেই এই এসকিউএস থেকে সমস্ত বার্তা পড়তে পারি এবং সেগুলি এসএনএসে পুনরায় পাঠাতে পারি। যদিও কিনেসিস কেবল একটি 7 দিনের ধরে রাখে।
উপসংহারে, এসএনএস + এসকিউএস খুব সহজ এবং বেশিরভাগ সক্ষমতা সরবরাহ করে। আইএমও এর উপরে কেইনিসিকে বেছে নিতে আপনার একটি সত্যই শক্তিশালী কেস দরকার need
splitএ SNS split the message to multiple SQSsকারণে এটিকে টুকরো কিন্তু এটা একাধিক গন্তব্যস্থলে কপি গুলিকে বার্তার নিচে লঙ্ঘন করে না।
কাইনিসিস একাধিক গ্রাহক সক্ষমতার সমর্থন করে যার অর্থ একই ডেটা রেকর্ডগুলি একই সময়ে বা বিভিন্ন সময়ে বিভিন্ন গ্রাহকের 24 ঘন্টাের মধ্যে প্রক্রিয়া করা যায়, এসকিউএস-তে একইরকম আচরণ একাধিক কাতারে লেখার মাধ্যমে অর্জন করা যেতে পারে এবং ভোক্তারা একাধিক কাতারে পড়তে পারে। তবে একাধিক কাতারে আবার লিখলে সিস্টেমে সাব সেকেন্ড {কয়েক মিলিসেকেন্ড} বিলম্ব হবে।
দ্বিতীয়ত, কেইনিস পার্টিশন কী ব্যবহার করে বিভিন্ন শার্ডগুলিতে নির্বাচন করে রুট ডেটা রেকর্ডগুলির জন্য রাউটিং সক্ষমতা সরবরাহ করে যা নির্দিষ্ট ইসি 2 দৃষ্টান্ত দ্বারা প্রক্রিয়া করা যায় এবং মাইক্রো ব্যাচের গণনা {গণনা ও সংহতকরণ সক্ষম করে enable
যে কোনও এডাব্লুএস সফ্টওয়্যারটিতে কাজ করা সহজ তবে এসকিউএস সহ সহজতম। কাইনিসিসের সাথে, সময়ের আগে পর্যাপ্ত শারড সরবরাহ করার প্রয়োজন রয়েছে, স্পাইক লোড পরিচালনা করার জন্য গতিশীলভাবে শার্ডের সংখ্যা বৃদ্ধি এবং পরিচালনা করার জন্য ব্যয় সাশ্রয় করতে হ্রাসও প্রয়োজন। এটি Kinesis এ ব্যথা, এসকিউএস এর সাথে এ জাতীয় কোনও জিনিস প্রয়োজন হয় না। এসকিউএস অসীম পরিমাণে স্কেলযোগ্য।
এই প্রযুক্তিগুলির শব্দার্থবিজ্ঞান আলাদা কারণ এগুলি বিভিন্ন পরিস্থিতিতে সমর্থন করার জন্য তৈরি করা হয়েছিল:
উদাহরণস্বরূপ পার্থক্যটি বুঝতে পারি।
একবার যখন কোনও আইটেমের প্রক্রিয়াকরণ অন্য প্রসেসিং থেকে আলাদা করা যায় না, সমস্ত ক্ষেত্রে নিরাপদে পরিচালনা করার জন্য আমাদের অবশ্যই কাইনিসিস শব্দার্থবিজ্ঞান থাকতে হবে।
এডাব্লুএস ডকুমেন্টেশন থেকে অংশ :
নিম্নলিখিতগুলির মতো প্রয়োজনীয়তার সাথে ব্যবহারের ক্ষেত্রে আমরা অ্যামাজন কিনেসিস স্ট্রিমগুলিকে সুপারিশ করি:
একই রেকর্ড প্রসেসরে সম্পর্কিত রেকর্ডগুলি রাউটিং করা (মানচিত্রের স্ট্রিমিংয়ের মতো)। উদাহরণস্বরূপ, একটি প্রদত্ত কীটির জন্য সমস্ত রেকর্ড একই রেকর্ড প্রসেসরের কাছে পাঠানো হলে গণনা এবং সমষ্টি সহজ হয়।
রেকর্ড অর্ডার। উদাহরণস্বরূপ, আপনি লগ স্টেটমেন্টের ক্রম বজায় রেখে অ্যাপ্লিকেশন হোস্ট থেকে প্রসেসিং / সংরক্ষণাগার হোস্টে লগ ডেটা স্থানান্তর করতে চান।
একসাথে একই স্ট্রিম গ্রাস করার একাধিক অ্যাপ্লিকেশনগুলির ক্ষমতা। উদাহরণস্বরূপ, আপনার একটি অ্যাপ্লিকেশন রয়েছে যা একটি রিয়েল-টাইম ড্যাশবোর্ড আপডেট করে এবং অন্যটি যা অ্যামাজন রেডশিফ্টে ডেটা সংরক্ষণাগারভুক্ত করে। আপনি উভয় অ্যাপ্লিকেশন একই প্রবাহ থেকে একই সাথে একই সাথে এবং স্বতন্ত্রভাবে ডেটা গ্রহণ করতে চান।
কয়েক ঘন্টা পরে একই ক্রমে রেকর্ড গ্রাস করার ক্ষমতা। উদাহরণস্বরূপ, আপনার কাছে একটি বিলিং অ্যাপ্লিকেশন এবং একটি অডিট অ্যাপ্লিকেশন রয়েছে যা বিলিংয়ের আবেদনের কয়েক ঘন্টা পিছনে চলে। যেহেতু অ্যামাজন কিনেসিস স্ট্রিমগুলি 7 দিন পর্যন্ত ডেটা সঞ্চয় করে, আপনি বিলিংয়ের আবেদনের পিছনে 7 দিন পর্যন্ত অডিট অ্যাপ্লিকেশনটি চালাতে পারেন।
নিম্নলিখিতগুলির মতো প্রয়োজনীয়তার সাথে ব্যবহারের ক্ষেত্রে আমরা অ্যামাজন এসকিউএসকে সুপারিশ করি:
মেসেজিং শব্দার্থক (যেমন বার্তা-স্তরীয় এস্ক / ব্যর্থ) এবং দৃশ্যমানতার সময়সীমা। উদাহরণস্বরূপ, আপনার কাছে কাজের আইটেমগুলির একটি সারি রয়েছে এবং প্রতিটি আইটেমের সফল সমাপ্তি ট্র্যাক করতে চান। অ্যামাজন এসকিউএস অ্যাককে ট্র্যাক করে / ব্যর্থ করে, তাই অ্যাপ্লিকেশনটির একটি অবিরাম চেকপয়েন্ট / কার্সার বজায় রাখতে হবে না। অ্যামাজন এসকিউএস একটি কনফিগার করা দৃশ্যমানতার সময়সীমা শেষ হওয়ার পরে অ্যাক্সড বার্তাগুলি এবং পুনর্বারের ব্যর্থ বার্তাগুলি মুছে ফেলবে।
পৃথক বার্তা বিলম্ব। উদাহরণস্বরূপ, আপনার একটি কাজের সারি রয়েছে এবং একটি বিলম্বের সাথে স্বতন্ত্র কাজগুলি নির্ধারণ করতে হবে। অ্যামাজন এসকিউএস এর সাহায্যে আপনি 15 মিনিটের বেশি বিলম্ব করতে পৃথক বার্তাগুলি কনফিগার করতে পারেন।
গতিসম্পন্নভাবে পঠনের সময় সম্মতি / থ্রুপুট বৃদ্ধি করা। উদাহরণস্বরূপ, আপনার একটি কাজের সারি রয়েছে এবং ব্যাকলগটি সাফ না হওয়া পর্যন্ত আরও পাঠক যুক্ত করতে চান। অ্যামাজন কিনেসিস স্ট্রিমের সাহায্যে আপনি পর্যাপ্ত সংখ্যক শার্ড পর্যন্ত স্কেল করতে পারেন (তবে নোট করুন, আপনার আগে সময়ের তুলনায় পর্যাপ্ত শারড সরবরাহ করতে হবে)।
স্বচ্ছভাবে স্কেল করার জন্য অ্যামাজন এসকিউএসের দক্ষতা বাড়ানো। উদাহরণস্বরূপ, আপনি মাঝেমধ্যে লোড স্পাইক বা আপনার ব্যবসায়ের প্রাকৃতিক বৃদ্ধির ফলে অনুরোধগুলি এবং ভার পরিবর্তনগুলি বাফার করেন। যেহেতু প্রতিটি বাফার অনুরোধটি স্বাধীনভাবে প্রক্রিয়া করা যায়, আমাজন এসকিউএস আপনার কাছ থেকে কোনও বিধানের নির্দেশ ছাড়াই লোড পরিচালনা করতে স্বচ্ছভাবে স্কেল করতে পারে।
আমার পক্ষে সবচেয়ে বড় সুবিধাটি হ'ল সত্য যে Kinesis একটি পুনরায় খেলতে পারা قطار, এবং এসকিউএস হয় না। সুতরাং আপনার কাছে কিনেসিসের একই বার্তাগুলির একাধিক গ্রাহক থাকতে পারে (বা একই সময়ে একই উপভোক্তা বিভিন্ন সময়ে) যেখানে এসকিউএস সহ একবার বার্তা অ্যাকড হয়ে গেলে, সেই সারিটি থেকে চলে যায়। এসকিউএস এর কারণে কর্মীদের কাতারে ভাল।
আরেকটি জিনিস: কিনেসিস একটি ল্যাম্বডাকে ট্রিগার করতে পারে, যখন এসকিউএস পারে না। সুতরাং এসকিউএসের সাহায্যে আপনাকে এসকিউএস বার্তাগুলি প্রক্রিয়াকরণের জন্য একটি ইসি 2 উদাহরণ সরবরাহ করতে হবে (এবং এটি ব্যর্থ হলে এটি মোকাবেলা করুন), অথবা আপনার একটি নির্ধারিত ল্যাম্বডা থাকতে হবে (যা স্কেল বা নীচে নেমে আসে না - আপনি প্রতি মিনিটে মাত্র একটি পান) ।
সম্পাদনা করুন: এই উত্তরটি এখন আর সঠিক নয়। এসকিউএস সরাসরি জুন 2018 পর্যন্ত লাম্বদা ট্রিগার করতে পারে
দামের মডেলগুলি পৃথক, সুতরাং আপনার ব্যবহারের উপর নির্ভর করে এক বা অন্যটি সস্তা হতে পারে। সবচেয়ে সহজ কেসটি ব্যবহার করুন (এসএনএস সহ নয়):
বর্তমান দামগুলিতে প্লাগিং এবং ফ্রি টিয়ারটিকে বিবেচনায় না নিলে, আপনি যদি সর্বাধিক বার্তার আকারে প্রতিদিন 1 জিবি বার্তা প্রেরণ করেন, কিনেসিসের জন্য এসকিউএসের তুলনায় অনেক বেশি দাম পড়বে (কেইনিস বনাম $ 0.20 / মাস এসকিউএসের জন্য) । তবে আপনি যদি প্রতিদিন 1 টিবি পাঠায় তবে কেইনিসিস কিছুটা সস্তা ($ 158 / মাস বনাম $ 201 / মাস এসকিউএসের জন্য)।
বিশদ: এসকিউএস প্রতি মিলিয়ন অনুরোধের জন্য 0.40 ডলার (প্রতিটি 64 কেবি) চার্জ করে, তাই প্রতি জিবি প্রতি 00 0.00655। প্রতিদিন 1 জিবিতে, এটি প্রতি মাসে মাত্র 0.20 ডলারের নিচে; প্রতিদিন 1 টিবিতে, এটি প্রতি মাসে $ 201 থেকে কিছুটা বেশি আসে।
কিনসিস প্রতি মিলিয়ন অনুরোধের জন্য 0.014 ডলার (প্রতিটি 25 কেবি) চার্জ করে, তাই প্রতি জিবি প্রতি 000 0.00059। প্রতিদিন 1 জিবি এ, এটি প্রতি মাসে $ 0.02 এর চেয়ে কম; প্রতিদিন 1 টিবিতে, এটি প্রতি মাসে প্রায় 18 ডলার। যাইহোক, কিনেসিস শারদ-ঘন্টা প্রতি 0.015 ডলারও চার্জ করে। আপনার প্রতি সেকেন্ডে 1 এমবি প্রতি কমপক্ষে 1 টি শারড দরকার। প্রতিদিন 1 জিবিতে, 1 টি শারদ প্রচুর পরিমাণে হবে, যাতে প্রতি মাসে $ 10.82 ডলার ব্যয়ের জন্য প্রতিদিন আরও $ 0.36 যোগ করা যায়। প্রতিদিন 1 টিবিতে আপনার কমপক্ষে 13 টি শারদ লাগবে, যা প্রতি মাসে 158 ডলার ব্যয়ের জন্য প্রতিদিন আরও 4 68 4.68 যুক্ত করে।
কেইনিস স্ট্রিমিং ডেটার জন্য মানচিত্রের একটি সাধারণ ম্যাপ-হ্রাস দৃশ্যে মানচিত্র অংশের সমস্যা সমাধান করে। যদিও এসকিউএস নিশ্চিত করে না। আপনার যদি স্ট্রিমিং ডেটা থাকে যা একটি কীতে একত্রিত করার প্রয়োজন হয়, কিনেসিস নিশ্চিত করে যে কীটির সমস্ত ডেটা একটি নির্দিষ্ট শারডে চলে যায় এবং এসকিউএস এর তুলনায় শার্টটি চাবিতে সমষ্টিকে আরও সহজ করে তোলে
আমি আরও একটি জিনিস যুক্ত করব যা অন্য কেউ উল্লেখ করেনি - এসকিউএস আরও বেশি ব্যয়বহুলতার অর্ডার।
কেইনিসিস কেস ব্যবহার করুন
SQS কেস ব্যবহার করুন