প্রশ্ন ট্যাগ «distributed-computing»

আমি চিড়িয়াখিপারকে বোঝার চেষ্টা করছি, এটি কীভাবে কাজ করে এবং এটি কী করে। চিড়িয়াখানার সাথে তুলনীয় এমন কোন অ্যাপ্লিকেশন রয়েছে কি? যদি আপনি জানেন, তবে আপনি কীভাবে একজন সাধারণ লোকের কাছে চিড়িয়াখানাকে বর্ণনা করবেন? আমি অ্যাপাচি উইকি, চিড়িয়াখানার সোর্সফোর্জে চেষ্টা করেছি ... তবে আমি এখনও এটির সাথে সম্পর্কিত হতে পারছি …

376 apache-zookeeper  distributed-computing 

লার্নিং স্পার্ক অনুযায়ী মনে রাখবেন যে আপনার ডেটা পুনরায় ভাগ করা মোটামুটি ব্যয়বহুল ক্রিয়াকলাপ। স্পার্কে repartition()ডাকা একটি অপ্টিমাইজড সংস্করণ রয়েছে যা coalesce()ডেটা চলাচল এড়াতে দেয় তবে কেবল যদি আপনি আরডিডি পার্টিশনের সংখ্যা হ্রাস করে থাকেন। একটি পার্থক্য যা আমি পাই তা হ'ল repartition()পার্টিশনের সংখ্যা বাড়িয়ে / হ্রাস করা যায়, তবে …

251 apache-spark  distributed-computing  rdd 

আমি ক্লাস্টার মোড ওভারভিউ পড়েছি এবং আমি এখনও স্পার্ক স্ট্যান্ডেলোন ক্লাস্টারের বিভিন্ন প্রক্রিয়া এবং সমান্তরালতা বুঝতে পারি না । কর্মী একটি জেভিএম প্রক্রিয়া বা না? আমি দৌড়ে গিয়ে bin\start-slave.shদেখতে পেলাম যে এটি শ্রমিককে উত্সাহিত করেছে, যা আসলে একটি জেভিএম। উপরের লিঙ্ক অনুসারে, এক্সিকিউটর হ'ল একটি কর্মী নোডে একটি অ্যাপ্লিকেশনের জন্য …

219 apache-spark  distributed-computing 

RDDঅধ্যবসায়ের বিচারে , স্পার্কের মধ্যে cache()এবং পার্থক্যগুলি কী persist()?

202 apache-spark  distributed-computing  rdd 

আমি কাফকার তুলনায় তুলনামূলকভাবে নতুন। আমি এটি নিয়ে কিছুটা পরীক্ষা-নিরীক্ষা করেছি, তবে গ্রাহক অফসেট সম্পর্কে আমার কাছে কিছু জিনিস অস্পষ্ট। আমি এতক্ষণ যা বুঝতে পেরেছি, যখন থেকে কোনও গ্রাহক শুরু করেন, এটি অফসেটটি পড়া শুরু করবে তা কনফিগারেশন সেটিংস দ্বারা নির্ধারিত হয় auto.offset.reset(আমি ভুল হলে আমাকে সংশোধন করি)। এখন উদাহরণস্বরূপ …

169 java  distributed-computing  apache-kafka 

আপনার যদি এক বিলিয়ন নম্বর এবং একশত কম্পিউটার থাকে তবে এই সংখ্যার মাঝারিটি সনাক্ত করার সবচেয়ে ভাল উপায় কী? আমার একটি সমাধান যা হ'ল: কম্পিউটারের মধ্যে সমানভাবে বিভক্ত করুন। তাদের বাছাই করুন। প্রতিটি সেটের জন্য মিডিয়ানদের সন্ধান করুন। মিডিয়ানদের উপর সেটগুলি বাছাই করুন। এক সাথে সর্বনিম্ন থেকে সর্বোচ্চ মধ্যস্থতে দুটি …

127 algorithm  distributed-computing