প্রশ্ন ট্যাগ «yarn»

আমি ইয়ার্নে স্পার্ক কাজ চালানোর সময় করের সংখ্যা এবং নির্বাহকের সংখ্যার সম্পর্ক বোঝার চেষ্টা করছি। পরীক্ষার পরিবেশটি নিম্নরূপ: ডেটা নোডের সংখ্যা: 3 ডেটা নোড মেশিন বিশেষ: সিপিইউ: কোর আই -4--47৯০ (করের #: 4, # থ্রেডের মধ্যে: 8) র‌্যাম: 32 জিবি (8 জিবি এক্স 4) এইচডিডি: 8 টিবি (2 টিবি এক্স …

193 hadoop  apache-spark  yarn 

আমার একটি চলমান স্পার্ক অ্যাপ্লিকেশন রয়েছে যেখানে এটি এমন সমস্ত কোর দখল করে যেখানে আমার অন্যান্য অ্যাপ্লিকেশনগুলিকে কোনও সংস্থান বরাদ্দ করা হবে না। আমি কিছু দ্রুত গবেষণা করেছিলাম এবং লোকেরা কমান্ডটি মারতে YARN কিল বা / বিন / স্পার্ক-ক্লাস ব্যবহার করার পরামর্শ দিয়েছিল। যাইহোক, আমি সিডিএইচ সংস্করণ ব্যবহার করছি এবং …

105 apache-spark  yarn  pyspark 

হ্যাডোপ ভি 1 এ, আমি 1 জিবি আকারের সাথে প্রতিটি 7 ম্যাপার এবং রিডুসার স্লট বরাদ্দ করেছি, আমার ম্যাপারগুলি এবং হ্রাসকারীগুলি সূক্ষ্মভাবে চলে। আমার মেশিনে 8 জি মেমরি, 8 টি প্রসেসর রয়েছে। এখন ইয়ার্নের সাথে একই মেশিনে একই অ্যাপ্লিকেশনটি চালানোর সময় আমার ধারক ত্রুটি হয়েছে got ডিফল্টরূপে, আমার এই সেটিংসটি …

85 hadoop  mapreduce  yarn  mrv2