রান্না অ্যাপ্লিকেশন স্পার্ক করুন

Question

আমার একটি চলমান স্পার্ক অ্যাপ্লিকেশন রয়েছে যেখানে এটি এমন সমস্ত কোর দখল করে যেখানে আমার অন্যান্য অ্যাপ্লিকেশনগুলিকে কোনও সংস্থান বরাদ্দ করা হবে না।

আমি কিছু দ্রুত গবেষণা করেছিলাম এবং লোকেরা কমান্ডটি মারতে YARN কিল বা / বিন / স্পার্ক-ক্লাস ব্যবহার করার পরামর্শ দিয়েছিল। যাইহোক, আমি সিডিএইচ সংস্করণ ব্যবহার করছি এবং / বিন / স্পার্ক-শ্রেণি এমনকি একেবারেই বিদ্যমান নেই, ইয়ার্ন কিল অ্যাপ্লিকেশনটিও কাজ করে না।

এই সঙ্গে আমার সাথে কেউ করতে পারেন?

Comments

আপনি যদি একটি পরীক্ষায় থাকেন env: ps aux | গ্রেপ স্পার্ক -> স্পার্কের

— পিড

@ এলিয়াসাহ "পরীক্ষা এনভিভি", আমার কাছে ইতিমধ্যে কাজটি বিতরণ করা হয়েছে ..

— বিএমআরডাব্লু।

আপনি প্রযোজনা একটি চাকরি হত্যা করতে চান ????

— ইলিয়াসাহ

@ এলিয়াসাহ হ্যাঁ ... একটি হোস্টে ব্যর্থতার কারণে উত্পাদনের একটি চাকরি ঝুলিয়ে দেওয়া হয়েছিল।

— বিএমআরডাব্লু।

Answer 1

• স্পার্ক শিডিয়ুলারের কাছ থেকে অ্যাপ্লিকেশন আইডিটি অনুলিপি করুন, উদাহরণস্বরূপ অ্যাপ্লিকেশন_1428487296152_25597
• যে সার্ভারটিতে কাজ শুরু হয়েছে তার সাথে সংযুক্ত হন
• yarn application -kill application_1428487296152_25597

Comments

আপনি কিভাবে স্পার্ক শিডিয়ুলারে পাবেন?

— মাকানসিজ

এটা কি একই web UI?

— মাকানসিজ

@ হুনলে আপনি আইডি পেতে পারেন Spark History UIবা ইয়ার্ন RUNNINGঅ্যাপস ইউআই ( সুতা-হোস্ট: 8088 / ক্লাস্টার / অ্যাপস / রুনিং ) বা Spark Job Web UIইউআরএল থেকে ( সুতা-হোস্ট: 8088 / প্রক্সি / অ্যাপ্লিকেশন_ <টাইমস্ট্যাম্প> _ <ID> )

— শে

কেউ একবারে বেশ কয়েকজনকে মেরে ফেলতে পারে: সুতা অ্যাপ্লিকেশন -কিল অ্যাপ্লিকেশন_1428487296152_25597 অ্যাপ্লিকেশন_1428487296152_25598 ... ??

— user3505444

Answer 2

YARN থেকে সমস্ত অ্যাপ্লিকেশন আইডি পেতে এবং একে একে একে হত্যা করতে সময় সাপেক্ষ হতে পারে। নীচে যেমনটি দেখানো হয়েছে তত দ্রুত এবং আরও দক্ষতার সাথে পুনরাবৃত্তিটি সম্পন্ন করতে আপনি লুপের জন্য একটি ব্যাশ ব্যবহার করতে পারেন:

YARN এ সমস্ত অ্যাপ্লিকেশন হত্যা করুন যা স্বীকৃত রাজ্যে রয়েছে:

for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

YARN- এ থাকা সমস্ত অ্যাপ্লিকেশনকে হত্যা করুন যা চলমান অবস্থায় রয়েছে:

for x in $(yarn application -list -appStates RUNNING | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

Answer 3

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html# ক্লাস্টার_এপ্লিকেশন_সেটেট_এপিআই

পুট http: // {আরএম http ঠিকানা: পোর্ট} / ডাব্লুএস / ভি 1 / ক্লাস্টার / অ্যাপস / {অ্যাপিড} / রাষ্ট্র

{
  "state":"KILLED"
}

Answer 4

এটি কোনও নৈতিক ও পছন্দসই সমাধান নাও হতে পারে তবে এটি এমন পরিবেশে সহায়তা করে যেখানে আপনি সুতা অ্যাপ্লিকেশন কমান্ড ব্যবহার করে কাজটি সঞ্চার করতে কনসোল অ্যাক্সেস করতে পারবেন না।

পদক্ষেপগুলি হয়

স্পার্ক কাজের জন্য আবেদন মাস্টার পৃষ্ঠায় যান। কাজের বিভাগে ক্লিক করুন। সক্রিয় কাজের সক্রিয় পর্যায়ে ক্লিক করুন। আপনি সক্রিয় পর্যায়ে ঠিক পরেই "কিল" বোতামটি দেখতে পাবেন।

যদি সফল পর্যায়েগুলি বর্তমানে চলমান পর্যায়ে নির্ভরশীল হয় তবে এটি কাজ করে। যদিও এটি "ব্যবহারকারীর দ্বারা নিহত" হিসাবে কাজ চিহ্নিত করে

Answer 5

প্রথম ব্যবহার:

yarn application -list

অ্যাপ্লিকেশন আইডিটি নোট করুন তারপরে ব্যবহারটি হত্যার জন্য:

yarn application -kill application_id