আমি বাইরে বেরোনোর আগে এবং কিছু হার্ডওয়্যার দিয়ে একটি ক্লাস্টার গড়ে তুলতে অর্থ ব্যয় করার আগে স্পার্কের সাথে পরীক্ষার জন্য ভিএমগুলির একটি সেট স্থাপনের কাজ করছি। তাত্ক্ষণিক দ্রষ্টব্য: আমি প্রয়োগকৃত মেশিন লার্নিংয়ের ব্যাকগ্রাউন্ড সহ একাডেমিক এবং ডেটা সায়েন্সে কিছুটা ছেড়ে দিয়ে কাজ করি। আমি কম্পিউটিংয়ের জন্য সরঞ্জামগুলি ব্যবহার করি, খুব কমই আমার সেগুলি সেটআপ করা দরকার।
আমি 3 টি ভিএম (1 মাস্টার, 2 ক্রীতদাস) তৈরি করেছি এবং স্পার্কটি সফলভাবে ইনস্টল করেছি। সবকিছু যেমনটি করা উচিত তেমন কাজ করছে বলে মনে হয়। আমার সমস্যা জুপিটার সার্ভার তৈরির মধ্যে রয়েছে যা ক্লাস্টারের কোনও মেশিনে চলছে না এমন ব্রাউজার থেকে সংযুক্ত হতে পারে।
আমি জপিটার নোটবুক সফলভাবে ইনস্টল করেছি ... এবং এটি চলে। আমি স্পার্কের সাথে একটি রিমোট সার্ভারের সাথে সংযোগ স্থাপন করে একটি নতুন আইপিথন প্রোফাইল যুক্ত করেছি ।
এখন সমস্যা
আদেশ
$ ipython --profile=pyspark
সূক্ষ্মভাবে চলে এবং এটি স্পার্ক ক্লাস্টারের সাথে সংযুক্ত হয়। যাহোক,
$ ipython notebook --profile=pyspark
[<stuff is here>] Unrecognized alias: "profile=pyspark", it will probably have no effect.
defaultপ্রোফাইল
ডিফল্ট প্রোফাইল নয় pyspark।
এর জন্য আমার নোটবুক কনফিগারেশনটি pysparkরয়েছে:
c = get_config()
c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8880
c.NotebookApp.server_extensions.append('ipyparallel.nbextension')
c.NotebookApp.password = u'some password is here'
$ ipython --profile=pyspark notebook? এটি হতে পারে যে সমস্যাটি কেবল যুক্তিগুলির ক্রম দিয়েই হয়েছিল।