একটি দলের মধ্যে জুপিটার নোটবুকগুলি ভাগ করা


22

আমি একটি সার্ভার সেট আপ করতে চাই যা নিম্নলিখিত উপায়ে একটি ডেটা সায়েন্স টিমকে সমর্থন করতে পারে: স্ট্যান্ডিং, ভার্শনিং, ভাগ করে নেওয়া এবং জপিটার নোটবুকগুলি কার্যকর করার জন্য একটি কেন্দ্রীয় পয়েন্ট হয়ে উঠুন।

কিছু কাঙ্ক্ষিত বৈশিষ্ট্য:

  1. বিভিন্ন ব্যবহারকারী সার্ভার অ্যাক্সেস করতে পারে এবং নোটবুকগুলি তাদের দ্বারা বা দলের সদস্যদের দ্বারা সঞ্চিত এবং খুলতে ও সম্পাদন করতে পারে। এখানে আকর্ষণীয় প্রশ্নটি হ'ল যদি ব্যবহারকারী এক্স ব্যবহারকারী ওয়াই দ্বারা রচিত নোটবুকের কোষগুলি কার্যকর করে তবে আমার আচরণটি কী হবে I আমার ধারণা নোটবুকটি পরিবর্তন করা উচিত নয় :
  2. সমাধানটি স্ব-হোস্ট করা উচিত।
  3. নোটবুকগুলি সার্ভারে বা গুগল ড্রাইভে বা স্ব-ক্লোডের স্ব-হোস্টেড ইভেন্টে সংরক্ষণ করা উচিত।
  4. (বোনাস) নোটবুকগুলি গিট সংস্করণ নিয়ন্ত্রণের অধীনে থাকবে (গিটটি স্ব-হোস্ট করা যেতে পারে G গিটহাব বা এই জাতীয় কিছুতে আবদ্ধ হতে পারে না)।

আমি জুপিটারহাব এবং বাইন্ডারের দিকে তাকালাম । পূর্বের সাথে, আমি কীভাবে ক্রস ব্যবহারকারীদের অ্যাক্সেসের অনুমতি দেব তা বুঝতে পারি নি। আধুনিকগুলি কেবল নোটবুকগুলির সঞ্চয় হিসাবে গিটহাবকে সমর্থন করে বলে মনে হচ্ছে।

সমাধানগুলির সাথে আপনার কি অভিজ্ঞতা আছে?


কাগল এমন একটি সিস্টেম ঘোষণা করলেন যা আপনি যা চান তা হতে পারে।
রিকার্ডো ক্রুজ

1
বৃহস্পতিহাব হ'ল এই প্রস্তাবের জন্য।
ড্যানিয়েইউ

@ আদনিয়েউউ আমি ধরে নিলাম আপনার অর্থ জুপিটারহাব, তাই না? ক্রস ব্যবহারকারীদের নোটবুক ভাগ করে নেওয়া কি সম্ভব?
আতঙ্কিত আতারিয়াহ

না, প্রতিটি ব্যবহারকারীর জুপিটারের আলাদা আলাদা উদাহরণ রয়েছে। আফাইক আপনি সহজেই নোটবুকগুলি ভাগ করতে পারবেন না।
লুকাসজ ট্র্যাসেউস্কি

গুগল কলাবোরেটরি স্পষ্টভাবে প্রয়োজনীয়তা 3 পূরণ করে
লেপোনজো

উত্তর:


2

এয়ারবিএনবি সম্প্রতি উন্মুক্ত তাদের অভ্যন্তরীণ তথ্য বিজ্ঞানের জ্ঞানের সংগ্রহস্থলের সন্ধান করেছে: https://github.com/airbnb/ জ্ঞান-repo

এর রিডমি থেকে মনে হয় এটি আপনার ব্যবহারের ক্ষেত্রে আলগাভাবে ফিট করতে পারে:

নলেজ রিপোজিটরি প্রকল্পটি ডেটা বিজ্ঞানীরা এবং এই প্রযুক্তিগুলিতে উপলব্ধি করার জন্য ডেটা ফর্ম্যাট এবং সরঞ্জামগুলি ব্যবহার করে অন্যান্য প্রযুক্তিগত ভূমিকার মধ্যে জ্ঞানের ভাগ করে নেওয়ার সুবিধার্থে মনোনিবেশ করেছে। এটি "জ্ঞান পোস্টগুলি" এর জন্য বিভিন্ন ডেটা স্টোর (এবং তাদের পরিচালনার জন্য ইউটিলিটিস) সরবরাহ করে, প্রজননযোগ্য গবেষণাকে আরও উন্নত করার জন্য নোটবুকগুলিতে (আর মার্কডাউন এবং জপিটার / আইপিথন নোটবুক) উপর বিশেষ দৃষ্টি নিবদ্ধ রেখে।

এর অনুপ্রেরণায় মন্তব্য করে একটি ব্লগ পোস্টও রয়েছে


2

জুপিটারহাব সংস্করণ নিয়ন্ত্রণ ব্যবস্থা সরবরাহ করে না বা নোটবুকগুলি ভাগ করার সুবিধা দেয় না। আপনি নিজেকে বাইন্ডার সীমাবদ্ধতার কথা উল্লেখ করেছেন।

জেপেলিন চেষ্টা করুন । সংস্করণ 0.7 পরবর্তী কয়েক দিনের মধ্যে প্রকাশ করা উচিত।

  • আপনি যেমনটি রোডম্যাপ থেকে দেখতে পাচ্ছেন , এই সংস্করণটি "এন্টারপ্রাইজ" বৈশিষ্ট্যগুলি সরবরাহ করে যা একেবারে সহযোগিতার বিষয়ে।
  • সংস্করণ নিয়ন্ত্রণ ব্যবস্থা (গিট) একীভূত করা হয়েছে।
  • এটি স্ব-হোস্টেড।

সংক্ষেপে, আমার মনে হয় এটি আপনার পোস্ট করা সমস্ত প্রয়োজনীয়তা পূরণ করে। সর্বোপরি এটি সমৃদ্ধ দর্শন ক্ষমতা এবং অন্যান্য বৈশিষ্ট্যগুলির আধিক্য সরবরাহ করে (শিরো, নক্স, কার্বেরোসের সাথে কাজ করে - নিরাপদ স্পার্ক কারও সাথে?)।


0

আমি জানি কেবলমাত্র স্ব-হোস্টেড সমাধান হ'ল পেইড অ্যানাকোন্ডা এন্টারপ্রাইজ ক্লাউড সেটআপ, https://anaconda.org/about । অন্যান্য সমাধানগুলি সম্পর্কে আমি সচেতন, স্ব-হোস্টেবল নয়!


0

এই সমাধান কি যথেষ্ট ভাল নয় ?

আপনি ssh এর সাহায্যে অ্যাক্সেস রক্ষা করতে পারবেন, এবং হোস্ট করা ফাইলগুলি বিভিন্ন লিনাক্স (বা যাই হোক না কেন) ব্যবহারকারীর অ্যাক্সেস সহ আপনি চান গিট সংগ্রহস্থল হতে পারে। আপনার নিজের সার্ভার লাগবে।


0

যা আমি পেয়েছি - তথ্য বিজ্ঞানীদের জন্য নোটবুক ভাগ করে নেওয়া যোগাযোগের জন্য পছন্দসই বিন্যাস নয়। তাদের মধ্যে অনেকে আইডিই যেমন স্পাইডার / আরস্টুডিও বা কেবল একটি পাঠ্য সম্পাদককে পছন্দ করেন (আমি ব্যবহার করি এমন কিছু ডেটা বিজ্ঞানী জানি vi)।

আপনি কেবলমাত্র আপনার উত্স নিয়ন্ত্রণ এবং ক্লাউড স্টোরেজের মাধ্যমে ডেটা ভাগ করতে পারেন। এতে নমনীয়তা বাড়বে।

আমি সম্প্রতি একটি সরঞ্জাম খোলা করেছি যা কোড, ডেটা এবং একক পরিবেশের সাথে ডেটা এবং কোডের মধ্যে নির্ভরতা একত্রিত করে আপনার ডেটা বিজ্ঞানের প্রকল্পটিকে পুনরুত্পাদনযোগ্য করে তুলেছে: ডিভিসি বা ডেটাভার্সিয়াকন্ট্রোল.কম (একটি টিউটোরিয়াল রয়েছে)।

ডিভিসি সরঞ্জামের সাহায্যে আপনি কেবল গিট দ্বারা আপনার প্রকল্পটি ভাগ করতে পারেন, একক ডিভিসি কমান্ড দ্বারা এস 3-তে ডেটা সিঙ্ক করতে পারেন। যদি আপনার কিছু ডেটা বিজ্ঞানী আপনার প্রকল্পের যে কোনও পর্যায়ে কোড পরিবর্তন করার সিদ্ধান্ত নেন তবে চূড়ান্ত ফলাফলটি একটি কমান্ড দ্বারা সহজেই পুনরুত্পাদন করা যেতে পারে dvc repro data/target_metrics.txt


0

ডোমিনো ডেটা ল্যাব প্রাঙ্গনে, সাআস এবং ভিপিসি ভিত্তিক নোটবুক হোস্টিং (জুপিটার, জেপেলিন, আরস্টুডিও), গিট ইন্টিগ্রেশন, স্কেলেবল কম্পিউট, এনভায়রনমেন্ট টেম্পলেট এবং আরও কিছু দরকারী জিনিস সরবরাহ করে। আপনি যদি একটি ছোট দল হন তবে প্রাঙ্গণে / ভিপিসি অফারগুলি অত্যধিক কিল এবং খুব দামি হতে পারে, তবে সাএস পরিকল্পনাগুলি বেশ যুক্তিসঙ্গতভাবে মূল্যবান।

[সম্পূর্ণ প্রকাশ: আমি প্রাক্তন ডোমিনো কর্মচারী]

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.