উদাহরণস্বরূপ অবকাঠামো স্ট্যাক / ওয়ার্কফ্লো / পাইপলাইনগুলির সন্ধান করছেন


14

আমি বুঝতে চেষ্টা করছি যে সমস্ত "বিগ ডেটা" উপাদানগুলি বাস্তব বিশ্বের ব্যবহারের ক্ষেত্রে কীভাবে একসাথে খেলছে, যেমন হ্যাডোপ, মনোগডবি / নোসকিএল, ঝড়, কাফকা, ... আমি জানি যে এটি বেশ বিস্তৃত সরঞ্জামগুলির জন্য ব্যবহৃত হয় বিভিন্ন ধরণের, তবে আমি অ্যাপ্লিকেশনগুলিতে তাদের মিথস্ক্রিয়া সম্পর্কে আরও জানতে চাই, যেমন কোনও অ্যাপ্লিকেশন, ওয়েবঅ্যাপ, অনলাইন শপের জন্য চিন্তাভাবনা মেশিন লার্নিং।

আমার কাছে ভিজার / সেশন, লেনদেনের ডেটা ইত্যাদি রয়েছে এবং তা সঞ্চয় করে রাখি; তবে আমি যদি উড়তে সুপারিশ করতে চাই তবে লগের বড় কিছু ডাটাবেসে আমি এর জন্য ধীর মানচিত্র চালাতে / চাকরি হ্রাস করতে পারি না। পরিকাঠামোগত দিকগুলি সম্পর্কে আমি আরও কোথায় জানতে পারি? আমি মনে করি আমি নিজেরাই বেশিরভাগ সরঞ্জামগুলি ব্যবহার করতে পারি তবে এগুলিকে একে অপরের সাথে প্লাগ করা এটিকে নিজস্ব একটি শিল্প বলে মনে হয়।

এখানে কি কোন পাবলিক উদাহরণ / ব্যবহারের কেস ইত্যাদি পাওয়া যায়? আমি বুঝতে পারি যে পৃথক পাইপলাইনগুলি দৃ case়ভাবে ব্যবহারের ক্ষেত্রে এবং ব্যবহারকারীর উপর নির্ভর করে তবে কেবল উদাহরণগুলি সম্ভবত আমার পক্ষে খুব কার্যকর হবে।


আপনি এই সম্পর্কে কোন গবেষণা করেছেন? অনেকগুলি ইউটিউব ভিডিও এবং স্লাইডসারে উপস্থাপনাগুলি বিভিন্ন আর্কিটেকচারের বর্ণনা
দিচ্ছে

1
আরে স্ট্যানপল, আপনার প্রতিক্রিয়াটির জন্য ধন্যবাদ - আমি কিছু প্রাথমিক অনুসন্ধান করেছি এবং সত্যিই এডাব্লুএস এবং ক্লৌডের স্টাফ ছাড়াও কিছুই পাইনি - সম্ভবত আপনি যদি আমাকে কিছু অনুসন্ধানের পদ দিতে পারেন যে প্রতিশ্রুতিশীল, আমি সেখান থেকে এটি নিয়ে খুশি হব।
chrshmmmr

উত্তর:


14

মেশিন লার্নিংয়ের বিভিন্ন উপায়ে উত্পাদন অ্যাপ্লিকেশনগুলিতে একীভূত করা যায় তা বোঝার জন্য, আমি মনে করি যে তাদের অবকাঠামোগত বর্ণনা দেওয়ার সংস্থাগুলির ওপেন সোর্স প্রকল্প এবং কাগজপত্র / ব্লগ পোস্টগুলি সন্ধান করা দরকারী useful

এই সিস্টেমগুলির যে সাধারণ থিম রয়েছে তা হ'ল মডেল অ্যাপ্লিকেশন থেকে মডেল প্রশিক্ষণের পৃথকীকরণ। উত্পাদনের সিস্টেমে, 100s এমএসের ক্রম অনুসারে মডেল অ্যাপ্লিকেশনটি দ্রুত হওয়া দরকার, তবে প্রায়শই ফিট হওয়া মডেল প্যারামিটারগুলি (বা সমমানের) কীভাবে আপডেট করা দরকার সে বিষয়ে আরও স্বাধীনতা রয়েছে।

মডেল প্রশিক্ষণ এবং স্থাপনার জন্য লোকেরা বিস্তৃত সমাধান ব্যবহার করে:


7

একটি জটিল বিশ্লেষণ পাইপলাইন স্থাপনের সর্বাধিক বিস্তারিত এবং স্পষ্ট ব্যাখ্যা হ'ল টুইচের লোকেরা ।
তারা সংগ্রহ, পরিবহন, সমন্বয়, প্রক্রিয়াজাতকরণ, সঞ্চয়স্থান এবং তাদের ডেটা অনুসন্ধানের জন্য আর্কিটেকচারের প্রতিটি পছন্দ সম্পর্কে বিশদ প্রেরণা দেয়।
পড়তে বাধ্য! এটি এখানে এবং এখানে সন্ধান করুন


এটি বেশ দুর্দান্ত, আমি ঠিক কী খুঁজছিলাম! অনেক অনেক ধন্যবাদ :)
chrshmmmr

@ chrshmmmr আপনাকে স্বাগতম যদি এটি সাহায্য করে তবে গ্রহণযোগ্য হিসাবে চিহ্নিত / চিহ্নিত করতে ভুলবেন না!
tchakravarty

3
এই লিঙ্কগুলি সত্যই খুব দরকারী বলে মনে হচ্ছে, তবে তারপরে আবার সেগুলি লিঙ্কগুলি এবং আমার ধারণা বাইরের উত্সের স্থিতিশীলতার চেয়ে উত্তরগুলি বজায় রাখার জন্য আমাদের প্রচেষ্টা করা উচিত। সুতরাং, আপনি যুক্ত করতে কিছু দু'তিন মিনিট সময় নিতে পারলে এটি চমৎকার হবে, উদাহরণস্বরূপ, এই লিঙ্কটি থেকে ডায়াগ্রামটি একটি দ্রুত বিবরণ সহ পোস্ট করে। এর লাইনে কিছু: "উদাহরণস্বরূপ, এটি একটি ... সিস্টেমের কর্মপ্রবাহ <<img> Further আরও তথ্য <লিঙ্ক> এ পাওয়া যেতে পারে।"
রুবেন্স

1
@ রুবেস আমি কিছুক্ষণের মধ্যে একটি সম্পাদনার প্রস্তাব দেব। fgnu: তাই করবেন, উত্তরগুলি উত্তর দেওয়ার জন্য কেবল আরও কিছু খ্যাতি দরকার, তবে আমি অবশ্যই আপনার অবদানকে সম্মান করব :)
chmmmmmr

@ রুবেন্সগুলি লিঙ্কে থাকা তথ্যের পুনঃপ্রকাশের চেয়ে আর কিছু হবে না। আমি যদি কিছু অনুভব করি তবে আমি ইতিমধ্যে সেখানে দেওয়া ব্যাখ্যাটি যুক্ত করব।
tchakravarty


1

আর ( http://www.manning.com/zumel/ ) সহ প্রাকটিক্যাল ডেটা সায়েন্সের অধ্যায় 1 এর মধ্যে টিমের ভূমিকা এবং কীভাবে তারা সুনির্দিষ্ট কার্যগুলির সাথে সম্পর্কিত সেগুলি সহ ডেটা সায়েন্স প্রক্রিয়াটির দুর্দান্ত বিচ্ছেদ ঘটেছে। বইটি অধ্যায়ে বর্ণিত মডেলগুলি অনুসরণ করে যা কোন নির্দিষ্ট পর্যায়ে / কর্মীরা এই বা সেই নির্দিষ্ট কাজটি সম্পাদন করবে তা উল্লেখ করে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.