আপনার প্রশ্নের মন্তব্যে যেমন উল্লেখ করা হয়েছে, সেখানে আরও অনেক লোক আরও ভাল কিছু খুঁজে পাওয়ার জন্য কাজ করছেন। আমি যদিও @ জোশের দেওয়া মন্তব্যটি প্রসারিত করে এই প্রশ্নের উত্তর দিতে চাই
সমস্ত মডেল ভুল তবে কিছু দরকারী (উইকি)
উপরের বিবৃতিটি একটি সাধারণ সত্য যা পরিসংখ্যানের মডেলগুলির প্রকৃতি বর্ণনা করতে ব্যবহৃত হয়। আমাদের উপলভ্য থাকা ডেটা ব্যবহার করে আমরা এমন মডেল তৈরি করতে পারি যা আমাদের কাছে আনুমানিক মান হিসাবে আনুমানিক মূল্য হিসাবে কার্যকর কাজ করতে দেয়।
উদাহরণস্বরূপ লিনিয়ার রিগ্রেশন নিন
বেশ কয়েকটি পর্যবেক্ষণ ব্যবহার করে আমরা স্বতন্ত্র ভেরিয়েবল (গুলি) এর জন্য কোনও মান (গুলি) প্রদত্ত একটি নির্ভরশীল ভেরিয়েবলের জন্য একটি আনুমানিক মান দিতে আমরা একটি মডেল ফিট করতে পারি।
বার্নহ্যাম, কেপি; অ্যান্ডারসন, ডিআর (2002), মডেল নির্বাচন এবং মাল্টিমোডেল> অনুমান: একটি ব্যবহারিক তথ্য-তাত্ত্বিক পদ্ধতির (দ্বিতীয় সংস্করণ):
"একটি মডেল বাস্তবের সরলীকরণ বা সান্নিধ্য হয় এবং তাই বাস্তবের সমস্ত চিত্রকে প্রতিফলিত করে না ... ... বক্স উল্লেখ করেছে যে" সমস্ত মডেল ভুল, তবে কিছু কার্যকর। " অত্যন্ত দরকারী থেকে দরকারী, কিছুটা উপকারী থেকে অবশেষে মূলত অকেজো হয়ে যায় "
আমাদের মডেল থেকে বিচ্যুতিগুলি (উপরের চিত্রে যেমন দেখা যায়) এলোমেলোভাবে উপস্থিত হয়, কিছু পর্যবেক্ষণ লাইনের নীচে থাকে এবং কিছু উপরে থাকে তবে আমাদের রিগ্রেশন লাইনটি একটি সাধারণ সম্পর্ককে দেখায়। যদিও আমাদের মডেলের বিচ্যুতি এলোমেলোভাবে উপস্থিত হয়, বাস্তবের দৃশ্যে অন্যান্য কারণও খেলতে পারে যা এই বিচ্যুতি ঘটায়। উদাহরণস্বরূপ, গাড়ি দেখার সময় কল্পনা করুন তারা যখন কোনও মোড় দিয়ে গাড়ি চালাচ্ছেন যেখানে চালিয়ে যাওয়ার জন্য তাদের বাম বা ডানদিকে ঘুরতে হবে, গাড়িগুলি কোনও নির্দিষ্ট প্যাটার্নে পরিণত হবে না। আমরা যখন বলতে পারি যে গাড়িগুলি যেদিকে ঘুরিয়েছে সেগুলি পুরো এলোমেলো, প্রতিটি চালক কী মোড়কে পৌঁছায় এবং সেই মুহুর্তে কোন দিকে ঘুরতে হবে তা এলোমেলো সিদ্ধান্ত নেয়? বাস্তবে তারা সম্ভবত কোনও নির্দিষ্ট কারণে সুনির্দিষ্ট কোথাও যাচ্ছেন, এবং প্রতিটি গাড়ি তাদের যুক্তি সম্পর্কে জিজ্ঞাসা করতে থামানোর চেষ্টা না করে আমরা কেবল তাদের ক্রিয়াটি এলোমেলো হিসাবে বর্ণনা করতে পারি।
যেখানে আমরা ন্যূনতম বিচ্যুতিতে একটি মডেল ফিট করতে সক্ষম, আমরা কীভাবে নিশ্চিত হতে পারি যে কোনও এক জায়গায় অজানা, অলক্ষিত বা অপরিমেয় পরিবর্তনশীল অদৃশ্যটি আমাদের মডেলটিকে ফেলে দেয়? ব্রাজিলের একটি প্রজাপতির ডানার ঝাপটানি টেক্সাসে টর্নেডো সেট করে?
আপনি একা উল্লেখ করেছেন লিনিয়ার এবং এসভিএন মডেলগুলি ব্যবহার করার ক্ষেত্রে সমস্যাটি হ'ল আমাদের কিছু পরিবর্তনশীল এবং সেগুলি একে অপরকে কীভাবে প্রভাবিত করে তা ম্যানুয়ালি পর্যবেক্ষণ করতে আমাদের কিছুটা প্রয়োজন। আমাদের তখন কোন ভেরিয়েবল গুরুত্বপূর্ণ তা নির্ধারণ করতে হবে এবং একটি কার্য-নির্দিষ্ট অ্যালগরিদম লিখতে হবে। এটি কেবল আমাদের সামনে কয়েকটি পরিবর্তনশীল থাকলে সোজা হয়ে যেতে পারে, তবে আমাদের যদি কয়েক হাজার থাকে? আমরা যদি কোনও জেনারেলাইজড ইমেজ রিকগনিশন মডেল তৈরি করতে চাইতাম, তবে কি এই পদ্ধতির মাধ্যমে বাস্তবতাই অর্জন করা যেতে পারে?
গভীর লার্নিং এবং কৃত্রিম নিউরাল নেটওয়ার্কস (এএনএন) আমাদের বিপুল পরিমাণে ভেরিয়েবল (উদাহরণস্বরূপ চিত্র গ্রন্থাগার) সমেত বিশাল ডেটা সেটগুলির জন্য দরকারী মডেল তৈরি করতে সহায়তা করতে পারে। যেমনটি আপনি উল্লেখ করেছেন, অজানা সংখ্যক সমাধান রয়েছে যা এএনএন ব্যবহার করে ডেটা মাপসই করতে পারে তবে এই সংখ্যাটি কী আমাদের সমাধান এবং ত্রুটির মধ্য দিয়ে সমাধানের পরিমাণের তুলনায় কী আলাদা হবে?
এএনএনগুলির প্রয়োগ আমাদের জন্য বেশিরভাগ কাজ করে, আমরা আমাদের ইনপুটগুলি এবং আমাদের পছন্দসই ফলাফলগুলি নির্দিষ্ট করতে পারি (এবং উন্নতি করতে পরে সেগুলিকে টুইঙ্ক করতে পারি) এবং সমাধানটি বের করার জন্য এটি এএনএন-এর কাছে রেখে দিতে পারি। এ কারণেই এএনএনকে প্রায়শই "ব্ল্যাক বক্স" হিসাবে বর্ণনা করা হয় । প্রদত্ত ইনপুট থেকে তারা একটি আনুমানিক আউটপুট আউটপুট দেয়, তবে (সাধারণ শর্তে) এই অনুমানগুলিতে কীভাবে তারা প্রায় অনুমান করা হয়েছিল তার বিবরণ অন্তর্ভুক্ত করে না।
এবং তাই এটি কী সমস্যার সমাধান করার চেষ্টা করছেন তা আসলেই নেমে আসে, কারণ সমস্যাটি নির্দেশ করবে যে কোন মডেল পদ্ধতির বেশি কার্যকর। মডেলগুলি একেবারে নির্ভুল নয় এবং তাই সর্বদা 'ভুল' হওয়ার একটি উপাদান থাকে তবে আপনার ফলাফলগুলি যত বেশি সঠিক সেগুলি তত বেশি সঠিক। আনুমানিকতা কীভাবে করা হয়েছিল তার ফলাফলগুলিতে আরও বিশদ থাকাও সমস্যাটির উপর নির্ভর করে এটি বর্ধিত নির্ভুলতার চেয়ে আরও কার্যকর হতে পারে।
উদাহরণস্বরূপ যদি আপনি কোনও ব্যক্তির ক্রেডিট স্কোর গণনা করছেন, রিগ্রেশন এবং এসভিএম ব্যবহার করে এমন গণনা সরবরাহ করে যা আরও ভালভাবে অন্বেষণ করা যায়। উভয়ই মডেলটিকে সরাসরি ঝাপটতে সক্ষম এবং গ্রাহকদের তাদের পৃথক পৃথক স্কোরের জন্য পৃথক স্বতন্ত্র ভেরিয়েবলের প্রভাবটি ব্যাখ্যা করতে সক্ষম হওয়াই খুব দরকারী। একটি এএনএন আরও সঠিক স্কোর অর্জনের জন্য বৃহত পরিমাণে ভেরিয়েবল প্রসেসিংয়ে সহায়তা করতে পারে, তবে এই নির্ভুলতাটি আরও কার্যকর হবে কি?