"ডিপ লার্নিং" এবং মাল্টিলেভেল / শ্রেণিবদ্ধ মডেলিংয়ের মধ্যে পার্থক্য কী?

Question

মাল্টিলেভেল / হায়ারার্কিকাল মডেলিংয়ের জন্য কি "গভীর শিক্ষা" কি অন্য একটি শব্দ?

আমি পূর্বের তুলনায় অনেক বেশি পরিচিত, তবে আমি যা বলতে পারি তা থেকে প্রাথমিক পার্থক্যটি তাদের সংজ্ঞায় নেই, তবে কীভাবে তারা তাদের অ্যাপ্লিকেশন ডোমেনের মধ্যে ব্যবহার এবং মূল্যায়ন করা হয়।

দেখে মনে হচ্ছে সাধারণত একটি "ডিপ লার্নিং" অ্যাপ্লিকেশনটিতে নোডের সংখ্যা আরও বড় এবং জেনেরিক হায়ারারিকিকাল ফর্ম ব্যবহার করে, যেখানে মাল্টিলেভেল মডেলিংয়ের অ্যাপ্লিকেশনগুলি সাধারণত একটি শ্রেণিবিন্যাসিক সম্পর্ক ব্যবহার করে যা জেনারেটর প্রক্রিয়াটির নমুনা তৈরি করে। একটি প্রয়োগিত পরিসংখ্যান (শ্রেণিবিন্যাসের মডেলিং) ডোমেইনে জেনেরিক হায়ারার্কি ব্যবহারকে ঘটনার একটি "ভুল" মডেল হিসাবে বিবেচনা করা হবে, অন্যদিকে একটি ডোমেন-নির্দিষ্ট শ্রেণিবিন্যাসের মডেলিংকে জেনেরিক গভীর শেখার মেশিন তৈরির উদ্দেশ্যকে বিপর্যয় হিসাবে বিবেচনা করা যেতে পারে।

এই দুটি জিনিস দুটি ভিন্ন নামে ব্যবহৃত দুটি ভিন্ন নামে সত্যই একই যন্ত্রপাতি কি?

Answer 1

আদল

মেশিন লার্নিং অ্যাপ্লিকেশনগুলিতে একটি সাধারণ প্রশ্নের উত্তর দেওয়ার জন্য মূলত উভয় ধরণের অ্যালগরিদম তৈরি করা হয়েছিল:

প্রদত্ত পূর্বাভাসকারী (ফ্যাক্টর) - পারফরম্যান্স বাড়ানোর জন্য এই উপাদানগুলির মধ্যে মিথস্ক্রিয়াকে কীভাবে যুক্ত করতে হবে?$x_1, x_2, \ldots, x_p$

একটি উপায় হ'ল নতুন ভবিষ্যদ্বাণীকারীদের সহজভাবে পরিচয় করিয়ে দেওয়া: তবে বিপুল সংখ্যক পরামিতি এবং খুব নির্দিষ্ট ধরণের মিথস্ক্রিয়তার কারণে এটি খারাপ ধারণা হিসাবে প্রমাণিত।$x_{p+1} = x_1x_2, x_{p+2} = x_1x_3, \ldots$

মাল্টিলেভেল মডেলিং এবং ডিপ লার্নিং অ্যালগরিদম উভয়ই ইন্টারঅ্যাকশনের আরও স্মার্ট মডেল প্রবর্তন করে এই প্রশ্নের উত্তর দেয়। এবং এই দৃষ্টিকোণ থেকে তারা খুব অনুরূপ।

পার্থক্য

এখন তাদের মধ্যে দুর্দান্ত ধারণাগত পার্থক্য কী তা সম্পর্কে আমার বোঝার চেষ্টা করার সুযোগ দিন। কিছু ব্যাখ্যা দেওয়ার জন্য, আসুন আমরা প্রতিটি মডেলকে অনুমান করি:

মাল্টিলেভেল মডেলিং: structure স্তর যা ডেটা কাঠামোকে প্রতিফলিত করে তা একটি বায়সিয়ান হায়ারার্কিকাল নেটওয়ার্ক হিসাবে উপস্থাপিত হতে পারে । এই নেটওয়ার্কটি স্থির এবং সাধারণত ডোমেন অ্যাপ্লিকেশন থেকে আসে।$^1$

গভীর শিক্ষা: factors ডেটাটি অনেক কারণের ইন্টারঅ্যাকশন দ্বারা উত্পন্ন হয়েছিল। মিথস্ক্রিয়া কাঠামো জানা যায় না, তবে স্তরযুক্ত কারণ হিসাবে উপস্থাপিত হতে পারে: উচ্চ-স্তরের মিথস্ক্রিয়া নিম্ন-স্তরের উপস্থাপনাগুলি রূপান্তরিত করে প্রাপ্ত হয়।$^2$

মৌলিক পার্থক্যটি ডিপ লার্নিংয়ের "মিথস্ক্রিয়া কাঠামোটি জানা যায় না" এই বাক্যটি থেকে আসে । আমরা ইন্টারঅ্যাকশনর ধরণে কিছু প্রিয়ার ধরে নিতে পারি, তবে তবুও অ্যালগরিদম শিখার পদ্ধতির সময় সমস্ত মিথস্ক্রিয়া সংজ্ঞায়িত করে। অন্যদিকে, মাল্টিলেভেল মডেলিংয়ের জন্য আমাদের ইন্টারঅ্যাকশনগুলির কাঠামোটি সংজ্ঞায়িত করতে হবে (আমরা কেবলমাত্র মডেলটির প্যারামিটারগুলির পরে পরিবর্তিত শিখি)।

উদাহরণ

উদাহরণস্বরূপ, ধরে নেওয়া যাক আমাদের তিনটি উপাদান এবং আমরা এবং কে বিভিন্ন স্তর হিসাবে সংজ্ঞায়িত করি ।$x_1, x_2, x_3$$\{x_1\}$$\{x_2, x_3\}$

মাল্টিলেভেল মডেলিং রিগ্রেশনে, উদাহরণস্বরূপ, আমরা ইন্টারঅ্যাকশনগুলি পাব$x_1 x_2$ এবং মিথস্ক্রিয়াগুলি পেয়ে যাব, তবে আমরা কখনই ইন্টারঅ্যাকশনটি পাব না । অবশ্যই, আংশিকভাবে ফলাফলগুলি ত্রুটির পারস্পরিক সম্পর্কের দ্বারা প্রভাবিত হবে, তবে উদাহরণের জন্য এটি অতটা গুরুত্বপূর্ণ নয়।$x_1 x_3$$x_2 x_3$

ডিপ লার্নিংয়ে, উদাহরণস্বরূপ মাল্টিলেয়ার্ড সীমাবদ্ধ বল্টজম্যান মেশিনে ( আরবিএম ) দুটি লুকানো স্তর এবং লিনিয়ার অ্যাক্টিভেশন ফাংশন সহ, আমাদের তিনটি এর চেয়ে কম বা সমান ডিগ্রি সহ সমস্ত সম্ভাব্য বহুবচন ইন্টারঅ্যাকশন থাকবে।

সাধারণ সুবিধা এবং অসুবিধা

মাল্টিলেভেল মডেলিং

(-) মিথস্ক্রিয়া কাঠামো সংজ্ঞায়িত করা প্রয়োজন

(+) ফলাফলগুলি ব্যাখ্যা করা সাধারণত সহজ

(+) পরিসংখ্যান পদ্ধতি প্রয়োগ করতে পারে (আত্মবিশ্বাসের অন্তরগুলি মূল্যায়ন করতে, হাইপোথিসিগুলি পরীক্ষা করে)

গভীর জ্ঞানার্জন

(-) প্রশিক্ষণের জন্য প্রচুর পরিমাণে ডেটা প্রয়োজন (এবং পাশাপাশি প্রশিক্ষণের জন্য সময়ও)

(-) ফলাফলগুলি ব্যাখ্যা করা সাধারণত অসম্ভব (একটি ব্ল্যাক বক্স হিসাবে সরবরাহ করা হয়)

(+) কোনও বিশেষজ্ঞের জ্ঞানের প্রয়োজন নেই

(+) একবার ভাল প্রশিক্ষিত হয়ে সাধারণত অন্যান্য বেশিরভাগ সাধারণ পদ্ধতিকে ছাড়িয়ে যায় (অ্যাপ্লিকেশন নির্দিষ্ট নয়)

আশা করি এটি সাহায্য করবে!

Comments

একটি গভীর নিউরাল নেটওয়ার্ক কেন প্রশিক্ষণের জন্য বিপুল পরিমাণে ডেটা প্রয়োজন? এর আগে আমি এর আগে শুনিনি।

— জেস

@ জেস নিউরাল নেটওয়ার্কগুলিতে সাধারণত প্রচুর পরিমাণ প্যারামিটার থাকে, তাই অনেক ক্ষেত্রে আপনি যদি একটি ছোট ডেটাসেট ব্যবহার করেন তবে আপনি সম্ভবত মাত্রাতিরিক্ত মানিয়ে যাবেন। অবশ্যই, সবকিছু কাজের উপর নির্ভর করে, তবে এনএন এর সবচেয়ে চিত্তাকর্ষক ফলাফলগুলির মধ্যে আজকাল অত্যন্ত বিশাল ডেটাসেট ব্যবহার করা হয়।

— দিমিত্রি ল্যাপটভ

সম্মত হয়েছেন যে চিত্তাকর্ষক ফলাফলগুলি বিশাল ডেটাসেটগুলিতে রয়েছে, তবে আমি নিশ্চিত নই যে ছোট ড্র্যাটাসেটগুলি থেকে ভাল করার জন্য আমরা ড্রপআউট এবং অন্যান্য কৌশলগুলি ব্যবহার করতে পারি না।

— জেস 13

@ জেস শিওর, আপনি ব্যবহার করতে পারেন এমন বিভিন্ন হুরিস্টিকস রয়েছে। তবে ইমেজ প্রসেসিংয়ের সাথে আমার অভিজ্ঞতা অবধি প্রায় সকলেই কিছু নিয়মিতকরণ প্রবর্তন করেন যা মূলত কিছু পূর্ব এবং অতএব পক্ষপাতিত্ব প্রবর্তনের সমতুল্য। যা সর্বদা আপনি চান তা নয়।

— দিমিত্রি ল্যাপটভ

সম্ভবত আপনি যদি ননপ্যারমেট্রিক্স উদাহরণস্বরূপ একটি হায়ারারিকাল ডিরিচলেট ব্যবহার করেন তবে আপনার ইন্টারঅ্যাকশনগুলির কাঠামো সংজ্ঞায়িত করার দরকার নেই।

— অ্যাস্ট্রিড

Answer 2

যদিও এই প্রশ্ন / উত্তরটি কিছুটা সময়ের জন্য বাইরে চলে গেছে, আমি আশা করেছি যে উত্তরের কয়েকটি পয়েন্টটি পরিষ্কার করা সহায়ক হতে পারে। প্রথমত, শ্রেণিবদ্ধ পদ্ধতি এবং গভীর নিউরাল নেটওয়ার্কগুলির মধ্যে একটি প্রধান পার্থক্য হিসাবে উত্থাপিত বাক্যাংশটি 'এই নেটওয়ার্কটি স্থির রয়েছে।' ভুল. শ্রেণিবদ্ধ পদ্ধতি বিকল্প, নিউরাল নেটওয়ার্কগুলির চেয়ে 'স্থির' নয়। উদাহরণস্বরূপ, হায়ারার্কিকাল কনভলিউশনাল ফ্যাক্টর অ্যানালাইসিস, চেন ইত্যাদি সহ কাগজ ডিপ লার্নিং দেখুন। অল।। আমি মনে করি আপনি এটিও দেখতে পাবেন যে মিথস্ক্রিয়াকে সংজ্ঞায়িত করার প্রয়োজনীয়তাটি এখন আর একটি স্বতন্ত্র বিষয় নয়। শ্রেণিবদ্ধ মডেলিংয়ের সাথে প্লাস হিসাবে তালিকাভুক্ত না হওয়া কয়েকটি পয়েন্ট হ'ল, আমার অভিজ্ঞতা থেকে, ওভারফিটিংয়ের উল্লেখযোগ্যভাবে হ্রাস হওয়া সমস্যা এবং খুব বড় এবং খুব ছোট প্রশিক্ষণের দুটি সেট হ্যান্ডেল করার ক্ষমতা। একটি নাইটপিক পয়েন্ট হ'ল যখন বায়সিয়ান হায়ারার্কিকাল পদ্ধতিগুলি ব্যবহার করা হয় তখন আত্মবিশ্বাসের ব্যবধান এবং অনুমানের পরীক্ষাটি সাধারণত পরিসংখ্যানগত পদ্ধতি নয় যা প্রয়োগ করা হত।