আমি বেশ কয়েকবার শুনেছি যে গভীর শিক্ষার একটি মৌলিক / উন্মুক্ত সমস্যা হ'ল এটিতে "সাধারণ তত্ত্ব" এর অভাব কারণ প্রকৃতপক্ষে আমরা জানি না কেন গভীর শিক্ষা এত ভালভাবে কাজ করে। এমনকি গভীর শিক্ষার উইকিপিডিয়া পৃষ্ঠায়ও একই রকম মন্তব্য রয়েছে । এই জাতীয় বিবৃতিগুলি কি বিশ্বাসযোগ্য এবং ক্ষেত্রের রাজ্যের প্রতিনিধি?
উত্তর:
সেখানে একটি কাগজ বলা হয় কেন ডিপ লার্নিং এত ভাল কাজ করে? ।
"তবে, এখনও গভীরভাবে পড়াশুনা কেন এত ভালভাবে কাজ করে তা এখনও পুরোপুরি বোঝা যায় নি G গোফাইয়ের বিপরীতে (" ভাল পুরাতন ফ্যাশনযুক্ত এআই ") অ্যালগরিদমগুলি যা হস্ত-নকশাকৃত এবং বিশ্লেষণাত্মকভাবে পুরোপুরি বোঝা যায়, কৃত্রিম নিউরাল নেটওয়ার্কগুলি ব্যবহার করে অনেক অ্যালগরিদম কেবলমাত্র এখানেই বোঝা যায় একটি হিউরিস্টিক স্তর, যেখানে আমরা অনুপ্রাণিতভাবে জানি যে বিশাল ডেটা সেটগুলিকে নিয়োগ করে এমন কিছু প্রশিক্ষণ প্রোটোকলগুলি দুর্দান্ত পারফরম্যান্সের ফলশ্রুতি লাভ করবে। এটি মানুষের মস্তিষ্কের সাথে পরিস্থিতি স্মরণ করিয়ে দেয়: আমরা জানি যে আমরা যদি একটি নির্দিষ্ট পাঠ্যক্রম অনুসারে কোনও শিশুকে প্রশিক্ষণ দিই তবে সে কিছু শিখবে দক্ষতা - তবে তার মস্তিষ্ক কীভাবে এটি সম্পাদন করে সে সম্পর্কে আমাদের গভীর বোঝার অভাব রয়েছে ""
এটা খুব বেশি ঘটনা। গভীর শিক্ষণ মডেল এমনকি অগভীর যেমন স্ট্যাকড অটোর কোডার এবং নিউরাল নেটওয়ার্কগুলি পুরোপুরি বোঝা যায় না। এই জাতীয় জটিল পরিবর্তনশীল নিবিড় ফাংশনটির জন্য অপ্টিমাইজেশন প্রক্রিয়াটিতে কী ঘটছে তা বোঝার চেষ্টা রয়েছে। তবে, এটি একটি কঠিন কাজ।
গবেষকরা জেনেটিভ মডেলগুলি ব্যবহার করে কীভাবে গভীর শেখার কাজ করে তা আবিষ্কার করার জন্য যা ব্যবহার করছেন। প্রথমে আমরা একটি শেখার অ্যালগরিদমকে প্রশিক্ষণ দিই এবং উদাহরণস্বরূপ উত্পন্ন করার জন্য জিজ্ঞাসা করার সাথে সাথে এটি পদ্ধতিগতভাবে প্রতিবন্ধকতা তৈরি করি। ফলে উত্পন্ন উত্সর্গীকৃত উদাহরণগুলি পর্যবেক্ষণ করে আমরা আরও গুরুত্বপূর্ণ পর্যায়ে অ্যালগরিদমে কী ঘটছে তা অনুমান করতে সক্ষম হব। এটি মস্তিষ্কের বিভিন্ন উপাদানগুলির জন্য কী ব্যবহার করা হয় তা বোঝার জন্য স্নায়ুবিজ্ঞানের ইনহিবিটারগুলি ব্যবহার করার মতো। উদাহরণস্বরূপ, আমরা জানি যে ভিজ্যুয়াল কর্টেক্সটি এটিই রয়েছে কারণ আমরা যদি এটি ক্ষতি করে তবে আপনি অন্ধ হয়ে যাবেন।
এটি সম্ভবত "মৌলিক তত্ত্ব" বলতে কী বোঝায় তার উপর নির্ভর করে, তবে গভীর শিক্ষায় কঠোর পরিমাণগত তত্ত্বের অভাব নেই, যার কয়েকটি বিপরীতে দাবি সত্ত্বেও খুব সাধারণ।
একটি ভাল উদাহরণ শেখার জন্য শক্তি ভিত্তিক পদ্ধতিগুলি সম্পর্কে কাজ করা। উদাহরণস্বরূপ নীড় এবং হিন্টনের ভেরিয়েশনাল ইনফারেন্স এবং ফ্রি এনার্জি সম্পর্কিত কাজ দেখুন: http://www.cs.toronto.edu/~fritz/absps/emk.pdf
এছাড়াও ইয়ান লেকুন এবং সহকর্মীদের দ্বারা "বহু শিক্ষণ মডেলের সাধারণ তাত্ত্বিক কাঠামো" হিসাবে শক্তি হ্রাসের জন্য এই গাইড: http://yann.lecun.com/exdb/publis/pdf/lecun-06.pdf
এবং সেলেলিয়ার এবং বেনজিওর দ্বারা শক্তি ভিত্তিক মডেলগুলির জন্য একটি সাধারণ কাঠামো: https://arxiv.org/pdf/1602.05179.pdf
হিন্টন ও সেজনোস্কির আগের কাজটিও রয়েছে যা বিশ্লেষণাত্মকভাবে দেখায় যে একটি বিশেষ হপফিল্ড-অনুপ্রাণিত নেটওয়ার্ক + আনসপরিভিড লার্নিং অ্যালগরিদম আনুমানিক বায়েস-অনুকূল মান নির্ধারণ করতে পারে: https://papers.cnl.salk.edu/PDFs/Optimal%20Precepual%20Inferences%201983 -646.pdf
তাত্ত্বিক স্নায়ুবিজ্ঞানের সাথে গভীর শিক্ষাকে যুক্ত করার মতো অনেকগুলি নিবন্ধ রয়েছে, যেমন নীচের মতো, যা দেখায় যে জৈবিকভাবে প্রশ্রয়যোগ্য নিউরাল আর্কিটেকচারগুলিতে ব্যাকপ্রসারণের প্রভাবগুলি অর্জন করা যেতে পারে: https://arxiv.org/pdf/1411.0247.pdf
অবশ্যই অনেকগুলি মুক্ত প্রশ্ন রয়েছে এবং কোনও একক, অনিয়ন্ত্রিত ifiedক্যবদ্ধ তত্ত্ব নেই, তবে প্রায় কোনও ক্ষেত্রেই একই কথা বলা যেতে পারে।
আপনার উইকিপিডিয়া উদ্ধৃতি প্রশ্নবিদ্ধ কারণ গভীর শিক্ষার উন্নতি হয়েছে। আসলে, [citation needed]উইকিপিডিয়া পৃষ্ঠায় একটি আছে ।
Https://github.com/terryum/awesome- ডিভিড- বিসর্জন- কাগজগুলি দেখুন । লিঙ্কটিতে 100 টির মতো পেপার রয়েছে, আপনি কি এখনও মনে করেন গভীর-শিক্ষার "সাধারণ তত্ত্ব" নেই?
হ্যাঁ. গভীর শেখা বোঝা শক্ত কারণ এটি একটি খুব জটিল মডেল। তবে এর অর্থ এই নয় যে আমাদের তত্ত্ব নেই।
হতে পারে limeপ্যাকেজ এবং এটির কাগজ: "কেন আমাকে বিশ্বাস করা উচিত?": যে কোনও শ্রেণিবদ্ধের ভবিষ্যদ্বাণীগুলি আপনাকে সহায়তা করবে। কাগজটি পরামর্শ দেয় যে আমাদের আরও সহজ মডেল সহ স্থানীয়ভাবে একটি জটিল মডেল (গভীর শিক্ষার অন্তর্ভুক্ত) আনুমানিক করতে সক্ষম হওয়া উচিত।
গভীর শেখার তত্ত্বে থাকা একটি মূল প্রশ্নটি কেন এই জাতীয় মডেলগুলি (ডেটা পয়েন্টের তুলনায় অনেক বেশি পরামিতি সহ) আমরা যে ডেটাসেটগুলি ব্যবহার করি তার চেয়ে বেশি মানায় না।
জটিলতার ব্যবস্থার উপর ভিত্তি করে শাস্ত্রীয় তত্ত্ব ব্যবহারিক স্নায়বিক নেটওয়ার্কগুলির আচরণের ব্যাখ্যা দেয় না। উদাহরণস্বরূপ ভিসি মাত্রা অনুমান শূন্য সাধারণ সাধারণকরণ দেয়। যতদূর আমি জানি, ভিসি ডাইমেনশনের উপর সবচেয়ে কড়া (উপরের এবং নিম্ন) সীমাগুলি [1] এ দেওয়া হয়েছে এবং নেটওয়ার্কের ওজনগুলির সংখ্যা অনুসারে রয়েছে। স্পষ্টতই এই নিকৃষ্টতম জটিলতা ব্যাখ্যা করতে পারে না যে কীভাবে সিআইএফএআর বা এমএনআইএসটিতে একটি বড় রিসেট জেনারেল করে।
স্নায়বিক নেটওয়ার্কগুলির জন্য সাধারণীকরণ নিশ্চিত করার জন্য সম্প্রতি আরও কিছু প্রচেষ্টা হয়েছে, উদাহরণস্বরূপ নিউরাল ট্যানজেন্ট কার্নেলের সাথে বা ওজন সম্পর্কে বিভিন্ন আদর্শ ব্যবস্থার দ্বারা। স্বতঃস্ফূর্তভাবে, এগুলি ব্যবহারিক আকারের নেটওয়ার্কগুলিতে প্রযোজ্য নয় এবং অন্যান্য অসন্তুষ্টিজনক বৈশিষ্ট্যও রয়েছে [2]।
শূন্য-সীমানার জন্য পিএসি বেয়েস ফ্রেমওয়ার্কে কিছু কাজ রয়েছে, যেমন [3]। এই সেটআপগুলির জন্য, প্রশিক্ষিত নেটওয়ার্কের কিছু জ্ঞান প্রয়োজন এবং এটি শাস্ত্রীয় পিএসি বিশ্লেষণের স্বাদে পৃথক।
আরও কিছু দিক:
অপ্টিমাইজেশন: এই জাতীয়-উত্তল সমস্যার উপর গ্রেডিয়েন্ট বংশোদ্ভূত থেকে কীভাবে আমরা 'ভাল' সমাধানগুলি পাই? (সাম্প্রতিক সাহিত্যে এর কিছু উত্তর রয়েছে)
ব্যাখ্যাযোগ্যতা: নেটওয়ার্কটি 'চিন্তাভাবনা' কী তা আমরা একটি স্বজ্ঞাত স্তরে ব্যাখ্যা করতে পারি? (আমার অঞ্চল নয়)
(অসম্পূর্ণ) তথ্যসূত্র:
আমি উল্লেখ করতে চাই যে মেশিন লার্নিং সাধারণভাবে কেন কাজ করে সে সম্পর্কে একটি ভাল তত্ত্ব নেই। ভিসি সীমানা এখনও একটি মডেল ধরে, কিন্তু বাস্তবতা এই কোন গাণিতিক আদর্শ ফিট করে না। অবশেষে এটি প্রয়োগের ক্ষেত্রে সমস্ত কিছু নীচে নেমে আসে ফলাফলের ফলাফলগুলিতে। এমনকি মানুষের স্বজ্ঞাত বোঝার সাথে সামঞ্জস্যপূর্ণ এমন একটি অ্যালগরিদম ব্যবহার করে চিত্রগুলির মধ্যে মিলের পরিমাণ নির্ধারণ করা সত্যিই শক্ত
যাইহোক এনএন তাদের সম্পূর্ণ সংযুক্ত আকারে ভাল কাজ করে না। সমস্ত সফল নেটওয়ার্কের নেটওয়ার্ক আর্কিটেকচারের (সিএনএন, এলএসটিএম, ইত্যাদি) একরকম নিয়মিতকরণ রয়েছে।