অটোরকোডার নিউরাল নেটওয়ার্কগুলির উত্স কী?

Question

আমি গুগল, উইকিপিডিয়া, গুগল স্কলার এবং আরও অনেক কিছুতে অনুসন্ধান করেছি, তবে আমি অটেনকোডারগুলির উত্স খুঁজে পাইনি। সম্ভবত এটি সেই ধারণাগুলির মধ্যে একটি যা খুব ধীরে ধীরে বিকশিত হয়েছিল, এবং একটি স্পষ্ট সূচনা পয়েন্টটি খুঁজে পাওয়া অসম্ভব, তবে তবুও আমি তাদের বিকাশের মূল পদক্ষেপগুলির এক ধরণের সংক্ষিপ্তসার সন্ধান করতে চাই।

Autoencoders সম্পর্কে অধ্যায়ে ইয়ান Goodfellow, Yoshua Bengio ও হারুনকে Courville গভীর শিক্ষণ বইয়ে বলেন:

অটেনকোডারগুলির ধারণাটি কয়েক দশক ধরে নিউরনেট ওয়ার্কগুলির historicalতিহাসিক আড়াআড়িটির অংশ হয়ে উঠেছে (লেকান, 1987; বোলার্ড এবং কাম্প, 1988; হিন্টন এবং জেমেল, 1994)। Ditionতিহ্যগতভাবে, স্বয়ংক্রিয়কোডারগুলি মাত্রা হ্রাস বা বৈশিষ্ট্য শেখার জন্য ব্যবহৃত হয়েছিল।

পাস্কাল ভিনসেন্টের এই উপস্থাপনাটি বলেছেন:

ক্লাসিকাল অটোনকোডার ব্যবহার করে নিন্দা করা আসলে হপফিল্ড নেটওয়ার্কগুলির (হপফিল্ড, 1982) বিকল্প হিসাবে অনেক আগে (লেকান, 1987; গ্যালিনারি এট আল।, 1987) চালু হয়েছিল।

এর থেকে বোঝা যাচ্ছে যে "ধ্রুপদী অটোরকোডারগুলি" এর আগে বিদ্যমান ছিল: লেকান এবং গ্যালিনারি এগুলি ব্যবহার করেছিল তবে সেগুলি আবিষ্কার করেনি। আমি 1987 এর আগে "ক্লাসিকাল অটোনকোডার্স" এর কোনও চিহ্ন দেখতে পাচ্ছি না।

কোন ধারনা?

Answer 1

শ্মিধুবারের দেওয়া ইতিহাস অনুসারে, " নিউরাল নেটওয়ার্কগুলিতে গভীর শিক্ষা: একটি সংক্ষিপ্ত বিবরণ ," নিউরাল নেটওয়ার্কস (2015), অ্যালবোর্ডগুলিকে বালার্ডে আন-সার্ভিসড প্রাক-প্রশিক্ষণের জন্য একটি পদ্ধতি হিসাবে প্রস্তাব করা হয়েছিল, "নিউরাল নেটওয়ার্কগুলিতে মডুলার লার্নিং," কার্যবিবরণী এএএএআই (1987)। এটি প্রথমবারের মতো অটো-এনকোডার ব্যবহার করা হয়েছিল কিনা তা পরিষ্কার নয়; এটি প্রথমবারের মতো এএনএন প্রাক-প্রশিক্ষণের উদ্দেশ্যে ব্যবহৃত হয়েছিল ।

শ্মিধুবার নিবন্ধের প্রবর্তন যেমন স্পষ্ট করে দিয়েছে, এএনএন-তে ব্যবহৃত সমস্ত ধারণাকেই দায়ী করা কিছুটা কঠিন কারণ সাহিত্য বৈচিত্র্যময় এবং পরিভাষা সময়ের সাথে সাথে বিবর্তিত হয়েছে।

Comments

ব্যালার্ডের লেখা কাগজটিতে সম্পূর্ণ আলাদা পরিভাষা রয়েছে এবং এর সম্পূর্ণতায় অটেনকোডার ধারণার একটি স্নিগ্ধও নেই। হয়তো এই এর কোনও অরিজিন পেপার নেই।

— আবুণীকাবি

শ্মধুবার পত্রটি জোর দিয়েছিল যে সময়ের সাথে সাথে পরিভাষা পরিবর্তিত হয়েছে এবং বিভিন্ন লোক একই বিষয়টিকে বারবার আবিষ্কার করেছে। এতে অবাক হওয়ার কিছু নেই যে লেখক "অটো এনকোডার" শব্দটি ব্যবহার করেননি

— সাইকোরাক্স বলেছেন মোনিকা

Answer 2

নিচের কাগজটি অটোইনকোডার সম্পর্কে অপ্রত্যক্ষভাবে কথা বলে এবং এটি 1986 সালের। (যা 1987 সালে ব্যালার্ডের কাগজের চেয়ে এক বছর আগে)

ডিই রুমেলহার্ট, জিই হিন্টন এবং আর জে উইলিয়ামস, "ত্রুটি প্রচারের মাধ্যমে অভ্যন্তরীণ উপস্থাপনাগুলি শিখছি।" , সমান্তরাল বিতরণ প্রক্রিয়াজাতকরণ। প্রথম খণ্ড: ভিত্তি। এমআইটি প্রেস, কেমব্রিজ, এমএ, 1986।

কাগজটি মূলত সেই সময়ের একটি অভিনব ধরণের ফিডফরওয়ার্ড নেটওয়ার্ক এবং এর গাণিতিক আনুষ্ঠানিকতার বর্ণনা দেয়।