মাত্রা হ্রাস সমান্তরাল জন্য স্বয়ংক্রিয় কোডার্স কেন?

Question

আমি কোনও উপায়ে অটোরকোডার বা নিউরাল নেটওয়ার্কগুলির বিশেষজ্ঞ নই, সুতরাং যদি এটি নির্বোধ প্রশ্ন হয় তবে আমাকে ক্ষমা করুন।

হাই ডাইমেনশনাল ডেটাতে মাত্রা হ্রাস বা দৃশ্যমান ক্লাস্টারগুলির উদ্দেশ্যে, আমরা দুটি নোডের সাহায্যে নেটওয়ার্ক স্তরটির আউটপুট পরিদর্শন করে একটি (ক্ষতিগ্রস্ত) 2 মাত্রিক প্রতিনিধিত্ব তৈরি করতে একটি অটোরকোডার ব্যবহার করতে পারি। উদাহরণস্বরূপ, নিম্নলিখিত আর্কিটেকচারের সাহায্যে আমরা তৃতীয় স্তরটির আউটপুট পরীক্ষা করব

$[X] \rightarrow N_1=100 \rightarrow N_2=25 \rightarrow (N_3=2) \rightarrow N_4=25 \rightarrow N_5=100 \rightarrow [X]$

যেখানে ইনপুট ডেটা এবং এন l হ'ল l ম স্তরটিতে নোডের সংখ্যা ।$X$$N_l$$l$

এখন, আমার প্রশ্ন, আমরা কেন একটি প্রতিসম আর্কিটেকচার চাই? গভীর 'সংকোচনের' পর্বের আয়নাটির অর্থ কি এই নয় যে আমাদের একই ধরণের জটিল 'ডিকম্প্রেশন' পর্ব হতে পারে যার ফলে 2 নোড আউটপুট তৈরি হয় যা খুব স্বজ্ঞাত হতে বাধ্য হয় না? অন্য কথায়, 2 নোডের সাথে স্তরটির আউটপুটটিতে একটি সহজ ডিকোডিং পর্বের ফলাফলটি কি অগত্যা সহজতর হবে না?

এখানে আমার চিন্তাভাবনাটি হ'ল ডিকম্প্রেশন পর্ব যত কম জটিল, সরল (আরও লিনিয়ার?) 2 ডি প্রতিনিধিত্ব করতে হবে। আরও জটিল ডিকম্প্রেশন পর্ব আরও জটিল 2 ডি উপস্থাপনের অনুমতি দেয়।

Answer 1

একটি স্বয়ংক্রিয়কোডারটির প্রতিসাম্যের জন্য কোনও নির্দিষ্ট বাধা নেই।

শুরুতে মানুষ সর্বোচ্চ যেমন প্রতিসাম্য জোরদার করা সেদিকেই ঝুঁকেছে: না শুধুমাত্র স্তর প্রতিসম ছিল, কিন্তু এছাড়াও ওজন এনকোডার এবং ডিকোডার মধ্যে স্তর যেখানে ভাগ । এটি কোনও প্রয়োজন নয়, তবে এটি কিছু ক্ষতির ফাংশনগুলি (যেমন আরবিএম স্কোর ম্যাচিং) ব্যবহার করার অনুমতি দেয় এবং নিয়মিতকরণ হিসাবে কাজ করতে পারে , কারণ আপনি কার্যকরভাবে অনুকূলকরণের জন্য পরামিতিগুলির অর্ধেক সংখ্যা কমিয়ে আনেন। আজকাল, আমি মনে করি, এনকোডার-ডিকোডার ওজন ভাগ করে নেওয়া কেউ চাপায় না।

আর্কিটেকচারাল প্রতিসাম্যতা সম্পর্কে, এনকোডার এবং ডিকোডারে একই সংখ্যক স্তর, একই ধরণের স্তর এবং একই স্তরের আকারগুলি খুঁজে পাওয়া সাধারণ তবে এটির প্রয়োজন নেই ।

উদাহরণস্বরূপ, convolutional autoencoders মধ্যে অতীতে এটা খুব এনকোডার এবং convolutional স্তর এটি খুবই সাধারণ বিষয় ছিল deconvolutional ডিকোডার মধ্যে স্তর, কিন্তু এখন আপনি সাধারণত ডিকোডার মধ্যে upsampling স্তর দেখতে কারণ তারা কম শিল্পকর্ম সমস্যা আছে।

Answer 2

আপনার প্রশ্নটি অবশ্যই স্পষ্টভাবে রয়েছে, তবে আমি খুঁজে পেয়েছি যে "গভীর শিক্ষায় আমি কি এক্স বা ওয়াই করা উচিত?" বিন্যাসে কোনও প্রশ্ন আছে? একটি উত্তর আছে।

তাদের উভয় চেষ্টা করুন

গভীর শেখা একটি অত্যন্ত অভিজ্ঞতা সম্পন্ন ক্ষেত্র, এবং যদি কোনও অ-প্রতিসাম্য অটো-এনকোডার আপনার ডোমেনের জন্য কাজ করে, তবে এটি ব্যবহার করুন (এবং একটি কাগজ প্রকাশ করুন)

Answer 3

জিজ্ঞাসা করা প্রশ্নটির সমাধান করার জন্য আমি কিছু বিস্তৃত পরীক্ষা করেছি experiment আমার পরীক্ষাগুলি সূচিত করেছে যে এনকোডিং পথের (এনএন এর বাম পা) কম তবে প্রশস্ত স্তর থাকতে হবে। আমি সাধারণত অর্ধেক স্তর নিয়ে যাই, তবে এনকোডিংয়ের জন্য নোডের দ্বিগুণ। এর জন্য আমার কোনও ব্যাখ্যা নেই, কেবলমাত্র এই কনফিগারেশনের ফলে প্রায়শই দ্রুত রূপান্তর ঘটেছিল।