আমি কিছুটা অটোএনকডার ব্যবহার করছি এবং টেনসরফ্লো দিয়ে আমি এমন একটি মডেল তৈরি করেছি যা এমএনআইএসটি ডেটাসেটটি পুনর্গঠন করার চেষ্টা করে।
আমার নেটওয়ার্কটি খুব সহজ: এক্স, ই 1, ই 2, ডি 1, ওয়াই, যেখানে ই 1 এবং ই 2 স্তরগুলি এনকোডিং করছে, ডি 2 এবং ওয়াই স্তরগুলি ডিকোডিং করছে (এবং ওয়াই পুনঃনির্মাণ আউটপুট)।
এক্স এর 784 ইউনিট রয়েছে, ই 1 এর 100 টি, ই 2 এর 50 টি, ডি 1 আবার 100 এবং আবার ওয়াই 784 রয়েছে।
আমি ই -1, ই 2, ডি 1 এবং ওয়াইয়ের স্তরগুলির জন্য অ্যাক্টিভেশন ফাংশন হিসাবে সিগময়েডগুলি ব্যবহার করছি p ইনপুটগুলি [0,1] এ রয়েছে এবং তাই ফলাফলগুলি হওয়া উচিত।
ঠিক আছে, আমি ক্রস এনট্রপিটি ক্ষতির ফাংশন হিসাবে ব্যবহার করার চেষ্টা করেছি, তবে আউটপুটটি সর্বদা একটি ব্লব ছিল এবং আমি লক্ষ্য করেছি যে এক্স থেকে ই 1 পর্যন্ত ওজন সর্বদা শূন্য-মানযুক্ত ম্যাট্রিক্সে রূপান্তরিত করে।
অন্যদিকে ক্ষতির ফাংশন হিসাবে স্কোয়ার ত্রুটিগুলি বোঝাতে একটি ভাল ফলাফল পাওয়া যাবে এবং আমি এখন ইনপুটগুলি পুনর্গঠন করতে সক্ষম am
কেন যে এত? আমি ভেবেছিলাম আমি মানগুলি সম্ভাবনা হিসাবে ব্যাখ্যা করতে পারি এবং তাই ক্রস এনট্রপি ব্যবহার করতে পারি তবে স্পষ্টতই আমি কিছু ভুল করছি।
