আমি ভেরিয়েশনাল অটোরকোডার এবং নরমাল (ডিটারমিনিস্টিক) অটোইনকোডার এবং তাদের পিছনে গণিতের বুনিয়াদি কাঠামো বুঝতে পারি, তবে কখন এবং কেন আমি এক ধরণের অটোরকোডারটিকে অন্যটির থেকে পছন্দ করব? আমি যা ভাবতে পারি তা হ'ল ভেরিয়েশনাল অটোইনকোডারের সুপ্ত ভেরিয়েবলের পূর্ব বিতরণ আমাদের সুপ্ত ভেরিয়েবলের নমুনা তৈরি করতে দেয় এবং তারপরে নতুন চিত্রটি তৈরি করতে দেয়। ডিটারমিনিস্টিক অটোইনকোডারটির তুলনায় ভেরিয়েশনাল অটোইনকোডারটির স্টোকাস্টিস্টিটি কী লাভ করে?
স্বয়ংক্রিয়কোডারটির বিপরীতে যখন আমি কোনও পরিবর্তনশীল অটোরকোডারটি ব্যবহার করব?
উত্তর:
ভিএই হ'ল একটি কাঠামো যা বড় ডেটাসেটগুলিতে ভেরিয়েশন ইএম (বা সাধারণভাবে ভেরিয়েশনাল ইনফারেন্সন) করার স্কেলযোগ্য উপায় হিসাবে প্রস্তাবিত হয়েছিল। যদিও এটির মতো এই রয়েছে কাঠামো, এটি অনেক বেশি বৃহত্তর উদ্দেশ্যে কাজ করে।
এটি বলার পরে, কেউ অবশ্যই সুপ্ত প্রতিনিধিত্ব শিখতে ভিএই ব্যবহার করতে পারেন। ভিএইগুলি বিচ্ছিন্ন কারণগুলির সাথে উপস্থাপনা হিসাবে পরিচিত [1] সুপ্ত পরিবর্তনশীলগুলিতে আইসোট্রপিক গাউসিয়ান প্রিরিয়ার কারণে এটি ঘটে। গৌসিয়ানদের হিসাবে তাদের মডেলিং উপস্থাপনের প্রতিটি মাত্রাকে অন্যান্য কারণগুলি থেকে যথাসম্ভব দূরে ঠেলে দেয়। এছাড়াও, [1] একটি নিয়মিতকরণ সহগ যোগ করেছে যা পূর্বের প্রভাবকে নিয়ন্ত্রণ করে।
যদিও আইসোট্রপিক গাউসিয়ানরা বেশিরভাগ ক্ষেত্রে যথেষ্ট, নির্দিষ্ট ক্ষেত্রে, কেউ প্রিয়ারদের আলাদাভাবে মডেল করতে চাইতে পারে। উদাহরণস্বরূপ, সিকোয়েন্সগুলির ক্ষেত্রে, কেউ প্রিয়ারদেরকে সিক্যুয়াল মডেল [2] হিসাবে সংজ্ঞায়িত করতে চাইতে পারে।
এই প্রশ্নে ফিরে আসা, যেমন একজন দেখতে পাচ্ছেন, পূর্ববর্তীটি কীভাবে আমরা আমাদের সুপ্ত বিতরণকে মডেল করতে চাই তার উপর গুরুত্বপূর্ণ নিয়ন্ত্রণ দেয়। সাধারণ এই কাঠামোর মধ্যে এই জাতীয় নিয়ন্ত্রণের অস্তিত্ব নেই। এটি আসলে বায়েশিয়ান মডেলগুলির নিজস্ব শক্তি, ভিএইগুলি কেবল এটি আরও বেশি ব্যবহারিক এবং বৃহত আকারের ডেটাসেটগুলির জন্য সম্ভাব্য করে তুলছে। সুতরাং, উপসংহারে, আপনি যদি আপনার সুপ্ত উপস্থাপনাগুলি এবং আপনি তাদের কী উপস্থাপন করতে চান তার সুনির্দিষ্ট নিয়ন্ত্রণ চান, তবে ভিএই বেছে নিন। কখনও কখনও, সুনির্দিষ্ট মডেলিং [2] এর মতো আরও ভাল উপস্থাপনা ক্যাপচার করতে পারে। যাইহোক, যদি এই আপনার কাজের জন্য যথেষ্ট হয়, তবে কেবল এইয়ের সাথে যান, এটি সহজ এবং যথেষ্ট জটিল। সর্বোপরি, এইএস সহ আমরা কেবল নন-লিনিয়ার পিসিএ করছি।
[1] আনসপারভাইজড ডিপ লার্নিং,
২০১ Ir এর প্রথম ভিজ্যুয়াল কনসেপ্ট লার্নিং ইরিনা হিগিংস, লুইক ম্যাথি, জ্যাভিয়ার গ্লোরোট, আরকা পাল, বেনিগানো উরিয়া, চার্লস ব্লুন্ডেল, শাকির মোহাম্মদ, আলেকজান্ডার লারচনার
https://arxiv.org/abs/1606.05579
[২]
সিক্যুয়াল ডেটা, ২০১৫ জুনিয়ং চুং, কাইল কাস্টনার, লরেন্ট দিন, ক্র্যাথার্থ গোয়েল, অ্যারন করভিল, যোশুয়া বেঙ্গিও https://arxiv.org/abs/1506.02216 এর জন্য একটি পুনরাবৃত্ত ল্যাটেন্ট ভেরিয়েবল মডেল
তেনালিরামানের কিছু ভাল পয়েন্ট ছিল তবে তিনি প্রচুর মৌলিক ধারণাও মিস করেছেন। প্রথমে এটি লক্ষ করা উচিত যে AE- জাতীয় কাঠামোটি ব্যবহারের প্রাথমিক কারণটি হল সুপ্ত স্থান যা আমাদের তথ্য সংকোচন করতে দেয় এবং আশা করি এটি থেকে স্বাধীন উপাদানগুলি পাওয়া যায় যা উপাত্তের উচ্চ স্তরের বৈশিষ্ট্যগুলি উপস্থাপন করে। একটি গুরুত্বপূর্ণ বিষয়টি হ'ল, যদিও এইগুলিকে পিসিএর অ-লাইন সম্প্রসারণ হিসাবে ব্যাখ্যা করা যেতে পারে যেহেতু "এক্স" লুকানো ইউনিটগুলি মূল "এক্স" সংখ্যার মূল উপাদানগুলির মতো একই স্থানটি বিস্তৃত করতে পারে, একটি এই অগত্যা সুপ্তে অর্থোগোনাল উপাদান তৈরি করে না স্পেস (যা বিভক্তির এক ধরণের পরিমাণ হতে পারে)। একটি ভিএই থেকে অতিরিক্ত, আপনি ডেটা সম্ভাবনার একটি সিম্বলেন্স (আনুমানিক যদিও) এবং এটি থেকে নমুনাও পেতে পারেন (যা বিভিন্ন বিভিন্ন কাজে কার্যকর হতে পারে)। যাহোক,
ভিএইতে প্রচ্ছন্ন ইউনিটগুলিতে আরোপিত পূর্ব বিতরণ কেবলমাত্র কেএল ডাইভার্জেনশন শর্তের কারণে মডেল ফিটিংয়ে অবদান রাখে, যা [1] রেফারেন্সটি কেবলমাত্র সেই পদটিতে একটি হাইপারপ্যারামিটার গুণক যুক্ত করে এবং এটির একটি সম্পূর্ণ কাগজ পেয়ে যায় (বেশিরভাগ অংশটি হ'ল) মোটামুটি সুস্পষ্ট) মূলত একটি "অপরিণামদর্শী" পূর্ববর্তীটি হ'ল যা স্বতন্ত্রভাবে কেএল ডাইরজেন্স শূন্যের কাছাকাছি থাকে এবং ক্ষতির ক্ষেত্রে তেমন অবদান রাখে না, অর্থাত্ নির্দিষ্ট ইউনিটটি ডিকোডারটিতে পুনর্গঠনের জন্য ব্যবহৃত হয় না। বিচ্ছিন্নতাটি প্রাকৃতিকভাবে একটি ভিএইতে খেলতে আসে কারণ একাধিক মডেল ডেটার সহজতম ক্ষেত্রে, কেএল ডাইভারজেন্স ব্যয় প্রতিটি মোডের জন্য একটি স্বতন্ত্র সুপ্ত গাউসিয়ান থাকার চেয়ে কম যদি মডেল একক গাউসির (যা কেএল ডাইভার্জেন্স ব্যয়ের দ্বারা ভারীভাবে দণ্ডিত হয় তার আগে থেকে আরও বিচ্যুত হয়) সাথে একাধিক মোড ক্যাপচার করার চেষ্টা করে - সুতরাং শীর্ষস্থানীয় সুপ্ত ইউনিটগুলিতে বিভক্ত হওয়া। সুতরাং ভিএই এর সাথে সম্পর্কিত পরিসংখ্যানগত প্রভাবগুলির কারণে বেশিরভাগ ডেটা উত্সগুলিতে নিজেকে স্বাভাবিকভাবে ndsণ দেয়।
পাশাপাশি এএর জন্য স্পারসিটি আরোপকারী ফ্রেমওয়ার্ক রয়েছে, তবে দুর্ভাগ্যক্রমে আমি এমন কোনও কাগজ সম্পর্কে অবগত নই যা সুপ্ত স্থানের প্রতিনিধিত্ব এবং বিচ্ছিন্নতার ভিত্তিতে ভিএই বনাম এইর সাথে তুলনামূলকভাবে তুলনা করে। আমি যদিও এই অঙ্গনে কিছু দেখতে চাই - যেহেতু এই প্রশিক্ষণ করা অনেক সহজ এবং যদি তারা সুপ্ত স্থানে ভিএইয়ের মতো বিচ্ছিন্নতা অর্জন করতে পারে তবে তারা অবশ্যই পছন্দ করবে। সম্পর্কিত নোটে, আমি আইসিএ (এবং ননলাইনার আইসিএ) পদ্ধতিগুলির দ্বারা কিছু প্রতিশ্রুতিও দেখেছি, তবে যেগুলি আমি দেখেছি সেগুলি সুপ্ত স্থানটিকে ডেটার মতো একই মাত্রায় থাকতে বাধ্য করেছিল, যা প্রায় এইএস হিসাবে কার্যকর নয় is উচ্চ-স্তরের বৈশিষ্ট্যগুলি আহরণের জন্য।
নীচের গ্রাফটি ব্যবহার করে মানক অটোরকোডারটি চিত্রিত করা যেতে পারে:
পূর্ববর্তী উত্তরে যেমন বলা হয়েছে এটি পিসিএর কেবল একটি অ-লাইন প্রসারিত হিসাবে দেখা যেতে পারে।
তবে ভেরিয়েল অটোইনকোডারটির সাথে তুলনা করে ভ্যানিলা অটেনকোডারটির নিম্নলিখিত ত্রুটি রয়েছে:
প্রজন্মের জন্য অটোরকোডারগুলির সাথে মৌলিক সমস্যাটি হ'ল তারা যে সুপ্ত স্থানটি তাদের ইনপুটগুলিতে রূপান্তর করে এবং যেখানে তাদের এনকোডযুক্ত ভেক্টরগুলি থাকে, তা অবিচ্ছিন্ন হতে পারে না বা সহজেই দ্বিখণ্ডনের অনুমতি দেয় না।
এটি, উপরের গ্রাফের এনকোডিং অংশটি ইনপুটটি আগে কখনও দেখা যায় নি এমন ইনপুটগুলির সাথে মোকাবিলা করতে পারে না কারণ বিভিন্ন শ্রেণি নির্বাকভাবে ক্লাস্টার করা হয় এবং সেই সব অদেখা ইনপুটগুলি ফাঁকা জায়গায় কোথাও অবস্থিত এমন কোনও জিনিসের সাথে যুক্ত থাকে:
এই সমস্যাটি মোকাবেলা করতে, মাঝারি স্তরের প্রতিটি লুকানো ভেরিয়েবলের জন্য একটি গড় এবং একটি স্ট্যান্ডার্ড বিচ্যুতিযুক্ত একটি স্তর যুক্ত করে ভেরিয়েশনাল অটোরকোডারটি তৈরি করা হয়েছিল:
তারপরে একই ইনপুটটির জন্যও ডিকোডযুক্ত আউটপুট পরিবর্তিত হতে পারে এবং এনকোডযুক্ত এবং ক্লাস্টার ইনপুটগুলি মসৃণ হয়:
সুতরাং তথ্যটিকে চিহ্নিত বা শ্রেণিবদ্ধ করার জন্য (ভিন্ন ভিন্ন ডেটার ফিল্টার আউট), একটি মানক অটোরকোডার যথেষ্ট হবে, আমরা প্রজন্মের জন্য ভেরিয়েশনাল অটোরকোডারকে আরও ভালভাবে নিয়োগ করতে চাই।
তথ্যসূত্র:
স্বতঃস্ফূর্তভাবে ভেরিয়াল অটোনকোডারগুলি বোঝা
ভিএই-তে কোড বিতরণ নির্বাচন করা আরও ভাল অব্যবহৃত উপস্থাপনা শেখার সুযোগ দেয় যেখানে একই শ্রেণির নমুনাগুলি কোডের জায়গাতে একে অপরের কাছাকাছি চলে আসে। এছাড়াও এইভাবে, কোড স্পেসে অঞ্চলগুলির জন্য একটি অর্থ খুঁজে পাওয়া সহজ হয়ে যায়। উদাহরণস্বরূপ, আপনি প্রতিটি অঞ্চল থেকে জানতে পারবেন কোন শ্রেণিটি উত্পন্ন করা যায়।
আপনার যদি আরও গভীর-বিশ্লেষণের প্রয়োজন হয় তবে ডার্ক কিংমা'স থিসিসটি দেখুন । এটি ভেরিয়েশনাল ইনফারেন্সের জন্য দুর্দান্ত উত্স।
আপনি যখন "বিতরণটি বেছে নেওয়ার" কথা বলছেন, আপনি কোন বিতরণের কথা বলছেন? p (z), p (z | x), p (x | z) বা এগুলি সব? আমি কেবলমাত্র সাধারণ বিতরণ বা বের্নোল্লি বিতরণ ব্যবহার করে দেখেছি, আপনি কি কোনও কাজ সম্পর্কে বিভিন্ন বিতরণ ব্যবহার করে পারফরম্যান্সের তুলনা জানেন? আপনার দ্বিতীয় দফার জন্য, আমি দেখতে পাচ্ছি না কেন ভেরিয়েশনাল অটেনকোডার একটি সাধারণ অটোইনকোডারের চেয়ে আরও ভাল কাজ করবে, আপনি কী ব্যাখ্যা করতে পারেন? ধন্যবাদ।
—
DiveIntoML