নিউরাল নেটওয়ার্কগুলি সহজে বোকা বানানো হয় কেন?

13

আমি নিউরাল নেটওয়ার্কটিকে "বোকা" বানানোর জন্য ম্যানুয়ালি চিত্রগুলি রচনা সম্পর্কে কিছু কাগজপত্র পড়েছি (নীচে দেখুন)।

এটি কি কারণ যে নেটওয়ার্কগুলি কেবল শর্তযুক্ত সম্ভাবনা মডেল করে ? যদি কোনও নেটওয়ার্ক যৌথ সম্ভাব্যতা মডেল করতে পারে তবে কি এখনও এই ধরনের ঘটনা ঘটতে পারে? $p(y|x)$
$p(y,x)$

আমার অনুমান যে এই জাতীয় কৃত্রিমভাবে উত্পন্ন চিত্রগুলি প্রশিক্ষণের ডেটা থেকে পৃথক, সুতরাং সেগুলি কম সম্ভাবনার । সুতরাং এই জাতীয় চিত্রগুলির জন্য কম হওয়া উচিত এমনকি যদি উচ্চতর হতে পারে। $p(x)$ $p(y,x)$ $p(y|x)$

হালনাগাদ

আমি কিছু জেনারেটাল মডেল চেষ্টা করেছি, এটি সাহায্যকারী না হয়ে পরিণত হয়েছে, সুতরাং আমার ধারণা সম্ভবত এটি এমএলইয়ের ফলাফল?

আমি ক্ষেত্রে মানে কেএল বিকিরণ ক্ষতি ফাংশন, মান হিসাবে ব্যবহার করা হয় যেখানে হ্রাস প্রভাবিত করে না ছোট। সুতরাং একটি কল্পিত চিত্র মেলেনি , এর মান অবাধ হতে পারে। $p_{\theta}(x)$ $p_{data}(x)$ $p_{data}$ $p_{\theta}$

হালনাগাদ

আমি আন্দ্রেজ কার্পাথির একটি ব্লগ পেয়েছি যা দেখায়

এই ফলাফলগুলি চিত্র, কনভনেটসের সাথে সুনির্দিষ্ট নয় এবং ডিপ লার্নিংয়ে এগুলি কোনও "ত্রুটি" নয়।

ব্যাখ্যা এবং কঠোর বিজ্ঞাপনী উদাহরণগুলি গভীর নিউরাল নেটওয়ার্কগুলি সহজে বোকা বানানো : অচেনা চিত্রগুলির জন্য উচ্চ আত্মবিশ্বাসের পূর্বাভাস

machine-learning neural-networks deep-learning

— dontloo
সূত্র

প্রশ্নটি সাধারণত এনএনএসের চেয়ে ডিএনএন-এর বাইরে রয়েছে বলে মনে হচ্ছে?

— ম্যাথু গন

@ ম্যাথেজগান আমি নিশ্চিত নই, সিএনভি 507 এর উত্তর অনুসারে এটি আরও সাধারণ সমস্যা বলে মনে হচ্ছে।

— dontloo

@ ম্যাটিউগান বিদ্বেষমূলক উদাহরণগুলি কাগজটি ব্যাখ্যা এবং ব্যবহার করছেন - শো লজিস্টিক রিগ্রেশনকেও প্রযোজ্য

— seanv507

10

আপনি যে ধরণের মডেলটির কথা উল্লেখ করছেন সেগুলি বৈষম্যমূলক বিরোধী হিসাবে 'জেনারেটরি' মডেল হিসাবে ডাকা হয় এবং উচ্চ মাত্রিক ডেটা পর্যন্ত সত্যই স্কেল করে না। ভাষা কার্যক্রমে এনএন এর সাফল্যের অংশ হ'ল জেনারেটাল মডেল (এইচএমএম) থেকে 'আরও' বৈষম্যমূলক মডেল করা (যেমন এমইএমএম লজিস্টিক রিগ্রেশন ব্যবহার করে যা প্রাসঙ্গিক তথ্য কার্যকরভাবে ব্যবহার করতে দেয় https://en.wikedia.org/ উইকি / লুকানো_মার্কভ_মডেল # এক্সটেনশনগুলি )

আমি যুক্তি দিয়ে বলব যে তাদের বোকা বানানোর কারণটি আরও সাধারণ সমস্যা। এটি আরও পরিশীলিত পদ্ধতির চেয়ে 'অগভীর' এমএল-চালিত এআইয়ের বর্তমান আধিপত্য। [অনেকগুলি কাগজপত্রের মধ্যে উল্লেখ করা হয়েছে যে অন্যান্য এমএল মডেলগুলিও সহজেই বোকা হয়ে যায় - http://www.kdnuggets.com/2015/07/ ডিভিড-এলার্নিং- অ্যাডভারসারিয়াল- উদাহরণসমূহ- মিসকনসেপ্টস html - ইয়ান গুডফেলো]

অনেক কাজের জন্য সবচেয়ে কার্যকর 'ভাষার মডেল' হ'ল 'শব্দের ব্যাগ'। কেউ দাবি করবে না যে এটি মানব ভাষার অর্থবহ মডেলকে উপস্থাপন করে। এই ধরণের মডেলগুলি সহজেই বোকা বানানো হয় তা কল্পনা করাও কঠিন নয়।

একইভাবে কম্পিউটার ভিশন টাস্ক যেমন বস্তুর স্বীকৃতিটি 'শব্দগুলির ভিজ্যুয়াল ব্যাগ' দ্বারা বিপ্লবিত হয়েছিল যা আরও বেশি গণনামূলকভাবে নিবিড় পদ্ধতিগুলি দূরে ফেলেছিল (যা বিশাল ডেটা সেটগুলিতে প্রয়োগ করা যায়নি)।

সিএনএন হ'ল আমি আরও ভাল 'শব্দের ভিজ্যুয়াল ব্যাগ' যুক্তি দেব - আপনি যেমন আপনার চিত্রগুলিতে দেখান, ভুলগুলি পিক্সেল স্তরে / নিম্ন স্তরের বৈশিষ্ট্যগুলিতে করা হয়; সমস্ত হাইপারবোল সত্ত্বেও লুকানো স্তরগুলিতে উচ্চ স্তরের প্রতিনিধিত্ব নেই- (প্রত্যেকে ভুল করে, মূল বিষয়টি হ'ল উচ্চ স্তরের বৈশিষ্ট্যগুলির কারণে কোনও ব্যক্তি 'ভুল' করবে এবং উদাহরণস্বরূপ, একটি বিড়ালের কার্টুনকে চিনতে হবে, যা আমি করি না ' একটি এনএন বিশ্বাস করবে না)।

কম্পিউটার ভিশনের আরও পরিশীলিত মডেলের উদাহরণ (যা এনএন এর চেয়েও খারাপ কাজ করে) উদাহরণস্বরূপ 'বিকৃত অংশ' মডেল।

— seanv507
সূত্র

4

আমি যতদূর জানি, বেশিরভাগ নিউরাল নেটওয়ার্কগুলি ইনপুট চিত্রগুলির উপর আ প্রাইরি সম্ভাব্যতা বিতরণ ব্যবহার করে না। তবে আপনি প্রশিক্ষণের সেটটিকে এমন সম্ভাব্যতা বন্টন হিসাবে সেট করতে পছন্দ করতে পারেন। এই দৃশ্যে, এই কৃত্রিমভাবে উত্পন্ন চিত্রগুলি পরীক্ষা-সেটটিতে চিত্র হিসাবে নেওয়ার সম্ভাবনা নেই। 'যৌথ সম্ভাবনা' পরিমাপ করার একটি উপায় হ'ল এলোমেলোভাবে চিত্রগুলি তৈরি করা এবং তারপরে সেগুলি লেবেল করা। সমস্যাটি হ'ল বিশাল, ভাস্ত সংখ্যাগরিষ্ঠের কোনও লেবেল থাকবে না। সুতরাং একটি লেবেলযুক্ত উদাহরণগুলির একটি যুক্তিসঙ্গত সংখ্যা পেতে খুব বেশি সময় লাগবে।

— dimpol
সূত্র

জবাব দেওয়ার জন্য আপনাকে ধন্যবাদ :) আমি এ সম্পর্কে নিশ্চিতভাবে নিশ্চিত নই যে এর অর্থ "যৌথ সম্ভাবনা" মাপার এক উপায় এলোমেলোভাবে চিত্রগুলি উত্পন্ন করা এবং তারপরে সেগুলি লেবেল করা উচিত। "আপনি এলোমেলো চিত্রগুলি ম্যানুয়ালি লেবেল করা বলতে চেয়েছিলেন (অন্য বিভাগ হিসাবে) )?

— dontloo

1

আমি প্রতিটি পিক্সেলের আরজিবি-মানগুলি এলোমেলোভাবে বাছাই করে চিত্রগুলি উত্পন্ন করার অর্থ। এর অর্থ হ'ল আপনার পোস্টের উপরের-ডানদিকে পান্ডার চিত্র এবং উপরের বাম "গিবন" পান্ডা চিত্রটির উত্পন্ন হওয়ার সমান সম্ভাবনা থাকবে। এটির সাথে সমস্যাটি হ'ল প্রতিটি পিক্সেলটিতে 2 ^ 24 সম্ভাব্য রঙ থাকে এবং উত্পন্ন চিত্রগুলির সিংহভাগ বোকা। আপনি "পান্ডা" হিসাবে লেবেলযুক্ত এমন একটি চিত্র এমনকি তৈরি করার পরে, মহাবিশ্ব চলে যাবে।

— ডিম্পল

ওহ, আমি দেখতে পাচ্ছি যে অনেক কাজ করা যায়, যাইহোক আপনাকে ধন্যবাদ।

— dontloo