ডিপ লার্নিং মডেলগুলির জন্য কেন সফটম্যাক্স আউটপুট একটি ভাল অনিশ্চয়তা পরিমাপ নয়?


22

আমি বেশ কিছু সময়ের জন্য কনভলিউশনাল নিউরাল নেটওয়ার্কস (সিএনএন) এর সাথে কাজ করছি, বেশিরভাগ ক্ষেত্রে শব্দার্থ বিভাজন / উদাহরণ বিভাগের জন্য চিত্রের ডেটাতে। নির্দিষ্ট ক্লাসের জন্য প্রতি পিক্সেল অ্যাক্টিভেশনগুলি কত বেশি হয় তা দেখার জন্য আমি প্রায়শই "আউট ম্যাপ" হিসাবে নেটওয়ার্ক আউটপুটটির সফটম্যাক্সটি দেখেছি ized আমি স্বল্প ক্রিয়াকলাপগুলিকে "অনিশ্চিত" / "অনিশ্চিত" এবং উচ্চ ক্রিয়াকলাপগুলিকে "নির্দিষ্ট" / "আত্মবিশ্বাসী" ভবিষ্যদ্বাণী হিসাবে ব্যাখ্যা করেছি। মূলত এর অর্থ সফ্টম্যাক্স আউটপুট ( মধ্যে মানগুলি ) সম্ভাবনা বা (আন) মডেলের নির্দিষ্টতা পরিমাপ হিসাবে ব্যাখ্যা করা।(0,1)

( উদাহরণস্বরূপ, আমি সিএনএন সনাক্তকরণের পক্ষে এটির পিক্সেলগুলির চেয়ে কম কম সফটম্যাক্স অ্যাক্টিভেশন সহ একটি বস্তু / ক্ষেত্রের ব্যাখ্যা করেছি, সুতরাং সিএনএন এই ধরণের অবজেক্ট সম্পর্কে ভবিষ্যদ্বাণী করা সম্পর্কে "অনিশ্চিত" হয়ে পড়েছে। )

আমার উপলব্ধিতে এটি প্রায়শই কাজ করে এবং প্রশিক্ষণের ফলাফলগুলিতে "অনিশ্চিত" ক্ষেত্রগুলির অতিরিক্ত নমুনাগুলি যুক্ত করার ফলে এগুলির ফলাফলের উন্নতি ঘটে। তবে আমি এখন প্রায়শই বিভিন্ন পক্ষ থেকে শুনেছি যে সফটম্যাক্স আউটপুটটিকে (আন) নিশ্চিতকরণের ব্যবস্থা হিসাবে ব্যবহার / ব্যাখ্যা করা ভাল ধারণা নয় এবং সাধারণত নিরুৎসাহিত হয়। কেন?


সম্পাদনা: আমি এখানে যা জিজ্ঞাসা করছি তা স্পষ্ট করার জন্য আমি এই প্রশ্নের উত্তর দেওয়ার জন্য আমার অন্তর্দৃষ্টি সম্পর্কে বিস্তারিতভাবে বর্ণনা করব। তবে নীচের কোনও যুক্তিই আমাকে স্পষ্ট করেনি ** কেন এটি সাধারণত একটি খারাপ ধারণা **, কারণ আমাকে সহকর্মী, তত্ত্বাবধায়করা বারবার বলেছিলেন এবং যেমন এখানে বলা হয়েছে "১.৫"

শ্রেণিবদ্ধকরণ মডেলগুলিতে পাইপলাইন (সফটম্যাক্স আউটপুট) এর শেষে প্রাপ্ত সম্ভাব্যতা ভেক্টরটি প্রায়শই ভুলভাবে মডেল আত্মবিশ্বাস হিসাবে ব্যাখ্যা করা হয়

বা বিভাগ "পটভূমি" এখানে :

যদিও কনভোলশনাল নিউরাল নেটওয়ার্কের চূড়ান্ত সফটম্যাক্স স্তর দ্বারা প্রদত্ত মানগুলি আত্মবিশ্বাসের স্কোর হিসাবে ব্যাখ্যা করার জন্য এটি লোভনীয় হতে পারে তবে আমাদের এ বিষয়ে খুব বেশি না পড়তে সতর্ক হওয়া দরকার be


উপরোক্ত উত্সগুলির কারণ হিসাবে যে সফটম্যাক্স আউটপুটটিকে অনিশ্চয়তা পরিমাপ হিসাবে ব্যবহার করা খারাপ কারণ কারণ:

একটি বাস্তব চিত্রের অনির্বচনীয় প্রতিবেদনগুলি গভীর নেটওয়ার্কের সফটম্যাক্স আউটপুটকে স্বেচ্ছাসেবী মানগুলিতে পরিবর্তন করতে পারে

এর অর্থ হ'ল সফটম্যাক্স আউটপুটটি "অবর্ণনীয় প্রতিবন্ধকতা" থেকে শক্তিশালী নয় এবং তাই এটি আউটপুট সম্ভাবনার হিসাবে ব্যবহারযোগ্য নয়।

অন্য একটি কাগজ "সফটম্যাক্স আউটপুট = আত্মবিশ্বাস" ধারণা নিয়ে আসে এবং যুক্তি দেয় যে এই স্বজ্ঞাত নেটওয়ার্কগুলির সাহায্যে সহজেই বোকা বানানো যায়, "অবিশ্বাস্য চিত্রগুলির জন্য উচ্চ আত্মবিশ্বাসের ফলাফল" তৈরি করা যায়।

(...) একটি নির্দিষ্ট শ্রেণীর সাথে সম্পর্কিত অঞ্চল (ইনপুট ডোমেনে) region অঞ্চলের প্রশিক্ষণের উদাহরণগুলির দ্বারা দখল করা অঞ্চলের জায়গার তুলনায় অনেক বড় হতে পারে। এর ফলস্বরূপ, কোনও চিত্র কোনও শ্রেণীর জন্য নির্ধারিত অঞ্চলে থাকতে পারে এবং তাই প্রশিক্ষণ সংস্থায় in শ্রেণীর মধ্যে প্রাকৃতিকভাবে উপস্থিত চিত্রগুলি থেকে দূরে থাকা অবস্থায়, সফটম্যাক্স আউটপুটে একটি বড় শীর্ষের সাথে শ্রেণিবদ্ধ করা যেতে পারে।

এর অর্থ হ'ল প্রশিক্ষণের ডেটা থেকে দূরে থাকা ডেটা কখনও উচ্চ আত্মবিশ্বাস পাওয়া উচিত নয়, যেহেতু মডেলটি "এটি" সম্পর্কে নিশ্চিত হতে পারে না (যেমন এটি এটি কখনও দেখেনি)।

তবে: এটি কি সাধারণভাবে পুরো এনএনএসের সাধারণীকরণের বৈশিষ্ট্যগুলি নিয়ে প্রশ্ন করছে না? অর্থাত্ সফটম্যাক্স ক্ষতির সাথে এনএন'র (1) "অবর্ণনীয় কল্পনা" বা (2) ইনপুট ডেটা নমুনাগুলি যা প্রশিক্ষণের ডেটা থেকে অনেক দূরে থাকে, যেমন অজ্ঞাত চিত্রগুলি well

এই যুক্তি অনুসরণ করে আমি এখনও বুঝতে পারি না, কেন এমন ডেটা নিয়ে অনুশীলন করা যা প্রশিক্ষণ ডেটা (যেমন বেশিরভাগ "আসল" অ্যাপ্লিকেশনস) বনাম প্রশিক্ষণ ডেটা (যেমন বেশিরভাগ "আসল" অ্যাপ্লিকেশন) পরিবর্তিত হয় না, সফটম্যাক্স আউটপুটকে "সিউডো-সম্ভাবনা" হিসাবে ব্যাখ্যা করা খারাপ? ধারণা. সর্বোপরি, তারা আমার মডেল সম্পর্কে নিশ্চিত কিনা তা ভালভাবে উপস্থাপন করে বলে মনে হচ্ছে, এটি সঠিক না হলেও (যে ক্ষেত্রে আমার মডেলটি ঠিক করা দরকার)। এবং মডেল অনিশ্চয়তা সর্বদা "কেবল" একটি আনুমানিক হয় না?


4
Softmax একটি uncertanity পরিমাপ, এটা একটি ফাংশন নয় যে রূপান্তরগুলির মান থেকে । (,)(0,1)
টিম

2
সফটম্যাক্স কী তা নিয়ে আমার কোনও প্রশ্ন নেই । আমি আশা করি "কেন সফটম্যাক্স আউটপুটটি একটি ভাল অনিশ্চয়তা পরিমাপ হয় না" এর পুনর্নির্মাণ স্পষ্ট করে দেবে: এটি নেটওয়ার্ক অ্যাক্টিভেশনগুলিকে রূপান্তরিত করার বিষয়টি नेटवर्क আউটপুটটিকে সম্ভাব্যতা / (আন) নিশ্চিতকরণের পরিমাপ হিসাবে ব্যাখ্যা করার জন্য প্ররোচিত করে তোলে - আমি হিসাবে 'ব্যাখ্যা করেছেন। এটি আমার কাছে পরিষ্কার হয়ে গেছে যে এটি কোনও ভাল ধারণা নয়, তবে কেন এটি খারাপ ধারণা তা সম্পর্কে আমার এখনও বোধগম্যতা নেই । একটি উচ্চ নেটওয়ার্ক অ্যাক্টিভেশন (ম্যাপযুক্ত ) উচ্চ নেটওয়ার্কের আত্মবিশ্বাসের জন্য সূচক নয় কেন? (0,1)(0,1)
হানিবার

আপনি কীভাবে এই শব্দটি
হেই ওয়াচথিস

উত্তর:


14

এই প্রশ্নের বর্তমান উত্তরগুলির চেয়ে আরও সঠিকভাবে উত্তর দেওয়া যেতে পারে। পূর্বাভাসযুক্ত সম্ভাবনার (একটি নিউরাল নেটওয়ার্কের সফটম্যাক্স লেয়ারের আউটপুট) এবং তাদের সত্য সম্ভাবনা (যা আত্মবিশ্বাসের ধারণাটিকে উপস্থাপন করে) এর মধ্যে বিচ্যুতি স্থির করে, এটি ক্রমাঙ্কন বা নির্ভরযোগ্যতা বক্ররেখা হিসাবে পরিচিত।

অনেক গভীর স্নায়বিক নেটওয়ার্কগুলির সাথে সমস্যাটি হ'ল যদিও তারা ভবিষ্যদ্বাণীটির জন্য ভাল পারফরম্যান্সের ঝোঁক রাখে তবে একটি সফটম্যাক্স লেয়ারের আউটপুট দ্বারা উত্পাদিত তাদের অনুমানিত পূর্বাভাসগুলি সত্যিকারের সম্ভাব্যতা হিসাবে (প্রতিটি লেবেলের আত্মবিশ্বাস হিসাবে) নির্ভরযোগ্যভাবে ব্যবহার করা যায় না। অনুশীলনে, তাদের প্রবণতা খুব বেশি - নিউরাল নেটওয়ার্কগুলি তাদের পূর্বাভাসগুলিতে 'খুব আত্মবিশ্বাসী'।

চুয়ান গো ইত্যাদি। আল, কিলিয়ান ওয়েইনবার্গারের সাথে কাজ করে, এই গবেষণাপত্রে নিউরাল নেটওয়ার্কগুলির পূর্বাভাস সম্ভাব্যতাগুলি ক্যালিব্রেট করার জন্য কার্যকর সমাধান তৈরি করেছে: https://arxiv.org/pdf/1706.04599.pdf

ভবিষ্যদ্বাণী করা সম্ভাব্যতাগুলি সঠিকভাবে ক্যালিব্রেট করা হলে কীভাবে আত্মবিশ্বাসের ব্যবস্থা হিসাবে পূর্বাভাসযোগ্য সম্ভাবনাগুলি ব্যাখ্যা করা যেতে পারে এই প্রবন্ধটি আরও ব্যাখ্যা করে।


1
আপনাকে @ ক্যানগারথটিক্ট ধন্যবাদ, শুনেছি মানুষ বহুবার এটি উল্লেখ করেছে এবং এই কাগজটি অনুসন্ধান করার পরে থেকেই সত্যিই দুর্দান্ত রেফারেন্স
থিওফিল পেস

সুন্দর ধন্যবাদ. আগ্রহীদের জন্য বিমূর্ত (কাগজের পরিবর্তে) এখানে একটি লিঙ্ক দেওয়া হয়েছে: arxiv.org/abs/1706.04599
ওয়েলন ফ্লিন ২

3

এমএলে যাকে সফটম্যাক্স বলা হয় তার বহুবিধ যৌক্তিক সমীকরণের সমান সমীকরণ রয়েছে। পরেরটি সম্ভাব্যতা গণনা করতে ব্যবহার করা যেতে পারে। অনুশীলনে এটি বন্ধকগুলির জন্য প্রতিযোগিতামূলক ঝুঁকি কাঠামোর ক্ষেত্রে ডিফল্ট সম্ভাব্যতাগুলির অনুমানের ক্ষেত্রে ব্যাপকভাবে ব্যবহৃত হয়, উদাহরণস্বরূপ Eq দেখুন। এই কাগজে 4 ।

অতএব, আমি বলব যে আপনার অন্তর্দৃষ্টি সম্পূর্ণরূপে চিহ্নের বাইরে নেই। তবে উপরের বন্ধকী মডেলিংয়ের উদাহরণে নির্ভরশীল পরিবর্তনশীল হ'ল loan খেলাপির সম্ভাব্যতা মেট্রিক। আপনার কাছে বন্ধকের একটি পুল রয়েছে এবং ডিফল্টের সংখ্যাটি পর্যবেক্ষণ করুন। একটি একক বন্ধক হয় বর্তমান বা ডিফল্টরূপে হতে পারে, এর ডিফল্ট সম্ভাবনাটি পর্যবেক্ষণযোগ্য নয়। আমরা কেবল বিযুক্ত ঘটনাগুলি পর্যবেক্ষণ করি। তবে আমরা সম্ভাবনার মডেল করি।

এটি মেশিন লার্নিং থেকে কীভাবে আলাদা? এটা নির্ভর করে. আমি বন্ধকী খেলাপি ডিফল্টগুলিতে এটি প্রয়োগ করার সিদ্ধান্ত নিতে পারতাম, তবে এটি মোটেই আলাদা হবে না। অন্যদিকে বিভিন্ন অ্যাপ্লিকেশনগুলিতে, এটি কাজ নাও করতে পারে। আপনি যদি আমার উদাহরণের মতো স্পষ্টভাবে সম্ভাবনাটি মডেলিং না করে থাকেন তবে আপনার মডেল আউটপুট সম্ভাব্যতা যথাযথভাবে উপস্থাপন করতে পারে না।


উত্তরের জন্য ধন্যবাদ. সুতরাং এটি কি এটিকে সিদ্ধ করে দেয়: কিছু ক্ষেত্রে এটি আসলে একটি বৈধ পন্থা হবে, তবে এটি সাধারণত ভাল ধারণা নয় কারণ এটি দৃ rob় নয় এবং এটি কোনও নির্দিষ্ট কাজে প্রযোজ্য কিনা তা সহজেই জানা যায় না?
হানিবার 16

আমি "মজবুত" শব্দের আশেপাশে টস করব না কারণ তাদের পরিসংখ্যানগুলির খুব নির্দিষ্ট অর্থ রয়েছে তবে আপনি আমার যুক্তির সংক্ষেপণ পেয়ে গেছেন। আপনি যদি বিশেষত সম্ভাবনার মডেলিং করেন তবে আপনি কিছুটা সময় সফটম্যাক্স সমীকরণটি ব্যবহার করতে পারেন এবং আউটপুটটিকে সম্ভাব্যতা হিসাবে ব্যাখ্যা করা ঠিক হবে। সাধারণ ক্ষেত্রে সফটম্যাক্স আউটপুট সম্ভাবনার সাথে মিলে না।
আকসকল

1

সফটম্যাক্স উপলব্ধ ক্লাসগুলির মধ্যে 'সম্ভাব্যতা' 0-1 বিতরণ করে। এটি ছদ্মবেশ প্রকাশ করে না, এটি পিডিএফ ফাংশন নয়। আপনি যদি ছদ্মবেশটি প্রকাশ করতে চান তবে আপনাকে বেইসিয়ান নিউরাল নেটওয়ার্কগুলির সন্ধান করা উচিত। এই কাগজটি একবার দেখুন: ডিপ লার্নিংয়ে অনিশ্চয়তা কিছু সাম্প্রতিক সম্ভাব্যতা ফ্রেমওয়ার্ক:

আকর্ষণীয় মূল বক্তব্য জৌবিন ঘড়ামণির (ক্যামব্রিজ বিশ্ববিদ্যালয়)

এই কাগজটি একবার দেখুন: মিশ্রণ ঘনত্ব নেটওয়ার্কগুলি :

আমার ধারণা আপনি এটি প্রয়োগ করতে পারেন এবং কনভনেটে একটি চূড়ান্ত স্তর হিসাবে যুক্ত করতে পারেন। আপনি যদি এটি বাস্তবায়ন করেন তবে ভাগ করে নেওয়া যত্নশীল হবেন না ;-) শুভকামনা


1

কাগজে একটি Bayesian পড়তা হিসাবে ঝরে পড়া: ডিপ Learning এর মধ্যে প্রতিনিধিত্ব মডেল অনিশ্চয়তা , Yarin গালা এবং Zoubin Ghahramani নিম্নলিখিত তর্ক

এক্স* উদাহরণস্বরূপ সম্ভাব্যতা 1 ক্লাস 1 হিসাবে শ্রেণীবদ্ধ করা হবে।

এখানে চিত্র 1।

এখানে চিত্র বর্ণনা লিখুন

এক্স*

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.