নিউরাল নেটওয়ার্ক: বাইনারি শ্রেণিবিন্যাসের জন্য 1 বা 2 আউটপুট নিউরন ব্যবহার করবেন?

Question

ধরুন আমি বাইনারি শ্রেণিবদ্ধকরণ করতে চাই (কিছু এ-ক্লাস বি বা শ্রেণীর অন্তর্গত)। নিউরাল নেটওয়ার্কের আউটপুট স্তরটিতে এটি করার কিছু সম্ভাবনা রয়েছে:

• 1 আউটপুট নোড ব্যবহার করুন। আউটপুট 0 (<0.5) শ্রেণি A এবং 1 (> = 0.5) কে বি শ্রেণি হিসাবে বিবেচনা করা হয় (সিগময়েডের ক্ষেত্রে)

• 2 আউটপুট নোড ব্যবহার করুন। ইনপুটটি সর্বোচ্চ মান / সম্ভাব্যতা (আরগম্যাক্স) সহ নোডের শ্রেণীর অন্তর্গত।

এখানে কোন কাগজ লিখিত আছে যা (এটি) আলোচনা করে? সন্ধানের জন্য নির্দিষ্ট কীওয়ার্ডগুলি কী কী?

এই প্রশ্নটি আগেই এই সাইটে জিজ্ঞাসা করা হয়েছে যেমন কোনও বাস্তব উত্তর ছাড়াই এই লিঙ্কটি দেখুন । আমার একটি পছন্দ করতে হবে (মাস্টার থিসিস), তাই আমি প্রতিটি সমাধানের প্রো / কনস / সীমাবদ্ধতা সম্পর্কে অন্তর্দৃষ্টি পেতে চাই।

Comments

আমি মনে করি লিঙ্কযুক্ত প্রশ্নের ওপিতে একটি ভাল পয়েন্ট রয়েছে, কেবলমাত্র পার্থক্যটি পছন্দ 2 এর একটি বৃহত সংখ্যক পরামিতি রয়েছে, আরও নমনীয় তবে ওভার ফিটিংয়ের প্রবণতা।

— ড্যান্টলু

উদাসিটি এমএল ন্যানোডগ্রিতে আমি শিখেছি যে ফলাফলটি পারস্পরিক একচেটিয়াভাবে করা কেবল একটি আউটপুট নোড ব্যবহার করা ভাল কারণ নেটওয়ার্কটিতে এটির কম ত্রুটি থাকতে পারে। আমি মনে করি সেক্ষেত্রে 2 আউটপুট নোড ব্যবহার করার পক্ষে কোনও সুবিধা নেই তবে এর পক্ষে আমার কাছে কোনও বৈজ্ঞানিক প্রমাণ নেই

— কোডিংইউরলাইফ

Answer 1

দ্বিতীয় ক্ষেত্রে আপনি সম্ভবত সফটম্যাক্স অ্যাক্টিভেশন ফাংশন সম্পর্কে লিখছেন। যদি এটি সত্য হয় তবে সিগময়েডটি কেবল সফটম্যাক্স ফাংশনের একটি বিশেষ ক্ষেত্রে। এটি দেখানো সহজ।

$$y = \frac{1}{1 + e ^ {-x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{e ^ x}{1 + e ^ x} = \frac{e ^ x}{e ^ 0 + e ^ x}$$

আপনি দেখতে পাচ্ছেন সিগময়েড হ'ল সফটম্যাক্সের মতো। আপনি ভাবতে পারেন যে আপনার দুটি আউটপুট রয়েছে তবে তাদের মধ্যে একটির সমস্ত ওজন শূন্যের সমান এবং তাই এর ফলাফল সর্বদা শূন্যের সমান হবে।

সুতরাং বাইনারি শ্রেণিবদ্ধকরণের জন্য আরও ভাল পছন্দ হ'ল দুটি আউটপুট ইউনিট সহ সফটম্যাক্সের পরিবর্তে সিগময়েড সহ একটি আউটপুট ইউনিট ব্যবহার করা, কারণ এটি দ্রুত আপডেট হবে।

Comments

যখন আপনি বলছেন যে তাদের মধ্যে একটিতে সমস্ত ওজন শূন্য রয়েছে, আপনি কি বোঝাতে চেয়েছেন যে প্রশিক্ষণকালে মডেলটি এমনকি ক্লাসের একটিও বিবেচনা করেনি? অনুশীলনে, আমরা কি কেবল মাত্র এক শ্রেণির প্রশিক্ষণ ডেটা সহ এই বাইনারি শ্রেণিবদ্ধকে প্রশিক্ষণ দিতে পারি?

— ডেডকোড

এটি প্রশিক্ষণের সময় এবং ক্লাসের সময় থ্রেশহোল্ড (আবদ্ধ) স্থির হয়ে থাকে। যাতে আপনি জানেন যে চেয়ে ধনাত্মক শ্রেণীর চেয়ে বেশি এবং যদি x < 0 এর তুলনায় এটি নেতিবাচক বর্গ। সফটম্যাক্সের সাহায্যে আপনি বিভিন্ন প্রান্তিক স্তর শিখতে পারেন এবং আলাদা আবদ্ধ থাকতে পারেন। সমস্ত শূন্যের সাথে আর ওজন, আমি বোঝাতে চাইছি সিগময়েডের ক্ষেত্রে 2 আউটপুটগুলির সাথে সফটম্যাক্সের সমান হয় যখন আপনার কাছে দুটি আউটপুট নিউট্রন থাকে এবং একটি আউটপুট এক্স এবং অন্য সর্বদা 0 ইনপুট কী তা বিবেচনা করে না। এটি তখনই হতে পারে যখন দ্বিতীয় আউটপুটটির জন্য আমাদের সমস্ত ওজন শূন্যের সমান হয়। আমি আসা করি এটা সাহায্য করবে. $x > 0$$x < 0$$x$$0$

— itdxer

দ্রষ্টব্য হ'ল ফর্মটির অধঃপতন সমাধান রয়েছে exp(x+alpha) / (exp(alpha) + exp(x+alpha))- প্রকৃতপক্ষে এগুলির একটি অসীম সংখ্যা - সমস্ত একই শ্রেণিবিন্যাসের ফলন পেয়েছে যা ওজনের সাথে সমস্ত হিসাবে চিহ্নিত হয়েছে all সমাধানের সাথে সমস্ত ওজন রয়েছে with. কেবলমাত্র একটি আউটপুট নিউরন ব্যবহার করে (অর্থহীন এবং অপব্যয়যুক্ত) অবনমিত দ্রবণগুলি এড়িয়ে চলুন, মনে হয়।

— ড্যান নিসেনবাউম

Answer 2

শ্রেণিবদ্ধ হিসাবে মেশিন লার্নিং অ্যালগরিদমগুলি পরিসংখ্যানগতভাবে বিভিন্ন বিভাগের অন্তর্গত ইনপুটটির সম্ভাবনাগুলি নির্ধারণ করে ইনপুট ডেটা এখানে মডেল করে । একটি নির্বিচার সংখ্যক ক্লাসের জন্য, সাধারণত একটি সফটম্যাক্স স্তর মডেলটিতে সংযুক্ত করা হয় যাতে ফলাফলগুলি নকশার দ্বারা সম্ভাব্য বৈশিষ্ট্যগুলি অর্জন করতে পারে:

$$\vec{y} = \text{softmax}(\vec{a}) \equiv \frac{1}{\sum_i{ e^{-a_i} }} \times [e^{-a_1}, e^{-a_2}, ...,e^{-a_n}]$$

$$0 \le y_i \le 1 \text{ for all i}$$ $$y_1 + y_2 + ... + y_n = 1$$

$a$

এটি দুটি শ্রেণীর জন্য পুরোপুরি বৈধ, তবে এর আউটপুটটি সন্তুষ্ট হয়ে যে কেউ একটি নিউরন (দুইটির পরিবর্তে) ব্যবহার করতে পারে:

$$0 \le y \le 1 \text{ for all inputs.}$$ $a$$y$

$$\text{sigmoid}(a) \equiv \sigma(a) \equiv \frac{1}{1+e^{-a}}$$

দরকারী গাণিতিক বৈশিষ্ট্য (পার্থক্য, 0 এবং 1 এর মধ্যে আবদ্ধ হওয়া ইত্যাদি), গণনা দক্ষতা, এবং সঠিক opeালু থাকা যেমন নেটওয়ার্কের ওজন আপডেট করার অপ্টিমাইজেশনের উদ্দেশ্যে আউটপুটে একটি ছোট তবে পরিমাপযোগ্য পরিবর্তন হতে পারে।

উপসংহার

আমি নিশ্চিত নই @ @ddxer এর যুক্তি যা সফটম্যাক্স এবং সিগময়েডকে বৈধ বলে প্রমাণ করে যদি সমান হয় তবে তিনি বাইনারি শ্রেণিবদ্ধীদের জন্য 2 নিউরনের বিপরীতে 1 নিউরন বাছাই সম্পর্কে সঠিক, যেহেতু কম প্যারামিটার এবং গণনা প্রয়োজন। "এটি অতিমাত্রায় হয়" যেহেতু বাইনারি শ্রেণিবদ্ধের জন্য দুটি নিউরন ব্যবহার করার জন্য আমারও সমালোচনা হয়েছিল।