নিউরাল নেটওয়ার্কগুলি কোনও ফাংশন বা সম্ভাবনার ঘনত্বের ফাংশন শিখতে পারে?

Question

প্রশ্নটি কিছুটা অদ্ভুত মনে হতে পারে কারণ আমি পরিসংখ্যানগত অনুক্রম এবং নিউরাল নেটওয়ার্কগুলিতে নতুন।

স্নায়ুর নেটওয়ার্ক ব্যবহার করার সময় শ্রেণীবিন্যাস সমস্যার মধ্যে আমরা বলতে যে আমরা একটি ফাংশন শিখতে চান $f^*$ যে ইনপুট স্থান মানচিত্র $x$ , আউটপুট স্থান থেকে $y$ :

$$f^*(x; \theta) = y$$

আমরা কি কোনও অ-রৈখিক ক্রিয়াকলাপ মডেল করার জন্য, বা সম্ভাব্যতা ঘনত্বের ফাংশনটির মডেলিং করতে প্যারামিটারগুলি ( $\theta$ ) ফিট করছি?

আমি কীভাবে প্রশ্নটি আরও ভালভাবে লিখতে জানি না। আমি উভয় জিনিস বেশ কয়েকবার পড়েছি (সম্ভাব্যতার ঘনত্ব ফাংশন, বা ঠিক তেমন ফাংশন) তাই আমার বিভ্রান্তি।

Answer 1

কঠোরভাবে বলতে গেলে, নিউরাল নেটওয়ার্কগুলি একটি অ-লিনিয়ার ফাংশন ফিট করে।

উপযুক্ত অ্যাক্টিভেশন ফাংশন বেছে নেওয়া হয় এবং কিছু শর্ত সম্মান করা হয় (মান অবশ্যই ধনাত্মক এবং 1, ইত্যাদি হতে পারে ...) যদি তাদের সম্ভাব্যতা ঘনত্ব ফাংশন ফিটিং হিসাবে ব্যাখ্যা করা যেতে পারে । তবে আপনি তাদের আউটপুটকে কীভাবে ব্যাখ্যা করছেন তা কীভাবে বেছে নেওয়া উচিত তা নয় এটি আসলে একটি প্রশ্ন। ফণা অধীনে, তারা এখনও অ-রৈখিক ফাংশন অনুমানকারী, যা আপনি পিডিএফ অনুমানের নির্দিষ্ট সমস্যার জন্য প্রয়োগ করতে বেছে নিচ্ছেন।$\leq$

Comments

@sdiabr আসলে আপনি প্রান্তিকতা ব্যবহার করবেন না যদি আপনি নেটওয়ার্কটি একটি পিডিএফ অনুকরণ করতে চান - যেহেতু পিডিএফটির 1 এবং 0 ছাড়াও অন্যান্য মান থাকতে পারে তবে প্রান্তিকের সাহায্যে এটি একটি সোজা শ্রেণিবদ্ধ হয়ে যায়।

— স্ক্যান্ডার এইচ।

এটি দেখার যথাযথ উপায় হ'ল থ্রেশোল্ডিংটি নেটওয়ার্ক থেকে যা শিখেছে তার বাহ্যিক সমস্যা । এই পার্থক্যকে সম্মান না করা এমএল প্রয়োগের ক্ষেত্রে বাস্তব সমস্যার জন্য প্রচুর সমস্যা সৃষ্টি করে।

— ম্যাথু ড্র্যারি

হ্যাঁ ওকে, আমি বুঝতে পারি থ্রোহোল্ডিংয়ের সম্পর্কে ভুলে যাচ্ছি, তাহলে আমি একটি পিডিএফ মডেলিং করব? আমি মনে করি আমি দোরগোড়ায় বিভ্রান্ত হয়ে পড়েছি কারণ আমি একটি বের্নিলি ডিস্ট্রিবিউশন মডেলিংয়ের বিষয়ে কিছু পড়েছি। যাইহোক, দোরগোড়া ছাড়া, এটি ইতিমধ্যে ঠিক আছে বার্নোইলি? ক্ষেত্রে আমাদের কাছে সিগময়েড অ্যাক্টিভেশন ফাংশন সহ কেবলমাত্র একটি আউটপুট নোড রয়েছে, এটি সম্ভাব্যতা পি বা (1-পি) দিয়ে 0 বা 1 আউটপুট দেয়

— sdiabr

হ্যাঁ, আমি আবার বিভ্রান্ত হয়ে পড়েছি, ধন্যবাদ @ ক্যাগডাস ওজেকেঙ্ক। আসুন আবার চেষ্টা করুন: আউটপুট স্তরটিতে একটি সিগময়েড ফাংশন ব্যবহার করে আমরা সরাসরি একটি পিডিএফ মডেলিং করছি, তাই না? এটি অনুসরণ করতে শিখতে পারে যাই হোক না কেন বিতরণ অনুসরণ।

— sdiabr

আপনি অবশ্য অজানা সহগগুলির সম্ভাব্যতা বন্টন সম্পর্কে শিখছেন না, সুতরাং আপনি উত্তরোত্তর ভবিষ্যদ্বাণীমূলক বিতরণ সম্পর্কে শিখছেন না।

— ব্রাশ ভারসাম্য

Answer 2

সাধারণত নিউরাল নেটওয়ার্কগুলি সম্পূর্ণ সম্ভাবনার ঘনত্বগুলির মডেল করতে ব্যবহৃত হয় না। তাদের ফোকাসটি কেবলমাত্র একটি বিতরণের গড়কে মডেল করা (বা একটি নির্জনবাদী পরিস্থিতিতে কেবল একটি অ-লিনিয়ার ফাংশন)। তবুও নিউরাল নেটওয়ার্কগুলির মাধ্যমে সম্পূর্ণ সম্ভাবনার ঘনত্বগুলির মডেল তৈরি করা খুব সম্ভব।

এটি করার একটি সহজ উপায় উদাহরণস্বরূপ গাউসিয়ান কেসের ক্ষেত্রে একটি আউটপুট থেকে গড় এবং নেটওয়ার্কের অন্য আউটপুট থেকে তারতম্য নির্ধারণ করা এবং তারপরে অংশটি ছোট করে ফাংশনটি প্রশিক্ষণ প্রক্রিয়া সাধারণ স্কোয়ার ত্রুটির পরিবর্তে। এটি নিউরাল নেটওয়ার্কের সর্বাধিক সম্ভাবনার পদ্ধতি।$-log N(y | x ;\mu,\sigma)$

আপনি এই নেটওয়ার্ক সব আপনি একটি প্লাগ প্রশিক্ষণ একবার একটি ইনপুট হিসাবে মান আপনার দেব μ এবং σ , তাহলে আপনি সম্পূর্ণ ত্রয়ী চলা করতে পারেন Y , μ , σ ঘনত্বের চ ( Y | এক্স ) ~ এন ( μ , σ ) কোন ঘনত্ব মান প্রাপ্ত করার Y আপনার মত। এই পর্যায়ে আপনি চয়ন করতে পারেন একটি বাস্তব ডোমেন ক্ষতি ফাংশনের উপর ভিত্তি করে কোন y মান ব্যবহার করতে হবে। মনে রাখতে হবে যে এক জিনিস জন্য μ আউটপুট অ্যাক্টিভেশন তাই অবাধ করা উচিত যে আপনি নির্গত করতে $x$$\mu$$\sigma$$y,\mu,\sigma$$f(y|x)\sim N(\mu,\sigma)$$y$$y$$\mu$ to + inf যখন σ কেবল ইতিবাচক সক্রিয় হওয়া উচিত।$-\inf$$+\inf$$\sigma$

সাধারণভাবে, যদি আমরা এটির পরে কোন নির্ধারিত ফাংশন না করি, নিউরাল নেটওয়ার্কগুলিতে ব্যবহৃত স্ট্যান্ডার্ড স্কোয়ারস লস ট্রেনিংটি আমি উপরে বর্ণিত একই পদ্ধতি is ফণা একটি অধীনে ডিস্ট্রিবিউশন সম্পর্কে যত্নশীল ছাড়া পরোক্ষভাবে অধিকৃত হয় σ এবং যদি আপনি সাবধানে পরীক্ষা - ঠ ণ $Gaussian$$\sigma$ আপনি স্কোয়ারড কমানোর জন্য একটি অভিব্যক্তি (দেয়হ্রাস গসিয়ান সর্বাধিক সম্ভাবনা মূল্নির্ধারক ফাংশন)। এই দৃশ্যে, তবে y এর পরিবর্তে$-log N(y|x;\mu,\sigma)$$y$আপনার পছন্দ অনুসারে মান আপনি যখন নির্গমন করতে আটকে থাকেন প্রতিবার নতুন এক্স মান দেওয়া হয়।$\mu$$x$

শ্রেণীবিভাগ জন্য আউটপুট একটি হতে হবে একটি পরিবর্তে বন্টন জি $Bernoulli$ , যা নির্গত একটি একক প্যারামিটার রয়েছে। অন্য উত্তরে বর্ণিত হিসাবে এই প্যারামিটারটি 0 এবং 1 এর মধ্যে রয়েছে যাতে আউটপুট অ্যাক্টিভেশন সেই অনুযায়ী হওয়া উচিত। এটি একটি লজিস্টিক ফাংশন বা অন্য কিছু হতে পারে যা একই উদ্দেশ্য অর্জন করে।$Gaussian$$0$$1$

আরও পরিশীলিত পদ্ধতি হল বিশপের মিশ্রণ ঘনত্ব নেটওয়ার্ক। আপনি এখানে প্রায়শই রেফারেন্স করা কাগজে পড়তে পারেন:

https://publications.aston.ac.uk/373/1/NCRG_94_004.pdf

Comments

আপনি আমাকে এটিকে মারধর করেছেন 😀 আমি বিশপের এমডিএন উদ্ধৃত করতে চেয়েছিলাম ... নিউরাল নেটওয়ার্কগুলি পিডিএফপি আউটপুট পাওয়ার আরও একটি উপায়ও রয়েছে, যা অবশ্যই বায়েশীয় দৃষ্টান্ত। আমি তার উপর একটি উত্তর লিখব।

— ডেল্টাভ

মিশ্রণের ঘনত্বের নেটওয়ার্কগুলির জন্য আরেকটি মজাদার কাগজ, যা সার্ফিং শর্তগুলির পূর্বাভাস দেওয়ার জন্য ব্যবহৃত হয়েছিল: আইসিএমএল.সি.সি

— ম্যাথিউ ড্রিউরি

"সম্পূর্ণ ট্রিপলেট এক্স, μ,?" "পুরো ট্রিপলেট এক্স, μ, σ" এ পরিবর্তন করা উচিত?

— মোঃ

@ মোঃ নং এক্স দেওয়া হয়েছে এবং ঘনত্বে উপস্থিত হবে না।

— ক্যাগডাস ওজজেঙ্ক

Answer 3

আমার মতবিরোধের উত্তরটি হ'ল বেশিরভাগ চিত্তাকর্ষক ব্যবহারিক প্রয়োগগুলিতে (উদাহরণস্বরূপ তারা যেখানে মিডিয়ায় সর্বাধিক কভারেজ পান) এটি কার্যকারিতা বা সম্ভাবনাও নয়। তারা stochastic সিদ্ধান্ত গ্রহণ বাস্তবায়ন।

উপরিভাগে দেখে মনে হচ্ছে এনএন কেবল ফাংশনটি ফিট করছে, সার্বজনীন আনুমানিক রেফারেন্সটি সারি করুন । কিছু ক্ষেত্রে যখন নির্দিষ্ট অ্যাক্টিভেশন ফাংশন এবং গাউসীয় ত্রুটিগুলির মতো নির্দিষ্ট অনুমানগুলি ব্যবহৃত হয় বা আপনি যখন বয়েশিয়ান নেটওয়ার্কগুলিতে কাগজপত্র পড়েন তখন মনে হয় এনএন সম্ভাব্যতা বন্টন তৈরি করতে পারে।

যাইহোক, এটি সমস্ত উপায় দ্বারা। এনএন যা করতে চায় তা হল সিদ্ধান্ত গ্রহণের মডেল। যখন কোনও গাড়ি এআই দ্বারা চালিত হয়, তখন এর এনএন তার সামনে একটি বস্তু রয়েছে এমন সম্ভাবনাটি গণনা করার চেষ্টা করে না, তবে প্রদত্ত যে এটি একটি মানব যে সম্ভাবনাটি গণনা করার জন্য কোনও বস্তু রয়েছে। এটি বিভিন্ন ধরণের বস্তুতে সেন্সর ইনপুটগুলির ম্যাপিংয়ের গণনাও করছে না। না, এনএন পাশের পাশে চালিত বা চালনা চালিয়ে যাওয়ার জন্য সমস্ত ইনপুটের উপর ভিত্তি করে কোনও সিদ্ধান্ত নেবে বলে মনে করা হচ্ছে। এটি সম্ভাবনা গণনা করছে না, এটি গাড়িটি কী করবে তা জানিয়ে দিচ্ছে।