হাইপারপ্লেনগুলি ইনপুটগুলি শর্তসাপেক্ষে স্বতন্ত্র হলে ডেটাটিকে সর্বোত্তমভাবে শ্রেণিবদ্ধ করে - কেন?

Question

ডিপ লার্নিং এবং ইনফরমেশন বোতলেনেক মূল নীতিটি লেখকগুলিতে ২ য় বিভাগের লেখকদের বিবরণে বলা হয়েছে )

একক নিউরন কেবলমাত্র রৈখিক পৃথকযোগ্য ইনপুটগুলিকে শ্রেণিবদ্ধ করে, কারণ তারা কেবলমাত্র তাদের ইনপুট স্পেসে হাইপারপ্লেনগুলি প্রয়োগ করতে পারে । হাইপারপ্লেনগুলি ইনপুটগুলি বিনোদনের সাথে নিখরচায় রাখার সময় উপাত্তকে সর্বোত্তমভাবে শ্রেণিবদ্ধ করতে পারে।$u = wh+b$

এটি দেখানোর জন্য, তারা নিম্নলিখিতগুলি উত্পন্ন করে। বয়েস উপপাদ্য ব্যবহার করে তারা পান:

$p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$ (1)

যেখানে ইনপুট, হল শ্রেণি এবং হল পূর্বাভাসীকৃত শ্রেণি (আমি ধরে নিই, সংজ্ঞায়িত নয়)। অবিরত, তারা বলে যে:$x$$y$$y'$$y'$

$\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$ (2)

যেখানে হ'ল ইনপুট মাত্রা এবং আমি নিশ্চিত নই (আবার, উভয়ই পূর্বনির্ধারিত)। সিগময়েডাল নিউরন বিবেচনা করে সিগময়েড অ্যাক্টিভেশন ফাংশন pre এবং প্রি্যাক্টিভেশন , (2) ( পরে (1) আমরা সর্বোত্তম ওজন মান এবং , যখন ইনপুট মান ।$N$$n$$\sigma(u) = \frac{1}{1+exp(-u)}$$u$$w_j = log\frac{p(x_j|y)}{p(x_j|y')}$$b=log\frac{p(y)}{p(y')}$$h_j=np(x_j)$

এখন আমার প্রশ্ন। আমি বুঝতে পারি (2) (1) 1োকানো কীভাবে অনুকূল ওজন এবং ইনপুট মানগুলিতে । আমি যা বুঝতে পারি না তা হ'ল:$w,b,h$

1. (1) কীভাবে বয়েস উপপাদ্য ব্যবহার করে?
2. (2) কীভাবে উত্পন্ন হয়? কি ? এর অর্থ কী? আমি ধরে নিই শর্তাধীন স্বাধীনতার সাথে এর কিছু আছে$n$
3. এমনকি যদি x এর মাত্রাগুলি শর্তসাপেক্ষে স্বতন্ত্র থাকে তবে কীভাবে কেউ বলতে পারেন যে এটি এর আকারযুক্ত সম্ভাবনার সমান? (যেমন আপনি কীভাবে ?)$h_j=np(x_j)$

সম্পাদনা: ভেরিয়েবল হ'ল বাইনারি ক্লাস ভেরিয়েবল। এ থেকে আমি ধরে নিই যে হ'ল "অন্যান্য" শ্রেণি। এটি প্রশ্ন 1 সমাধান করবে। আপনি সম্মত হন?$y$$y'$

Comments

কাগজের লেখক (প্রফেসর টিশবি) এর উত্তরের পয়েন্টার সত্ত্বেও, একা 2 কোথা থেকে এসেছে তা বোঝার জন্য আমি লড়াই করছি। শর্তসাপেক্ষে স্বাধীনতা অনুমান থেকে যে অংশটি আসে তা আমি বুঝতে পারি। যাইহোক, আমি সম্পর্কে নিশ্চিত নই - এটি কেন আছে? $n p(x_j)$

— আইকননটফিক্স এই

Answer 1

আমাদের সংক্ষিপ্ত কাগজে হারিয়ে যাওয়া বিশদ সম্পর্কে দুঃখিত, তবে সম্ভাবনা অনুপাতের পরীক্ষা এবং সিগময়েডাল নিউরনের মধ্যে এই সম্পর্ক এবং সংযোগগুলি অবশ্যই নতুন নয় এবং পাঠ্যপুস্তকগুলিতে পাওয়া যাবে (যেমন বিশপ 2006) 2006 আমাদের কাগজে, 'এন' হ'ল ইনপুট মাত্রা এবং 'এন' হ'ল পরীক্ষার নমুনা আকার (যা আসলে এসএনআর স্কয়ারটি (এন) এর মতো বেড়ে যায় এই অনুমানের অধীনে ইনপুট এসএনআর-তে অনুবাদ করা হয়েছিল)। সিগময়েডাল ফাংশনের সাথে সংযোগটি বয়েসের নিয়মের মাধ্যমে ক্লাসের উত্তরোত্তর হিসাবে সম্পন্ন হয়। বাকী কাগজের কোনও কিছুই নেই এবং 2017 এর নতুন এবং আমাদের আরও গুরুত্বপূর্ণ কাগজ আসলে এর উপর নির্ভর করে।

নাফতালি তিশবি

Comments

এখানে এটি পরিষ্কার করার জন্য আপনাকে ধন্যবাদ। পুরো সম্প্রদায়ের লেখাগুলি লেখার পক্ষে এই সম্প্রদায়ের মানক অনুশীলন যাতে আগ্রহী পাঠকরা উত্সগুলি সন্ধান করতে পারেন। আপনি দয়া করে বিশপ (2006) এর জন্য এটি করতে পারেন?

— এমকেটি - মনিকা

Answer 2

এটি এমন একটি মডেল সেটআপ যেখানে লেখকরা বয়েস উপপাদ্যের একটি বিশেষ ফর্ম ব্যবহার করছেন যা আপনার আগ্রহের বাইনারি পরিবর্তনশীল হলে প্রয়োগ হয়। তারা প্রথমে বয়েস উপপাদ্যের এই বিশেষ রূপটি সমীকরণ (1) হিসাবে নিয়েছে এবং তারপরে তারা দেখায় যে সমীকরণ (2) এর শর্তটি তাদের নেটওয়ার্কের জন্য নির্দিষ্ট লিনিয়ার ফর্মের দিকে নিয়ে যায়। এটি লক্ষণীয় গুরুত্বপূর্ণ যে পরের সমীকরণটি পূর্ববর্তী শর্তগুলি থেকে উদ্ভূত হয়নি --- বরং এটি তাদের নেটওয়ার্কের জন্য যে লিনিয়ার ফর্মটি ব্যবহার করছে তার জন্য এটি একটি শর্ত ।

---

প্রথম সমীকরণ আহরিত: সমীকরণ (1) কাগজে শুধু বায়েসের উপপাদ্য একটি ফর্ম যে ফ্রেম পরিপ্রেক্ষিতে সুদের শর্তাধীন সম্ভাব্যতা মান লজিস্টিক (সিগমা) ফাংশন সম্ভাবনা এবং পূর্বে কার্যাবলী উপর অপারেটিং। টেকিং এবং দৈব চলক দুই বাইনারি ফলাফল হতে , এবং প্রয়োগের বায়েসের উপপাদ্য, দেয়:$y$$y'$$Y$

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$$

নেটওয়ার্কের লীনার ফর্মের শর্ত হিসাবে সমীকরণ (2) ব্যবহার করা: উপরে বর্ণিত হিসাবে, এই সমীকরণটি এমন কিছু নয় যা পূর্ববর্তী ফলাফল থেকে প্রাপ্ত। বরং এটি একটি পর্যাপ্ত শর্ত যা রৈখিক রূপকে নিয়ে যায় যা লেখকরা তাদের মডেলটিতে ব্যবহার করেন --- অর্থাৎ লেখকরা বলছেন যে এই সমীকরণটি যদি ধরে থাকে তবে পরবর্তী কিছু ফলাফল অনুসরণ করবে। ইনপুট ভেক্টর দৈর্ঘ্য , যদি সমীকরণ (2) ধরে, তবে উভয় পক্ষের গ্রহণ করে:$\mathbf{x} = (x_1,...,x_N)$$N$

$$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$$

এই অবস্থার অধীনে, আমরা অতএব পরবর্তী ফর্মটি গ্রহণ করি:

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$$

যা ফর্ম যা লেখকরা তাদের নেটওয়ার্কে ব্যবহার করছেন। সমীকরণ (1) - (2) উল্লেখ করার আগে পটভূমি বিভাগে লেখকরা পোস্ট করা মডেল ফর্ম এটি। কাগজটি মডেল সেটআপে সংজ্ঞায়িত করে না , তবে আপনি যেমন উল্লেখ করেছেন, অধ্যাপক তিশ্বির উত্তর বলেছেন যে এটি পরীক্ষার নমুনা আকার। আপনার তৃতীয় প্রশ্নের ক্ষেত্রে, দেখে মনে হচ্ছে সমীকরণের প্রয়োজন (2) মানে যে মান হয় না শর্তসাপেক্ষে স্বাধীন দেওয়া ।$n$$\mathbf{x}$$y$

Comments

প্রফেসর Tishby (লেখক) বলেছেন, তার নিজের উত্তরে, যে পরীক্ষা নমুনা আকার। এ কারণেই আমি অনুভব করেছি যে EQ (2) এর নেটওয়ার্কের রৈখিক রূপের চেয়ে স্বেচ্ছাসেবী শর্তের চেয়ে অনেক বেশি সমৃদ্ধ ব্যাখ্যা রয়েছে। $n$

— IcannotFixTr

ধন্যবাদ - আমি এই অতিরিক্ত তথ্য প্রতিফলিত করতে আমার উত্তর সম্পাদনা করেছি।

— বেন - মনিকা 22

Answer 3

1 এর জন্য

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

এখন বাইনারি হওয়ার কারণে এটি হয়ে যায়:$y_{i}$

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

এবং সেখান থেকে চূড়ান্ত ফর্মে উঠার জন্য লগারিদমের ঠিক সম্পত্তি (এই পয়েন্টটি দ্বারা যথেষ্ট পরিষ্কার হওয়া উচিত, না হলে আমাকে জানাবেন)।