প্রশ্ন ট্যাগ «cross-entropy»

আমি একটি নিউরাল নেটওয়ার্ককে এন-ক্লাসে কয়েকটি সামগ্রীর শ্রেণিভুক্ত করার প্রশিক্ষণ দিচ্ছি। প্রতিটি বস্তু একই সাথে একাধিক শ্রেণীর (বহু-শ্রেণীর, মাল্টি-লেবেল) অন্তর্ভুক্ত থাকতে পারে। আমি পড়েছি যে বহু-শ্রেণীর সমস্যার জন্য সাধারণত সফটম্যাক্স এবং শ্রেণীবদ্ধ ক্রস এনট্রপিকে এমসির পরিবর্তে ক্ষতির ফাংশন হিসাবে ব্যবহার করার পরামর্শ দেওয়া হয় এবং কেন আমি কম-বেশি বুঝতে পারি। …

64 neural-networks  python  loss-functions  keras  cross-entropy 

আমি বুঝতে চেষ্টা করছি যে কোনও সফটম্যাক্স / ক্রস-এন্ট্রপি আউটপুট স্তরটির জন্য ব্যাকপ্রসারণ কীভাবে কাজ করে। ক্রস এনট্রপি ত্রুটি ফাংশন E(t,o)=−∑jtjlogojই(টি,ণ)=-Σঞটিঞলগ⁡ণঞE(t,o)=-\sum_j t_j \log o_j যথাক্রমে নিউরন জে লক্ষ্য এবং আউটপুট হিসাবে tটিt এবং সহ । যোগফল আউটপুট স্তরের প্রতিটি নিউরনের উপরে। ও জে নিজেই সফটম্যাক্স ফাংশনের ফলাফল:oণojঞjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} আবার, …

40 backpropagation  derivative  softmax  cross-entropy 

আমার মনে, নমুনা বিতরণ থেকে সত্য বিতরণে কেএল ডাইভার্জেন্স কেবল ক্রস এনট্রপি এবং এন্ট্রপির মধ্যে পার্থক্য। আমরা কেন অনেকগুলি মেশিন লার্নিং মডেলগুলিতে ব্যয় ফাংশন হিসাবে ক্রস এনট্রপি ব্যবহার করি, তবে টি-সনে কুলব্যাক-লেবলার ডাইভারজেন্সটি ব্যবহার করি? শেখার গতিতে কি কোনও পার্থক্য আছে?

39 kullback-leibler  tsne  cross-entropy 

প্রথমত, আমি বুঝতে পেরেছিলাম যে আমার যদি বাইনারি পূর্বাভাসের প্রয়োজন হয় তবে আমাকে একটি হট-এনকোডিংয়ের মাধ্যমে কমপক্ষে দুটি ক্লাস তৈরি করতে হবে। এটা কি সঠিক? তবে, বাইনারি ক্রস এনট্রপি কি কেবলমাত্র এক শ্রেণীর সাথে ভবিষ্যদ্বাণীগুলির জন্য? যদি আমি একটি শ্রেণীবদ্ধ ক্রস এনট্রপি ক্ষতি ব্যবহার করি যা সাধারণত বেশিরভাগ লাইব্রেরিতে (টেনসরফ্লোয়ের …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

5.5-এ, ডিপ লার্নিং (ইয়ান গুডফেলো, যোশুয়া বেনজিও এবং অ্যারন কউরভিলি দ্বারা), এতে বলা হয়েছে নেতিবাচক লগ-সম্ভাবনা সমন্বিত যে কোনও ক্ষতি প্রশিক্ষণ সেট দ্বারা সংজ্ঞায়িত অভিজ্ঞতা অভিজ্ঞতা এবং মডেল দ্বারা সংজ্ঞায়িত সম্ভাবনা বিতরণের মধ্যে একটি ক্রস-এনট্রপি। উদাহরণস্বরূপ, বর্গক্ষেত্রের ত্রুটিটি বোঝার জন্য অভিজ্ঞতা অভিজ্ঞতা এবং গাউসির একটি মডেলের মধ্যে ক্রস-এনট্রপি। এগুলি কেন …

28 machine-learning  normal-distribution  cross-entropy 

যখন একটি পিক্সেল সেগমেন্টেশন নিউরাল নেটওয়ার্কগুলি যেমন সম্পূর্ণ কনভোলিউশনাল নেটওয়ার্কগুলি প্রশিক্ষণ দেওয়া হয়, তখন আপনি ডাইস-কোয়ালিটি লোকস ফাংশন বনাম ক্রস-এনট্রপি লোকসান ফাংশন ব্যবহার করার সিদ্ধান্তটি কীভাবে গ্রহণ করবেন? আমি বুঝতে পারি এটি একটি ছোট প্রশ্ন, তবে অন্যান্য তথ্য কী সরবরাহ করবে তা পুরোপুরি নিশ্চিত নয়। আমি দুটি লোকস ফাংশন সম্পর্কে …

27 neural-networks  loss-functions  cross-entropy 

আমি কিছুটা অটোএনকডার ব্যবহার করছি এবং টেনসরফ্লো দিয়ে আমি এমন একটি মডেল তৈরি করেছি যা এমএনআইএসটি ডেটাসেটটি পুনর্গঠন করার চেষ্টা করে। আমার নেটওয়ার্কটি খুব সহজ: এক্স, ই 1, ই 2, ডি 1, ওয়াই, যেখানে ই 1 এবং ই 2 স্তরগুলি এনকোডিং করছে, ডি 2 এবং ওয়াই স্তরগুলি ডিকোডিং করছে (এবং …

21 mse  autoencoders  tensorflow  cross-entropy 

ক্রস-এনট্রপি ব্যয়টি কি রিগ্রেশন প্রসঙ্গে (শ্রেণিবিন্যাসের বিপরীতে) অর্থবোধ করে? যদি তা হয় তবে আপনি টেনসরফ্লো এর মাধ্যমে খেলনার উদাহরণ দিতে পারেন? তা না হলে কেন? আমি নিউরাল নেটওয়ার্কগুলিতে ক্রস-এনট্রপি এবং মাইকেল নীলসেনের ডিপ লার্নিংয়ের বিষয়ে পড়ছিলাম এবং মনে হয় এটি এমন একটি বিষয় যা স্বাভাবিকভাবেই রিগ্রেশন এবং শ্রেণিবিন্যাসের জন্য ব্যবহার …

14 regression  entropy  tensorflow  cross-entropy 

আমি নিউরাল নেটওয়ার্কস এবং ডিপ্লিয়ার্নিং ডট কম টিউটোরিয়াল দিয়ে নিউরাল নেটওয়ার্ক সম্পর্কে শিখতে শুরু করেছি। বিশেষ করে তৃতীয় অধ্যায়ে ক্রস এনট্রপি ফাংশন সম্পর্কে একটি বিভাগ রয়েছে এবং ক্রস এনট্রপি ক্ষতি হিসাবে এইভাবে সংজ্ঞায়িত করা হয়েছে: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j)) যাইহোক, …

12 neural-networks  loss-functions  softmax  cross-entropy 

আমি বুঝি যে একটি সেট দেওয়া mmm স্বাধীন পর্যবেক্ষণ সর্বাধিক সম্ভাবনা মূল্নির্ধারক (অথবা এবং, equivalently, ফ্ল্যাট দিয়ে মানচিত্রে / অভিন্ন পূর্বে) যে শনাক্ত পরামিতি যে মডেল বন্টন উত্পাদন যা এই পর্যবেক্ষণগুলির সাথে সবচেয়ে ভাল মেলেO={o(1),...,o(m)}O={o(1),...,o(m)}\mathbb{O}=\{\mathbf{o}^{(1)}, . . . , \mathbf{o}^{(m)}\} পি এম ও ডি ই এল (θθ\mathbf{θ}pmodel(⋅;θ)pmodel(⋅;θ)p_{model}\left(\,\cdot\, ; \mathbf{θ}\right) θML(O)=pmodel(O;θ)=argmaxθ‎‎∏i=1mpmodel(o(i);θ)θML(O)=pmodel(O;θ)=arg⁡maxθ‎‎∏i=1mpmodel(o(i);θ)\mathbf{θ}_{ML}(\mathbb{O})= …

12 maximum-likelihood  deep-learning  cross-entropy 

দুটি পৃথক বিতরণ এবং ক্রস এনট্রপি হিসাবে সংজ্ঞায়িত করা হয়pppqqq H(p,q)=−∑xp(x)logq(x).H(p,q)=−∑xp(x)log⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). আমি ভাবছি কেন এটি দুটি সম্ভাব্য বন্টনের মধ্যে দূরত্বের একটি স্বজ্ঞাত মাপ হবে? আমি দেখতে পাচ্ছি যে এর এনট্রপি হয় , যা পরিমাপ করে "বিস্ময়" । হল এমন একটি পরিমাপ যা আংশিকভাবে দ্বারা দ্বারা প্রতিস্থাপন করে । …

11 probability  distributions  cross-entropy