এমএলে সফটম্যাক্স ফাংশন এবং থার্মোডাইনামিক্সে বোল্টজম্যান বিতরণের মধ্যে কতটা গভীর সংযোগ রয়েছে?

Question

স্নায়লম্যাক্স ফাংশন, সাধারণত নিউরাল নেটওয়ার্কগুলিতে প্রকৃত সংখ্যাগুলিকে সম্ভাব্যতায় রূপান্তরিত করার জন্য ব্যবহৃত হয়, বোল্টজম্যান বিতরণের মতোই কাজ, থার্মোডাইনামিক্সের একটি নির্দিষ্ট তাপমাত্রায় টিতে তাপীয় ভারসাম্যের কণাগুলির ensemble করার জন্য শক্তির উপর সম্ভাব্যতা বন্টন।

এটি ব্যবহারিক হওয়ার জন্য আমি কিছু স্পষ্ট ধর্মীয় কারণ দেখতে পাচ্ছি:

• ইনপুট মানগুলি নেতিবাচক কিনা তা বিবেচ্য নয়, সফটম্যাক্সের সমষ্টিগত মানগুলি আউটপুট করে।
• এটি সর্বদা পৃথকযোগ্য, যা ব্যাকপ্রসারণের জন্য কার্যকর hand
• এতে একটি 'তাপমাত্রা' প্যারামিটার নিয়ন্ত্রণ করে যে নেটওয়ার্কটি ছোট মানগুলির দিকে কতটা লেনিয়েন্ট হওয়া উচিত (যখন টি খুব বড় থাকে তখন সমস্ত ফলাফল সমানভাবে হয়, যখন খুব ছোট হয়, শুধুমাত্র বৃহত্তম ইনপুট সহ কেবলমাত্র মানটি নির্বাচিত হয়)।

বোল্টজম্যান ফাংশনটি কি কেবল ব্যবহারিক কারণে সফটম্যাক্স হিসাবে ব্যবহৃত হয়, বা থার্মোডাইনামিক্স / স্ট্যাটিস্টিকাল ফিজিক্সের সাথে আরও গভীর সংযোগ রয়েছে?

Comments

এটি কেন নিকট ভোট আকর্ষণ করছে তা আমি দেখতে পাচ্ছি না - এটি পুরোপুরি যুক্তিসঙ্গত প্রশ্ন।

— ম্যাট ক্রাউস 25:58

+1 থেকে @ ম্যাটক্রেজ — এনএনগুলি অবশ্যই বিষয়বস্তুতে রয়েছে, যেমনটি — আমার মনে হয় — পরিসংখ্যান পদার্থবিজ্ঞান।

— শন ইস্টার

আমি দেখতে পাচ্ছি যে বেশিরভাগ এসও প্রশ্নের চেয়ে প্রশ্নটি আরও 'উন্মুক্ত', এই অর্থে যে আমি কোনও সমস্যার সমাধান খুঁজছি না, তবে আরও সাধারণ জ্ঞান। যাইহোক, আমি এটি জিজ্ঞাসা করার জন্য আরও ভাল জায়গা বা এটি জিজ্ঞাসার আরও নির্দিষ্ট উপায় সম্পর্কে ভাবতে পারি না।

— অহুরা

Answer 1

আমার জ্ঞানের কাছে এর আরও গভীর কারণ নেই, পারসেপ্ট্রন মঞ্চের বাইরে যারা এএনএন নিয়েছিলেন তাদের প্রচুর পদার্থবিদ ছিলেন।

উল্লিখিত সুবিধাগুলি বাদে এই বিশেষ পছন্দটির আরও সুবিধা রয়েছে। উল্লিখিত হিসাবে, এটির একটি একক প্যারামিটার রয়েছে যা আউটপুট আচরণ নির্ধারণ করে। যার পরিবর্তে নিজেরাই অনুকূলিত বা সুর করা যেতে পারে।

সংক্ষেপে, এটি একটি খুব সহজ এবং সুপরিচিত ফাংশন যা এক ধরণের 'নিয়মিতকরণ' অর্জন করে, এই অর্থে যে এমনকি বৃহত্তম ইনপুট মানগুলিও সীমাবদ্ধ।

অবশ্যই আরও অনেক সম্ভাব্য ফাংশন রয়েছে যা একই প্রয়োজনীয়তাগুলি পূরণ করে, তবে পদার্থবিজ্ঞানের জগতে এগুলি কম পরিচিত। এবং বেশিরভাগ সময় এগুলি ব্যবহার করা শক্ত।

Answer 2

সফটম্যাক্স ফাংশনটি পৃথক পছন্দ মডেলিংয়েও ব্যবহৃত হয়, এটি লজিট মডেলের মতোই, যদি আপনি ধরে নিই যে প্রতিটি শ্রেণীর সাথে কোনও ইউটিলিটি ফাংশন যুক্ত রয়েছে, এবং ইউটিলিটি ফাংশনটি নিউরাল নেটওয়ার্কের আউটপুট সমান + গুম্বেলের পরে একটি ত্রুটি শব্দ বিতরণ, কোনও শ্রেণীর অন্তর্গত হওয়ার সম্ভাবনা ইনপুট হিসাবে নিউরাল নেটওয়ার্কের সাথে সফটম্যাক্স ফাংশনের সমান। দেখুন: https://eml.berkeley.edu/reprints/mcfadden/zarembka.pdf

লগইট মডেলের বিকল্প রয়েছে যেমন প্রবিট মডেল, যেখানে ত্রুটি শব্দটি স্ট্যান্ডার্ড সাধারণ বিতরণ অনুসরণ করার জন্য অনুমিত হয়, এটি একটি আরও ভাল অনুমান। যাইহোক, সম্ভাবনাটি অক্ষম হবে এবং সমাধানের জন্য গণনামূলক ব্যয়বহুল, তাই সাধারণত নিউরাল নেটওয়ার্কে ব্যবহৃত হয় না