গ্রাফিক্যাল মডেল এবং বোল্টজম্যান মেশিনগুলি গাণিতিকভাবে সম্পর্কিত?

Question

আমি আসলে একটি পদার্থবিদ্যার ক্লাসে বল্টজম্যান মেশিনগুলির সাথে কিছু প্রোগ্রামিং করেছি, আমি তাদের তাত্ত্বিক বৈশিষ্ট্যের সাথে পরিচিত নই। বিপরীতে, আমি গ্রাফিকাল মডেলগুলির তত্ত্ব সম্পর্কে একটি পরিমিত পরিমাণ জানি (লরিজেনের গ্রাফিকাল মডেলগুলির বইয়ের প্রথম কয়েকটি অধ্যায় সম্পর্কে )।

প্রশ্ন: গ্রাফিকাল মডেল এবং বোল্টজম্যান মেশিনের মধ্যে কি কোনও অর্থপূর্ণ সম্পর্ক রয়েছে? বোল্টজম্যান মেশিন কি এক ধরণের গ্রাফিক্যাল মডেল?

স্পষ্টতই বল্টজম্যান মেশিনটি এক ধরণের নিউরাল নেটওয়ার্ক। আমি শুনেছি কিছু নিউরাল নেটওয়ার্কগুলি গাণিতিকভাবে গ্রাফিকাল মডেলগুলির সাথে সম্পর্কিত এবং কিছু এটি নয়।

ক্রসভিলেটেড সম্পর্কিত সম্পর্কিত প্রশ্নগুলি যা আমার প্রশ্নের উত্তর দেয় না:
এটি আগের প্রশ্নের অনুরূপ যা আগেই জিজ্ঞাসা করা হয়েছিল: হায়ারারিকাল মডেল, নিউরাল নেটওয়ার্ক, গ্রাফিক্যাল মডেল, বায়সিয়ান নেটওয়ার্কগুলির মধ্যে কী সম্পর্ক? তবে আরও নির্দিষ্ট।

তদ্ব্যতীত, এই প্রশ্নের গৃহীত উত্তরটি আমার বিভ্রান্তিকে পরিষ্কার করে না - এমনকি যদি নিউরাল নেটওয়ার্কের স্ট্যান্ডার্ড গ্রাফিকাল উপস্থাপনায় নোডগুলি এলোমেলো ভেরিয়েবলের প্রতিনিধিত্ব না করে তবে এর অর্থ এই নয় যে এই জাতীয় প্রতিনিধিত্ব নেই। বিশেষ করে, আমি কীভাবে মার্কভ চেইন টিপিক্যাল গ্রাফিকাল উপস্থাপনা বিভিন্ন নোডের সম্ভব রাজ্যের বদলে র্যান্ডম ভেরিয়েবল সেট প্রতিনিধিত্ব চিন্তা করছি , কিন্তু এক এছাড়াও মধ্যে শর্তসাপেক্ষ নির্ভরতা সম্পর্ক দেখানোর সময় একটি গ্রাফ তৈরী করতে পারে এক্স $X_i$$X_i$যা দেখায় যে প্রতিটি মার্কভ চেইন আসলে একটি মার্কভ র্যান্ডম ক্ষেত্র। উত্তরে আরও বলা হয়েছে যে নিউরাল নেটওয়ার্কগুলি (সম্ভবতঃ বোল্টজমান মেশিনগুলি সহ) "বৈষম্যমূলক", তবে এই দাবির অর্থ কী তা ব্যাখ্যা করার জন্য আরও বিশদে যায় না, না সুস্পষ্ট ফলো-আপ প্রশ্ন "গ্রাফিক্যাল মডেলগুলি কি বৈষম্যমূলক নয়?" সুরাহা। তেমনি, কেভিন মারফির ওয়েবসাইটে গৃহীত উত্তরের লিঙ্কগুলি (বায়েশিয়ান নেটওয়ার্কগুলি সম্পর্কে শিখার সময় আমি আসলে তার পিএইচডি থিসিসটি পড়েছিলাম), তবে এই ওয়েবসাইটটি কেবল বায়েশিয়ার নেটওয়ার্কগুলি নিয়ে আলোচনা করে এবং স্নায়বিক নেটওয়ার্কগুলি মোটেই উল্লেখ করে না - এইভাবে তারা আলোকিত করতে ব্যর্থ হয় ভিন্ন.

এই অন্যান্য প্রশ্নটি সম্ভবত আমার সাথে সাদৃশ্যপূর্ণ: গাণিতিকভাবে নিউরাল নেটওয়ার্কগুলিকে গ্রাফিক্যাল মডেল হিসাবে মডেলিং করা যাইহোক, উত্তরগুলির কোনওটিই গ্রহণ করা হয়নি, এবং একইভাবে কেবল রেফারেন্স দেয় তবে রেফারেন্সগুলি ব্যাখ্যা করে না (যেমন এই উত্তর )। যদিও একদিন আমি আশা করি রেফারেন্সগুলি বুঝতে সক্ষম হব, এখনই আমি জ্ঞানের একটি প্রাথমিক স্তরে আছি এবং একটি উত্তরটির সর্বাধিক প্রশংসা করব যা যতটা সম্ভব সরল। এছাড়াও, টরন্টো কোর্সটি শীর্ষ উত্তরের সাথে লিঙ্কযুক্ত ( http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml ) এটিকে সম্বোধন করে, তবে খুব বেশি বিশদে নয়। তদতিরিক্ত, আমার বক্তব্যটির উত্তর দিতে পারে এমন একটি বক্তৃতার জন্য নোটগুলি জনসাধারণের জন্য উপলব্ধ নয়।

মার্চ 25 লেকচার 13 বি: বিশ্বাস জাল 7:43। এই স্লাইডটির জন্য, বোল্টজমান মেশিনগুলি মনে রাখবেন। সেখানেও আমাদের গোপন ইউনিট এবং দৃশ্যমান ইউনিট রয়েছে এবং এটি সবই সম্ভাব্য। বিএম এবং এসবিএনগুলির মধ্যে পার্থক্য থাকার চেয়ে বেশি মিল রয়েছে। 9:16। আজকাল, "গ্রাফিকাল মডেলগুলি" কখনও কখনও নিউরাল নেটওয়ার্কগুলির একটি বিশেষ বিভাগ হিসাবে বিবেচিত হয়, তবে এখানে বর্ণিত ইতিহাসে এগুলিকে খুব আলাদা ধরণের সিস্টেম হিসাবে বিবেচনা করা হত।

Answer 1

বোল্টজম্যান মেশিন বনাম বনাম বোল্টজমান মেশিনগুলি

বোল্টজমান মেশিনগুলি আফাইক, গ্রাফিকাল মডেলগুলির এক প্রকার এবং নিউরাল নেটওয়ার্কগুলির সাথে সম্পর্কিত মডেলটি হ'ল নিষিদ্ধ বোল্টজম্যান মেশিন (আরবিএম)।

মেশিন লার্নিং এ প্রবিলিস্টিক পার্সপেক্টিভ বইটি থেকে বোল্টজম্যান মেশিন এবং সীমাবদ্ধ বোল্টজমান মেশিনের মধ্যে পার্থক্য

আরবিএম বনাম বনাম নিউরাল নেটওয়ার্কস

$$p(\mathbf{v},\mathbf{h})=\frac{1}{Z}\exp(\sum a_iv_i+\sum b_jh_j + \sum v_ih_jw_{ij})$$ $$p(h_j=1|\mathbf{v})=\sigma(b_j+\sum v_iw_{ij})$$ $$p(v_i=1|\mathbf{h})=\sigma(a_i+\sum h_jw_{ij})$$ $\mathbf{v}$$\mathbf{h}$$\sigma()$

শর্তসাপেক্ষ সম্ভাবনাগুলি নেটওয়ার্ক স্তরগুলির একই আকারে গণনা করা হয়, সুতরাং আরবিএমের প্রশিক্ষিত ওজনগুলি সরাসরি নিউরাল নেটওয়ার্কগুলির ওজন হিসাবে বা প্রশিক্ষণের সূচনাকার হিসাবে ব্যবহার করা যেতে পারে।

আমি মনে করি যে আরবিএম নিজেই এক ধরণের নিউরাল নেটওয়ার্কের চেয়ে গ্রাফিক্যাল মডেল হিসাবে অনেক বেশি, এটি যেহেতু এটি পুনঃনির্দেশিত, এটি শর্তসাপেক্ষ স্বতন্ত্রতাগুলি ভালভাবে সংজ্ঞায়িত করেছে এবং এটি নিজস্ব প্রশিক্ষণ অ্যালগরিদম ব্যবহার করে (যেমন বিপরীতে বিবর্তন)।

Comments

দুর্দান্ত এটি একটি দুর্দান্ত রেফারেন্স সহ সত্যিই দুর্দান্ত উত্তর। এছাড়াও আমাকে আরও তাড়াতাড়ি অধ্যাপক মারফি বইটি পড়তে চাইছে। এই পুঙ্খানুপুঙ্খ উত্তর দেওয়ার জন্য আপনি যে সময়টি দিয়েছিলেন তা আমি প্রশংসা করি

— চিল

— @ উইলিয়াম

$v=$$h=$$\sigma()=$

@ জিওম্যাটট 22 আপনাকে ধন্যবাদ, আমি উত্তরটি আপডেট করেছি।

— dontloo

Answer 2

এটি কেবল স্বীকৃত উত্তরটির সত্যতা / যাচাই করে, বল্টজম্যান মেশিনগুলি প্রকৃতপক্ষে গ্রাফিক্যাল মডেলের একটি বিশেষ ক্ষেত্রে। বিশেষতঃ, কোলার, ফ্রেডম্যান, প্রব্যাবিলিস্টিক গ্রাফিকাল মডেলস: নীতি ও কৌশলসমূহ , বাক্স ৪ সিতে এই প্রশ্নটি পিপি 127-127 তে সম্বোধন করা হয়েছে।

মার্কভ নেটওয়ার্ক মডেলগুলির প্রথম দিকের একটি হ'ল ইসিং মডেল যা প্রথমে পরিসংখ্যান পদার্থবিজ্ঞানে একটি শারীরিক সিস্টেমের শক্তির জন্য মডেল হিসাবে উত্পন্ন হয় যা পরমাণুগুলির সাথে যোগাযোগের পদ্ধতিতে জড়িত ... ইসিং মডেলের সাথে সম্পর্কিত হ'ল বল্টজম্যান মেশিন বিতরণ .. ফলস্বরূপ শক্তি একটি আইসিং মডেল (অনুশীলন 4.12) এর ক্ষেত্রে সংস্কার করা যায়।

আইজিং মডেলটি কীভাবে মূলত পরিসংখ্যানীয় যান্ত্রিক সাহিত্যের একটি ধারণা হিসাবে তৈরি করা যেতে পারে গ্রাফিক্যাল মডেলটি উদাহরণস্বরূপ ৩.১।, বিভাগ ৩.৩।, ওয়েইনরাইট, জর্দান, গ্রাফিকাল মডেলগুলির এক্সপেনশনাল এর ৪১-৪৩ পৃষ্ঠায় দেওয়া হয়েছে। পরিবার এবং বৈকল্পিক অনুমান ।

স্পষ্টতই আইজিং মডেল গ্রাফিকাল মডেলগুলির ক্ষেত্রের ভিত্তি ১৯ 1970০ এর দশকের শেষের দিকে এবং ১৯৮০ এর দশকের গোড়ার দিকে, কারণ তার স্টাফেন লরিজেটেন তাঁর গ্রাফিকাল মডেলস বইয়ের ভূমিকা এবং ভূমিকা উভয় ক্ষেত্রে যা বলেছেন তার উপর ভিত্তি করেই তা সহায়ক ছিল । এই ব্যাখ্যাটি কোলার এবং ফ্রেডম্যান উপরের-উদ্ধৃত গ্রন্থের ৪.৮ ধারা দ্বারা সমর্থিত বলে মনে হয়।

আইলিং মডেল থেকে বোল্টজমান মেশিনগুলির বিকাশ একটি স্বাধীন ঘটনা হতে পারে, কলার এবং ফ্রেডম্যানের একই বিভাগের উপর ভিত্তি করে, যা দাবি করেছে যে "বল্টজম্যান মেশিনগুলি প্রথম হিন্টন এবং সেজনোস্কি (1983) দ্বারা প্রস্তাবিত হয়েছিল", যা মনে হয় আইসিং মডেলটির সাধারণীকরণ হিসাবে মার্কভের এলোমেলো ক্ষেত্রগুলি বিকাশের প্রাথমিক কাজ শুরু হওয়ার পরে ঘটেছে, যদিও এই কাগজের পিছনে কাজটি 1983 সালের চেয়ে অনেক আগে শুরু করা যেতে পারে।

---

এই সম্পর্ক সম্পর্কে আমার বিভ্রান্তি, যখন আমি এই প্রশ্নটি এক বছরেরও বেশি সময় আগে লিখেছিলাম তখন পদার্থবিজ্ঞানের সাহিত্যে আমি প্রথম আইসিং মডেল এবং নিউরনের জন্য বোল্টজম্যান মেশিন মডেল উভয়ের মুখোমুখি হয়েছিলাম। কলার এবং ফ্রেডম্যান যেমন উল্লেখ করেছেন, আইসিং মডেল এবং সম্পর্কিত ধারণা সম্পর্কে পরিসংখ্যান পদার্থবিজ্ঞানের সম্প্রদায়ের মধ্যে থাকা সাহিত্যটি সত্যই বিস্তৃত।

আমার অভিজ্ঞতায় এটি মোটামুটি অন্তরক, এই অর্থে যে গ্রাফিকাল মডেলগুলি অধ্যয়নরত পরিসংখ্যানবিদ এবং কম্পিউটার বিজ্ঞানীরা ক্ষেত্রটি কীভাবে পরিসংখ্যানতত্ত্বের সাথে সম্পর্কিত তা উল্লেখ করবেন, তবে পরিসংখ্যান পদার্থবিজ্ঞানের সাহিত্যের মধ্যে আমি কখনও খুঁজে পাইনি যে অন্যান্য ক্ষেত্রগুলির সংযোগের উল্লেখ করেছে বা এটি কাজে লাগানোর চেষ্টা করে। (সুতরাং অন্যান্য ক্ষেত্রের সাথে এরকম কোনও সংযোগ থাকতে পারে এমন ধারণাটি আমাকে সন্দেহ করতে এবং বিভ্রান্ত করার কারণ ঘটায়।)

আইজিং মডেল এবং বোল্টজম্যান মেশিন উভয়ের বিষয়ে পদার্থবিজ্ঞানের দৃষ্টিভঙ্গির উদাহরণের জন্য পাঠ্যপুস্তকটি কোর্সটি আমি প্রথম শিখেছিলাম সেখান থেকে দেখুন । এটি ক্ষেত্রের পদ্ধতিগুলিরও উল্লেখ করে, যদি আমি সঠিকভাবে মনে করি তবে উপরে উল্লিখিত জর্দান এবং ওয়েনরাইট প্রবন্ধেও কিছু আলোচনা করা হয়েছে।

Comments

সংযোগটি খুব পাতলা হতে পারে এবং মূলত পার্টিশন ফাংশনটি ব্যবহারের উপর ভিত্তি করে যা স্ট্যাটিস্টিকাল মেকানিকসের গোড়ায় এবং অভ্যন্তরীণ পণ্যের যোগফলের যোগফল গ্রহণ করা হয়। সফটম্যাক্স ফাংশনটিও এই ফর্মটি ব্যবহার করে তাই নাম পদক্ষেপটি পদগুলির উত্তরাধিকার বজায় রাখে এবং অনেক পদার্থবিজ্ঞানী এমএল (যেমন: ক্রিস্টোফার বিশপ) এ কাজ করেন (এড)।

— ভাস