গাণিতিকভাবে নিউরাল নেটওয়ার্কগুলিকে গ্রাফিকাল মডেল হিসাবে মডেলিং করা হচ্ছে


12

আমি নিউরাল নেটওয়ার্ক এবং গ্রাফিকাল মডেলের মধ্যে গাণিতিক সংযোগ তৈরির জন্য সংগ্রাম করছি।

গ্রাফিক্যাল মডেলগুলিতে ধারণাটি সহজ: সম্ভাব্যতাগুলি সাধারণত গ্রহীতা পরিবারের হয়ে গ্রাফের চক্র অনুসারে সম্ভাব্যতা বন্টনকে কারণ হিসাবে চিহ্নিত করে।

নিউরাল নেটওয়ার্কের জন্য কি সমতুল্য যুক্তি আছে? সীমাবদ্ধ বল্টজম্যান মেশিনে কোনও ইউনিট (ভেরিয়েবল) বা একটি সিএনএন তাদের শক্তির কার্যকারিতা হিসাবে বা ইউনিটগুলির মধ্যে শক্তিগুলির পণ্য হিসাবে সম্ভাব্য বন্টনকে কী প্রকাশ করতে পারে?

এছাড়াও, সম্ভাব্যতা বিতরণটি কোনও আরবিএম বা ডিপ বিশ্বাস নেটওয়ার্ক (উদাহরণস্বরূপ সিএনএনএস সহ) দ্বারা চিহ্নিত করা হয়?

আমি একটি পাঠ্য একই ভাবে জর্দান ও Wainwright, তাদের সঙ্গে গ্রাফিকাল মডেলের জন্য করেনি মধ্যে স্নায়ুর নেটওয়ার্ক ও পরিসংখ্যান এই আধুনিক ধরনের মধ্যে সংযোগ formalizes এটি আশা করছি গ্রাফিকাল মডেল, সূচকীয় পরিবার এবং ভেরিয়েশনাল ইনফিরেনস । যে কোনও পয়েন্টার দুর্দান্ত হবে।


1
আইএম (বিদ্বেষকারী) হে এখানে মূল সমস্যাটি হ'ল নিউরাল নেটওয়ার্কগুলি আসলে নেটওয়ার্ক নয়; তাদের কাছে কার্যত একটি স্থির টোপোলজি রয়েছে এবং এর মধ্যে এটির মধ্যে কোনও তথ্য সংরক্ষণ করার সামান্য সুযোগ রয়েছে।

আপনি কি এই সাম্প্রতিক পোস্টটি দেখেছেন ?
জেরাদ 16

@ জেরাদ ধন্যবাদ, আমি এই পোস্টটি পড়িনি। আমার প্রশ্নগুলি কীভাবে এই মডেলগুলিকে একত্রিত করবেন (যেমন ইয়ান যখন বলেন "using deep nets as factors in an MRF") যেমনটি হয় না , তবে কীভাবে একটি সম্ভাব্য ফ্যাক্টর গ্রাফ হিসাবে গভীর জালের দিকে নজর দেওয়া যায় সে সম্পর্কে আরও অনেক কিছু। ইয়ান লেকুন যখন বলেন "of course deep Boltzmann Machines are a form of probabilistic factor graph themselves", আমি গাণিতিকভাবে এই সংযোগটি দেখতে আগ্রহী।
আমেলিও ওয়াজকেজ-রেইনা

@ এমবিকিউ, আমরা লুকানো স্তর উপাদান তথ্য স্টোরেজগুলির কিছু ফর্ম দেখেছি, যেমন https://distill.pub/2017/feature-visualization/( কীভাবে নিউরাল নেটওয়ার্কগুলি চিত্রগুলি সম্পর্কে তাদের বোঝাপড়া তৈরি করে ), যাতে কোনও জটিল চিত্রটিতে উপাদানগুলি লুকানো স্তর নোড দ্বারা প্রতিনিধিত্ব করে। ওজনগুলি অ-বিচ্ছিন্ন ফ্যাশনে 'টপোলজি' পরিবর্তন করতে পারে। যদিও আমি এটি দেখিনি, কিছু পদ্ধতির মধ্যে প্রান্তগুলি সরানোর জন্য সঙ্কুচিত কারণগুলি অন্তর্ভুক্ত থাকতে পারে এবং সেজন্য মূল টপোলজি পরিবর্তন করতে পারে
ভাস

উত্তর:


6

এই বিষয়ে আরও একটি ভাল ভূমিকা হ'ল টরন্টো বিশ্ববিদ্যালয়ের সিএসসি 321 কোর্স এবং জেফ্রি হিন্টন শেখানো উভয়ই কোর্সেরায় স্নায়ুবিহীন 2012 -001 কোর্স।

বিশ্বাস নেটে ভিডিও থেকে :

গ্রাফিকাল মডেল

প্রারম্ভিক গ্রাফিক্যাল মডেলগুলি বিশেষজ্ঞরা গ্রাফের কাঠামো এবং শর্তসাপেক্ষ সম্ভাব্যতা সংজ্ঞায়িত করতে ব্যবহার করেছিলেন। গ্রাফগুলি খুব কম সংযুক্ত ছিল, এবং ফোকাসটি সঠিক অনুধাবন সম্পাদন করার উপর ছিল, এবং শেখার উপর নয় (জ্ঞানটি বিশেষজ্ঞদের কাছ থেকে এসেছে)।

নিউরাল নেটওয়ার্ক

স্নায়ু জাল জন্য, শেখার কেন্দ্রীয় ছিল। হার্ড-ওয়্যারিং জ্ঞানটি শীতল ছিল না (ঠিক আছে, সম্ভবত কিছুটা হলেও)। শিক্ষা প্রশিক্ষণের ডেটা শেখার মাধ্যমে এসেছে, বিশেষজ্ঞদের কাছ থেকে নয়। স্নায়ুবিক নেটওয়ার্কগুলি সহজেই অনুক্রমকে সহজ করার জন্য স্পার্স সংযোগের ব্যাখ্যার জন্য লক্ষ্য রাখেনি। তবুও, বিশ্বাসের জালগুলির নিউরাল নেটওয়ার্ক সংস্করণ রয়েছে।


আমার বোধগম্যতা হল যে বিশ্বাস জালগুলি সাধারণত খুব ঘন সংযুক্ত থাকে এবং তাদের চক্রগুলি খুব বড়, ব্যাখ্যাযোগ্য। বিশ্বাস জাল ইনপুটগুলিকে সংহত করার জন্য সিগময়েড ফাংশন ব্যবহার করে, যখন ধারাবাহিক গ্রাফিকাল মডেলগুলি সাধারণত গাউসীয় ফাংশন ব্যবহার করে। সিগময়েড নেটওয়ার্কটিকে প্রশিক্ষণ দেওয়া সহজ করে তোলে তবে সম্ভাবনার দিক থেকে এটি ব্যাখ্যা করা আরও কঠিন। আমি বিশ্বাস করি যে উভয়ই ক্ষতিকারক পরিবারে রয়েছেন।

আমি এ সম্পর্কে বিশেষজ্ঞের থেকে অনেক দূরে, তবে বক্তৃতার নোট এবং ভিডিওগুলি একটি দুর্দান্ত সংস্থান।


1
সাইটে স্বাগতম। আমরা প্রশ্নোত্তর আকারে উচ্চমানের পরিসংখ্যান সম্পর্কিত তথ্যের একটি স্থায়ী সংগ্রহস্থল তৈরি করার চেষ্টা করছি। সুতরাং, লিঙ্করোটের কারণে আমরা কেবলমাত্র লিংক-উত্তর থেকে সাবধান। আপনি যদি লিঙ্কে একটি সম্পূর্ণ উদ্ধৃতি এবং তথ্যের সংক্ষিপ্তসার পোস্ট করতে পারেন, তবে এটি মারা গেলে?
গুং - মনিকা পুনরায়

এটি সত্যিই দুর্দান্ত। এই তথ্য যুক্ত করার জন্য আপনাকে ধন্যবাদ এবং সিভিতে আপনাকে স্বাগতম।
গুং - মনিকা পুনরায়

আমাকে উল্লেখ করতে হবে যে আপনার উত্তরের প্রথমার্ধের তথ্যগুলি খুব সঠিক নয়, যা আমার ধারণা "প্রারম্ভিক গ্রাফিকাল মডেলগুলি" ব্যবহার করা উচিত (খুব "খুব প্রথম দিকে" হওয়া উচিত)। খুব দীর্ঘ সময় ধরে, গ্রাফিকাল মডেলগুলি তার আর্কিটেকচারের সমস্ত দিকগুলি নিউরাল নেটওয়ার্কগুলির মতোই শিখতে ব্যবহার করা হয়েছিল। তবে ফিজার গ্রাফগুলিতে সিগময়েডদের গাউসিয়ানদের জায়গা নেওয়ার বিষয়ে আপনার পরবর্তী পরামর্শ আকর্ষণীয়!
গুসুকু

4

রেডফোর্ড নীল এই অঞ্চলে খুব ভাল কাজ করেছে যা আপনার আগ্রহী হতে পারে, বায়েসিয়ান গ্রাফিক্যাল মডেলগুলিকে নিউরাল নেটওয়ার্কগুলির সাথে সমান করার জন্য প্রত্যক্ষ কাজ সহ। (তাঁর প্রবন্ধটি স্পষ্টতই এই নির্দিষ্ট বিষয়ে ছিল topic)

বুদ্ধিমান সংক্ষিপ্তসার সরবরাহ করার জন্য আমি এই কাজের সাথে যথেষ্ট পরিচিত নই, তবে আপনি যদি এটির সহায়ক বলে মনে করেন তবে আপনাকে পয়েন্টারটি দিতে চাই ।


নীল, ম্যাকেয়ে ইত্যাদির কাজগুলি থেকে আমি যা বুঝতে পেরেছি সেগুলি থেকে তারা বেইসিয়ান অপটিমাইজেশন ব্যবহার করছে যেখানে ওভারটিমাইজ করার প্যারামিটারগুলি স্নায়ু ওজন এবং বায়াস রয়েছে, এমনকি দেখাতে চলেছে যে নিউরাল নেটওয়ার্কগুলির এল 2 সাধারণকরণের আগে গাউসিয়ান হিসাবে দেখা যেতে পারে ওজন। এই প্রোগ্রামটি অপ্টিমাইজেশন ভেরিয়েবলের মধ্যে লুকানো স্তরগুলি, প্রতিটি স্তরের মধ্যে নিউরন ইত্যাদি অন্তর্ভুক্ত করে অবিরত করা হয়েছে।
গুসুকু

তবে ওপি যা বলেছিল তার চেয়ে আলাদা এটি কারণ পরের রানে নিউরাল নেটওয়ার্কের আর্কিটেকচার ডিজাইন করা হাইপার-ডিজাইন ইঞ্জিন হিসাবে বায়েশিয়ান মডেলগুলি ব্যবহার করে পরীক্ষামূলক ডিজাইনের একটি বিশেষ ক্ষেত্রে। আমি মনে করি ওপি যা চেয়েছিল তা হ'ল "একই স্তরে" নিউরাল নেটওয়ার্ক এবং বায়সিয়ান মডেলিংয়ের মধ্যে একটি ম্যাপিং।
গুসুকু

4

এটি একটি পুরানো থ্রেড হতে পারে, তবে এখনও একটি প্রাসঙ্গিক প্রশ্ন।

নিউরাল নেটওয়ার্কস (এনএন) এবং প্রাব্যাবিলিস্টিক গ্রাফিকাল মডেলগুলির (পিজিএম) মধ্যে সংযোগের সর্বাধিক সুস্পষ্ট উদাহরণ হ'ল বলটজম্যান মেশিনগুলির মধ্যে একটি (এবং এর সীমাবদ্ধ বিএম, ডিপ বিএম ইত্যাদি) এবং মার্কভ র্যান্ডম ফিল্ডের অনির্দেশিত পিজিএমগুলি।

একইভাবে, বিশ্বাস নেটওয়ার্কগুলি (এবং এটি ডিপ বিএন ইত্যাদির মতো বিভিন্নতা) বায়েশিয়ান গ্রাফের এক ধরণের নির্দেশিত পিজিএম

আরও জানতে, দেখুন:

  1. ইয়ান লেকুন, " শক্তি ভিত্তিক শিক্ষার উপর একটি টিউটোরিয়াল " (২০০))
  2. যোশুয়া বেনজিও, ইয়ান গুডফেলো এবং অ্যারন কাউভিলি, "ডিপ লার্নিং", সিএইচ 16 এবং 20 (এটি লেখার সময় প্রস্তুতির বই)
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.