যখন মার্কভ র্যান্ডম ক্ষেত্র না সূচকীয় পরিবার?

Question

তাদের পাঠ্যপুস্তকে গ্রাফিকাল মডেলস, এক্সফোনেনশিয়াল ফ্যামিলি এবং ভেরিয়েশনাল ইনফারেন্স , এম জর্ডান এবং এম ওয়েনউইট এক্সফেনশনাল পরিবার এবং মার্কভ র্যান্ডম ফিল্ডস (অপরিবর্তিত গ্রাফিকাল মডেল) এর মধ্যে সংযোগ নিয়ে আলোচনা করেছেন ।

আমি নিম্নলিখিত প্রশ্নের সাথে তাদের মধ্যে সম্পর্ক আরও ভালভাবে বোঝার চেষ্টা করছি:

• সমস্ত এমআরএফগুলি কী তাত্পর্যপূর্ণ পরিবারের সদস্য?
• ক্ষতিকারক পরিবারগুলির সমস্ত সদস্যকে কি এমআরএফ হিসাবে প্রতিনিধিত্ব করা যায়?
• যদি এমআরএফ নেক এক্সফোনেনশিয়াল পরিবারগুলি, অন্য একরকমের মধ্যে এক প্রকারের বিতরণের কিছু ভাল উদাহরণ কী?$\neq$

আমি তাদের পাঠ্যপুস্তকে যা বুঝি (তৃতীয় অধ্যায়), জর্ডান এবং ওয়াইন রাইট পরবর্তী যুক্তি উপস্থাপন করেছেন:

---

1. বলুন আমাদের কাছে এএ স্ক্যালার এলোমেলো পরিবর্তনশীল এক্স রয়েছে যা কিছু বিতরণ অনুসরণ করে এবং আইড পর্যবেক্ষণগুলি আঁকুন এবং আমরা সনাক্ত করতে চাই ।এন এক্স 1 , … এক্স এন$p$$n$$X^1, \ldots X^n$$p$

2. আমরা নির্দিষ্ট ফাংশন এর অভিজ্ঞতা অভিজ্ঞতা আশা করি$\phi_\alpha%$

   $\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ সমস্ত for$\alpha \in \mathcal{I}$

   যেখানে প্রতিটি some কিছু সেট একটি ফাংশন সূচক করেআমি ϕ α : এক্স → $\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. তারপরে যদি আমরা নিম্নলিখিত দুটি সংখ্যার পরিমাণকে সামঞ্জস্য করতে বাধ্য করি, অর্থাত্ ম্যাচ করতে ( সনাক্ত করতে ):$p$

   • প্রত্যাশা বিতরণ এর যথেষ্ট পরিসংখ্যানেরϕ $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • অভিজ্ঞতা বন্টনের অধীনে প্রত্যাশা

আমরা একটি নির্ধারিত সমস্যা পাই , এই অর্থে যে অনেকগুলি ডিস্ট্রিবিউশন যা পর্যবেক্ষণের সাথে সামঞ্জস্যপূর্ণ। সুতরাং তাদের মধ্যে বাছাই করার জন্য আমাদের নীতির প্রয়োজন ( সনাক্ত করতে )।$p$$p$

আমরা যদি এই অনির্দিষ্টকেন্দ্রিকতা সরিয়ে নিতে সর্বাধিক এনট্রপির নীতিটি ব্যবহার করি তবে আমরা একটি পেতে পারি :$p$

ই পি [ ( φ α ( এক্স ) ] = μ α α ∈ $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ অধীনে সমস্ত ক্ষেত্রে for$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

যেখানে এই রূপে এক্সপ্রেস যেখানে তাত্পর্যপূর্ণ পরিবার ফর্মের মধ্যে বিতরণের একটি প্যারামিটারাইজেশন উপস্থাপন করে।পি θ ( এক্স ) ∝ ∑ α ∈ আই θ α ϕ α ( এক্স ) , θ ∈ আর $p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

অন্য কথায়, আমরা যদি

1. বন্টনগুলির প্রত্যাশাগুলি বোধগম্য বন্টনের অধীনে প্রত্যাশার সাথে সামঞ্জস্যপূর্ণ করুন
2. নির্বিঘ্ন থেকে মুক্তি পেতে সর্বাধিক এনট্রপির নীতিটি ব্যবহার করুন

$\rightarrow$ আমরা পরিবারের এ বিতরণ দিয়ে শেষ করি।

---

তবে এটি ক্ষতিকারক পরিবারগুলির পরিচয় করিয়ে দেওয়ার পক্ষে যুক্তির মতো দেখায় এবং এটি এমআরএফ এবং এক্সপ্রেসের মধ্যে সম্পর্কের বর্ণনা দেয় না। পরিবারের। আমি কি কিছু মিস করছি?

Comments

আমি মনে করি কিছু বিভ্রান্তি আছে: [MRFs] ( en.wikipedia.org/wiki/Markov_random_field ) বস্তুতপক্ষে ঘনত্ব চক্রের অনুযায়ী factorises দ্বারা সর্বাধিক এনট্রপি নীতি অনুযায়ী সংজ্ঞায়িত করা হয়, কিন্তু তাদের নিজস্ব ডানদিকে, চিত্রলেখ. এমআরএফগুলি লগ-লিনিয়ার প্রতিনিধিত্বের কারণে ক্ষতিকারক পরিবার।

— শিয়ান

ধন্যবাদ @ শি'য়ান এই অংশটি " এমআরএফগুলি গ্রাফের চক্র অনুসারে ঘনত্বের কারণগুলির দ্বারা সংজ্ঞায়িত হয় " আমি সবসময়ই মনে করি যে এমআরএফ সংজ্ঞায়িত করে। তবে কেন এই সম্পত্তি সমস্ত এমআরএফকে তাত্পর্যপূর্ণ পরিবারগুলির অংশ করে? এবং অন্য ধরণের সদস্য নয় এমন উভয় ধরণের (এমআরএফ বা এক্সপ্রেস পরিবার) এর উদাহরণগুলি (যদি থাকে তবে) কী কী?

— আমিলিও ওয়াজকেজ-রেইনা

এটি আপনার পক্ষে কতটা যুক্ত হবে তা আমি নিশ্চিত নই, তবে একটি বিষয় যা এটি পরিষ্কার করে দিতে পারে তা হল জেম এবং জেমনের এই পেপারে গিবস বিতরণ এবং এমআরএফগুলির মূল সূত্রটি পড়া reading মূলত, পুরো ধারণাটি হ'ল বোল্টজম্যান বিতরণ (বিয়োগের কোনও কিছুর এক্সপ্রেস) দিয়ে কোনও কিছুর মডেল করা এবং তারপরে জিজ্ঞাসা করুন যে কীভাবে কোনও বিষয়কে কার্যকর করা হয়। এটি বর্ণনা করার এই পদ্ধতির কারণে এটি ক্ষতিকারক পরিবারগুলির সাথে তাদের সংযোগটি আরও সুস্পষ্ট হতে পারে।

— এলী

তাত্পর্যপূর্ণ পরিবারগুলি এই সত্য দ্বারা সংজ্ঞায়িত করা হয় যে লগের ঘনত্ব মূলত পর্যবেক্ষণগুলির একটি ভেক্টোরিয়াল ফাংশন এবং পরামিতিগুলির একটি ভেক্টোরিয়াল ফাংশনের একটি স্কেলার পণ্য। এই সংজ্ঞায় জড়িত কোনও গ্রাফিকাল কাঠামো নেই। এমআরএফগুলি একটি গ্রাফের সাথে জড়িত যা চক্রগুলি, পাড়াগুলি এবং টিসি সংজ্ঞায়িত করে। অতএব, এমআরএফগুলি হ'ল একটি যুক্ত কাঠামোযুক্ত গ্রাফ সহ ক্ষুদ্র পরিবার।

— শি'আন

আমি অনুমান করি যে মন্তব্যগুলি / উত্তরগুলির সাথে বিরোধিতা করার বিভ্রান্তিটি আপনার প্যারামিটারের সাথে সম্মতিতে লগলাইন নয় এমন কারণগুলি প্রবর্তন করার অনুমতি পাচ্ছে কিনা তা পর্যন্ত আসে।

— ইয়ারোস্লাভ বুলাটোভ

Answer 1

আপনি সম্পূর্ণরূপে সঠিক - আপনি যে যুক্তি উপস্থাপন করেছেন তা তাত্পর্যপূর্ণ পরিবারকে সর্বাধিক এনট্রপির নীতির সাথে সম্পর্কিত, তবে এমআরএফগুলির সাথে কোনও সম্পর্ক নেই।

আপনার প্রাথমিক তিনটি প্রশ্নের সমাধান করতে:

ক্ষতিকারক পরিবারগুলির সমস্ত সদস্যকে কি এমআরএফ হিসাবে প্রতিনিধিত্ব করা যায়?

$$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$$ $cl(G)$$G$। এই সংজ্ঞা থেকে আপনি দেখতে পাবেন যে একটি সম্পূর্ণ সংযুক্ত গ্রাফ, সম্পূর্ণ অজানা, যদিও কোনও বিতরণের সাথে সামঞ্জস্যপূর্ণ।

সমস্ত এমআরএফগুলি কি তাত্পর্যপূর্ণ পরিবারের সদস্য?

$are$

$\neq$

মিশ্রণ বিতরণগুলি অ-ঘৃণ্য পরিবার বিতরণের সাধারণ উদাহরণ। রৈখিক গাউসিয়ান রাষ্ট্রীয় স্থানের মডেলটি বিবেচনা করুন (কোনও লুকানো মার্কভ মডেলের মতো, তবে ক্রমাগত লুকানো রাজ্য এবং গাউসিয়ান স্থানান্তর এবং নির্গমন বিতরণ সহ)। যদি আপনি গৌসিয়ানদের মিশ্রণ দিয়ে ট্রানজিশন কার্নেলটি প্রতিস্থাপন করেন তবে ফলস্বরূপ বিতরণটি আর ক্ষণস্থায়ী পরিবারে নেই (তবে এটি এখনও ব্যবহারিক গ্রাফিকাল মডেলের সমৃদ্ধ শর্তাধীন স্বাধীনতা কাঠামোর বৈশিষ্ট্য ধরে রাখে)।

[1] http://en.wikedia.org/wiki/Markov_random_field