জিএলএম-এ লগ হওয়ার সম্ভাবনা কি গ্লোবাল ম্যাক্সিমায় রূপান্তরিত হওয়ার নিশ্চয়তা দেয়?

আমার প্রশ্নগুলি হ'ল:

জেনারালাইজড লিনিয়ার মডেলগুলি (জিএলএম) কী গ্লোবাল সর্বাধিক রূপান্তরিত হওয়ার গ্যারান্টিযুক্ত? যদি তাই হয় তবে কেন?
তদ্ব্যতীত, জড়তা বীমা করার জন্য লিঙ্ক ফাংশনটিতে কোন বাধা আছে?

জিএলএমগুলি সম্পর্কে আমার উপলব্ধি হ'ল তারা একটি উচ্চতররেখার সম্ভাবনা ফাংশনকে সর্বাধিক করে তোলে। সুতরাং, আমি কল্পনা করব যে বেশ কয়েকটি স্থানীয় ম্যাক্সিমা এবং প্যারামিটার সেট আপনি রূপান্তর করেছেন যা অপ্টিমাইজেশন অ্যালগরিদমের প্রাথমিক অবস্থার উপর নির্ভর করে। যাইহোক, কিছু গবেষণা করার পরে আমি একটি একক উত্স খুঁজে পাইনি যা ইঙ্গিত করে যে একাধিক স্থানীয় ম্যাক্সিমা রয়েছে। তদুপরি, আমি অপ্টিমাইজেশনের কৌশলগুলির সাথে তেমন পরিচিত নই, তবে আমি জানি নিউটন-রাফসন পদ্ধতি এবং আইআরএলএস অ্যালগরিদম স্থানীয় ম্যাক্সিমার পক্ষে অত্যন্ত প্রবণ।

স্বজ্ঞাত এবং গাণিতিক ভিত্তিতে উভয়ই সম্ভব হলে ব্যাখ্যা করুন!

সম্পাদনা: ডাকসাহুজি আমার মূল প্রশ্নের উত্তর দিয়েছিল, তবে আমি উপরের ফলোআপ প্রশ্নটি [ 2 ] যুক্ত করতে চাই । ("উত্তেজনা বিমা দেওয়ার জন্য লিঙ্ক ফাংশনে কী কী বাধা রয়েছে?")

— DankMasterDan
সূত্র

আমি মনে করি এটি হওয়ার আগে কিছুটা বিধিনিষেধের প্রয়োজন। বক্তব্যটির উত্স কী?

— গ্লেন_বি -রিনস্টেট মনিকা

বেশ কয়েকটি সাইট এটিকে বোঝায় বলে মনে হয়েছিল তবে আমি এটির উল্লেখ করা কিছু খুঁজে পাইনি, তাই আমি এর অপ্রকাশকেও স্বাগত জানাই!

— ড্যাঙ্কমাস্টারডান

যতক্ষণ সম্ভাবনাটি ডোমেনের সর্বত্র সংজ্ঞায়িত হয় (এবং কিছু সংখ্যাসূচক সংখ্যাসূচক সমস্যা উপেক্ষা করে) আমি হ্যাঁ মনে করি। এই অবস্থার অধীনে, হেসিয়ানটি ডোমেনের সর্বত্র <0 সর্বত্র থাকে তাই বিশ্বব্যাপী সমীকরণের মিল। বিটিডব্লিউ, ফাংশনটি প্যারামিটারগুলিতে 'অত্যন্ত অ-রৈখিক' নয় এবং এটিই গুরুত্বপূর্ণ।

— ব্যবহারকারী 60

@ user603 আপনার উত্স / প্রমাণ কী যে হেসিয়ান সর্বত্র <0 আছে?

— ড্যাঙ্কমাস্টারডান

লজিস্টিক, পোইসন এবং গাউসিয়ান রিগ্রেশনগুলি প্রায়শই একটি "ভাল" লিঙ্ক ফাংশন প্রদত্ত উত্তল হয়। তবে স্বেচ্ছাচারী লিঙ্ক ফাংশন সহ, তারা উত্তল নয়।

— স্মরণে

ঘৃণ্য পরিবারের সংজ্ঞা:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

$A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

$A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

$\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$ অবতল। অতএব, একটি অনন্য গ্লোবাল সর্বাধিক রয়েছে।

এখানে বাঁকানো ঘৃণ্য পরিবার নামে একটি সাধারণ সংস্করণ রয়েছে যা একই রকম হবে। তবে বেশিরভাগ প্রমানই ক্যানোনিকাল আকারে।

— dksahuji
সূত্র

সুতরাং এর অর্থ কি এই যে জিএলএমের একটি অনন্য গ্লোবাল মিনিমা নোমেটার রয়েছে কোন লিঙ্ক ফাংশনটি বেছে নেওয়া হয়েছে (ননকোনোনিকালগুলি সহ)?

— ড্যাঙ্কমাস্টারডান

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$

নোট করুন যে প্রশ্নটি কেবল অস্তিত্বের পরিবর্তে অভিব্যক্তির বিষয়ে জিজ্ঞাসা করেছে, তবে কয়েকটি সীমাবদ্ধতার সাথে এটিও করণীয় হতে পারে।

— গ্লেন_বি -রিনস্টেট মনিকা

@ Glen_b আপনি কি বিস্তারিত বলতে পারবেন? আমি এ জাতীয় কোনও বিধিনিষেধ জানি না। অবতল ফাংশনের ক্ষেত্রে গ্যারান্টি কনভার্জেন্সে গ্রেডিয়েন্ট ভিত্তিক অপ্টিমাইজারে স্টেপসাইজের উপর বিধিনিষেধের মতো কিছু হতে পারে।

— dksahuji

@ গ্লেেন_বি এটি সাধারণভাবে সত্য হতে পারে তবে আমি অবতল ফাংশনটির পক্ষে ছোট সহনীয় মানের মধ্যে অপটিমায় রূপান্তর না করার কোনও কারণ দেখতে পাচ্ছি না। তবে আমি বলব যে এগুলির সাথে আমার কোনও ব্যবহারিক অভিজ্ঞতা নেই এবং আমি সবে শুরু করেছি। :)

— dksahuji