জিএলএম এর জন্য একটি "লিঙ্ক ফাংশন" এবং "ক্যানোনিকাল লিঙ্ক ফাংশন" এর মধ্যে পার্থক্য কী

65

'লিঙ্ক ফাংশন' এবং 'ক্যানোনিকাল লিঙ্ক ফাংশন' পদগুলির মধ্যে পার্থক্য কী? এছাড়াও, একে অপরকে ব্যবহার করার কোনও (তাত্ত্বিক) সুবিধা রয়েছে কি?

উদাহরণস্বরূপ, বাইনারি প্রতিক্রিয়া ভেরিয়েবল অনেক লিংক ফাংশন যেমন লজিট , প্রবিট ইত্যাদির সাহায্যে মডেল করা যায় তবে লগিট এখানে "ক্যানোনিকাল" লিঙ্ক ফাংশন হিসাবে বিবেচিত হয়।

logistic generalized-linear-model link-function

— steadyfish
সূত্র

10

আমি এখানে লিঙ্ক ফাংশনগুলি ব্যাপকভাবে আলোচনা করি: বাইনারি প্রতিক্রিয়ার ভেরিয়েবলের জন্য রিগ্রেশনকে কেন্দ্র করে লজিট এবং প্রবাইট মডেলগুলির মধ্যে পার্থক্য । যদিও সেই আলোচনার মাত্র একটি অংশই কোনও লিঙ্ক ফাংশনটির 'ক্যানোনিকাল' হওয়ার অর্থকে কেন্দ্র করে, তবে তা পড়তে সহায়ক হতে পারে। নোট করুন যে বিচ্ছিন্নতা বি / টি এবং সুবিধাগুলি বনাম নন-ক্যানোনিকাল লিঙ্ক ফাংশনের সুবিধাগুলি বুঝতে GLiM এর অন্তর্নিহিত গণিতের মধ্যে বেশ গভীরভাবে যেতে হবে।

— গুং - মনিকা পুনরায়

68

উপরের উত্তরগুলি আরও স্বজ্ঞাত, তাই আমি আরও কঠোরতার চেষ্টা করি।

জিএলএম কী?

যাক প্রত্যাশিত মান সহ একটি প্রতিক্রিয়া এবং মাত্রিক কোভারিয়েট ভেক্টর একটি সেট চিহ্নিত করুন । জন্য স্বাধীন পর্যবেক্ষণ, প্রতিটি বিতরণের ঘনত্ব একটি সূচকীয় পরিবার এখানে, সুদ (প্রাকৃতিক বা ক্যানোনিকাল প্যারামিটার) এর প্যারামিটার , স্কেলে প্যারামিটার (পরিচিত বা উত্পাত হিসেবে দেখা) এবং এবং হয় জ্ঞাত ফাংশন $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$ ব্যাখ্যামূলক ভেরিয়েবলগুলির জন্য স্থির ইনপুট মানগুলির মাত্রিক ভেক্টরগুলি । আমরা ধরে নিই যে ইনপুট ভেক্টরগুলি প্রভাবিত করে (1) কেবল একটি রৈখিক ফাংশন, লিনিয়ার পূর্বাভাসকারী, যার উপর নির্ভর করে। যেহেতু এটি দেখানো যেতে পারে যে , এই নির্ভরতা লিনিয়ার পূর্বাভাসকারী এবং মধ্য দিয়ে সংযুক্ত করে প্রতিষ্ঠিত হয় । আরও সুনির্দিষ্টভাবে, গড় রৈখিক ভবিষ্যদ্বাণী, অর্থাৎ একটি অবিচ্ছিন্ন এবং মসৃণ ফাংশন হিসাবে দেখা হয়

p

$p$

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$ এখন আপনার প্রশ্নের উত্তর দিতে:

ফাংশন লিংক ফাংশন বলা হয়। ফাংশন সংযোগ তাহলে , এবং যেমন যে , তারপর এই লিঙ্কে ক্যানোনিকাল ডেকে ফর্ম রয়েছে । $g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

এটাই. এরপর ক্যানোনিকাল লিঙ্ক, যেমন ব্যবহারের কাম্য পরিসংখ্যানগত বৈশিষ্ট্য একটি নম্বর আছে, যথেষ্ট পরিসংখ্যাত হয় উপাদান সঙ্গে জন্য , নিউটন পদ্ধতি এবং ফিশার জন্য স্কোরিং এমএল অনুমানকারী একত্রিত হওয়া, এই লিঙ্কগুলি এমএলএর উত্সকে সহজতর করে, তারা লিনিয়ার রিগ্রেশনের কিছু সম্পত্তি (যেমন, অবশিষ্টাংশের যোগফল 0 হয়) তা নিশ্চিত করে বা তারা নিশ্চিত করে যে ফলাফলের পরিবর্তনশীলের সীমার মধ্যে থাকে । $X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

সুতরাং এগুলি ডিফল্টরূপে ব্যবহার করার প্রবণতা রয়েছে। তবে নোট করুন, মডেলটির প্রভাবগুলি এই বা অন্য কোনও লিঙ্কের দ্বারা প্রদত্ত স্কেলগুলিতে কেন যুক্ত হওয়া উচিত তার কোনও পূর্ব কারণ নেই।

— মম
সূত্র

5

+1, এটি একটি দুর্দান্ত উত্তর, @ মোমো। অনুচ্ছেদগুলিতে সমাহিত করার সময় আমি কিছু সমীকরণগুলি পড়ার পক্ষে আরও কঠিন দেখতে পেলাম, তাই ডাবল ডলার-চিহ্নগুলি (যেমন $ $) ব্যবহার করে সেগুলিকে আমি 'ব্লক' করে দিয়েছি । আমি আশা করি এটি ঠিক আছে (যদি তা না হয় তবে আপনি ডাব্লু / আমার ক্ষমা চাইতে পারেন)।

— গুং - মনিকা পুনরায়

1

@ মোমো এখানে আসল প্রশ্নটি করে তবে ওয়েই যা জিজ্ঞাসা করেছিল তা অন্তর্ভুক্ত করে তাই এটি নির্দিষ্ট করে দেখার মতো যে এখনও পরিষ্কারভাবে উত্তর দেওয়া হয়নি।

— Glen_b

1

আমি আশা করি আমি আপনার বিভ্রান্তিটি সঠিকভাবে বুঝতে পেরেছি: আপনি যে ঘনিষ্ঠ পরিবারে কথা বলছেন, তেমন প্যারামিটারটি হ'ল এবং ক্যানোনিকাল লিঙ্কটি যখন হয় যখন । এছাড়াও (যদি আপনি সম্ভাবনা ফাংশনের সম্মান করে প্রথম বংশদ্ভুত মান গণনা করেন ) একমাত্র ক্ষেত্রে যখন উপস্থিত ।

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

— মোমো

1

আপনাকে অনেক ধন্যবাদ. পূর্ববর্তী উদাহরণ ব্যবহার করে, আমরা করেছি যে । অত: পর । যেমনটি আপনি বলেছেন (আমি কেবল পুনরায় বলি), আমাদের কাছে কেবলমাত্র যদি হ'ল ক্যানোনিকাল লিঙ্ক, যা লজিট। তারপরে আমাদের কাছে । সুতরাং মধ্যে সমতা এবং predictor শুধুমাত্র বিদ্যমান, যদি আমরা ক্যানোনিকাল লিঙ্কটি ফাংশন ব্যবহার।

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$

— Druss2k

2

মনে হচ্ছে উত্তর চাবি বাক্যে একটি টাইপো আছে যে: এটা পড়া উচিত "ফাংশন সংযোগ যদি এবং St "?

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

— লিও আলেকসেয়েভ

16

গুং এর একটি ভাল ব্যাখ্যা উদ্ধৃত হয়েছে: ক্যানোনিকাল লিঙ্কটিতে ন্যূনতম পর্যাপ্ততার বিশেষ তাত্ত্বিক বৈশিষ্ট্য রয়েছে। এর অর্থ হ'ল আপনি শর্তযুক্ত লজিট মডেলটিকে (যাকে অর্থনীতিবিদরা স্থির প্রভাবের মডেল বলে) ফলাফলের সংখ্যার উপর নির্ভর করে সংজ্ঞা দিতে পারেন, তবে আপনি শর্তসাপেক্ষ প্রবিট মডেলটি সংজ্ঞায়িত করতে পারবেন না, কারণ প্রোবত লিঙ্কটি ব্যবহার করার মতো পর্যাপ্ত পরিসংখ্যান নেই।

— StasK
সূত্র

আপনি কি ন্যূনতম পর্যাপ্ততার উপর কিছুটা বিস্তারিত বর্ণনা করতে পারেন? উপরের ব্যাখ্যা দ্বারা আমরা এখনও একটি প্রবিট মডেল সংজ্ঞায়িত করতে পারি, তাই না? এটি নিশ্চিতভাবে ক্যানোনিকাল লিঙ্ক ফাংশন হবে না তবে নন-ক্যানোনিকাল লিঙ্ক ফাংশনটি ব্যবহার করে ক্ষতি কি।

— পিকছুচামিলিয়ন

9

এখানে এমআইটির 18.650 ক্লাস থেকে অনুপ্রাণিত করা একটি ছোট চিত্র রয়েছে যা আমি এই কাজের জন্য মধ্যবর্তী সম্পর্কের দৃশ্যধারণে সহায়তা করার জন্য যথেষ্ট কার্যকর বলে মনে করি। আমি @ মোমোর পোস্টের মতো একই স্বরলিপি ব্যবহার করেছি:

$\gamma(\theta)$ হ'ল সংক্ষিপ্ত মুহুর্ত তৈরির ফাংশন
$g(\mu)$ হল লিঙ্ক ফাংশন

সুতরাং লিঙ্ক ফাংশন লিনিয়ার পূর্বাভাসকে গড়ের সাথে সম্পর্কিত করে এবং একঘেয়ে বর্ধনশীল, ক্রমাগত বিভেদযোগ্য এবং অবিচ্ছিন্ন হতে হবে। $g$

চিত্রটি এক দিক থেকে অন্য দিকে সহজে যেতে দেয়, উদাহরণস্বরূপ:

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

ক্যানোনিকাল লিঙ্ক ফাংশন

মোমো দৃ rig়তার সাথে কী বর্ণনা করেছেন তা দেখার আর একটি উপায় হ'ল যখন ক্যানোনিকাল লিঙ্ক ফাংশন হয়, তখন ফাংশনটির রচনাটি পরিচয় এবং তাই আমরা পাই $g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— জাভিয়ের বোয়ারেট সিকোত্তে
সূত্র

1

উপরের উত্তরগুলি ইতিমধ্যে আমি যা বলতে চাই তা coveredেকে দিয়েছে। কেবল মেশিন লার্নিংয়ের গবেষক হিসাবে কয়েকটি বিষয় পরিষ্কার করতে:

লিঙ্ক ফাংশন অ্যাক্টিভেশন ফাংশনের বিপরীত ছাড়া কিছুই নয়। উদাহরণস্বরূপ, লগইট সিগময়েডের বিপরীতমুখী, প্রবিট হ'ল গাউসির ক্রমবর্ধমান বিতরণ কার্যের বিপরীত।
যদি আমরা জেনারালাইজড লিনিয়ার মডেলের প্যারামিটারটি কেবল উপর নির্ভর করে , ওয়েট ভেক্টর এবং হিসাবে ইনপুট হিসাবে নির্ভর করে তবে লিঙ্ক ফাংশনটিকে ক্যানোনিকাল বলা হয়। $w^T x$ $w$ $x$

উপরোক্ত আলোচনার তাত্পর্যপূর্ণ পরিবারের সাথে কোনও সম্পর্ক নেই, তবে ক্রিস্টোফার বিশপের পিআরএমএল বইয়ের অধ্যায় ৪.৩..6 এ একটি চমৎকার আলোচনা পাওয়া যাবে।

— গুজুন ঝাং
সূত্র