রৈখিক রিগ্রেশনের নিছক মধ্যে রৈখিকতা ধৃষ্টতা একটি সংজ্ঞা নেই

আমি লিনিয়ার রিগ্রেশন সংশোধন করছি।

গ্রিনের পাঠ্যপুস্তকটিতে বলা হয়েছে:

এখন অবশ্যই লিনিয়ার রিগ্রেশন মডেল সম্পর্কিত অন্যান্য অনুমান থাকবে যেমন । লিনিয়ারিটি অনুমানের সাথে মিলিত এই অনুভূতি (যা কার্যকরীভাবে সংজ্ঞায়িত করে ), মডেলটির কাঠামো রাখে। $E(\epsilon|X)=0$ $\epsilon$

যাইহোক, লিনিয়ারিটি অনুমান নিজে থেকেই আমাদের মডেলের কোনও কাঠামো রাখে না, যেহেতু সম্পূর্ণরূপে স্বেচ্ছাসেবী হতে পারে। যেকোন ভেরিয়েবলের জন্য যাই হোক না কেন, উভয়ের মধ্যে যে সম্পর্ক তা কোনও ক্ষেত্রেই আমরা ধারণাকে ধারণ করে এমন একটি সংজ্ঞায়িত করতে পারি । অতএব, রৈখিকতা "ধৃষ্টতা" সত্যিই একটি বলা উচিত সংজ্ঞা এর অনুমান বদলে। $\epsilon$ $X, y$ $\epsilon$ $\epsilon$

তাই আমি ভাবছি :

গ্রিন কি ম্লান হয়ে যাচ্ছে? তার আসলেই কি লেখা উচিত ছিল: ? এটি একটি "লিনিয়ারিটি অনুমান" যা আসলে মডেলের কাঠামো রাখে। $E(y|X)=X\beta$
বা আমাকে কী গ্রহণ করতে হবে যে লিনিয়ারিটি অনুমান মডেলটির কাঠামো রাখে না তবে কেবলমাত্র একটি সংজ্ঞায়িত করে , যেখানে অন্যান্য অনুমানগুলি মডেলটির কাঠামো জন্য সংজ্ঞাটি ব্যবহার করবে ? $\epsilon$ $\epsilon$

সম্পাদনা করুন : যেহেতু অন্যান্য অনুমানের আশেপাশে কিছু বিভ্রান্তি রয়েছে বলে মনে হচ্ছে, আসুন আমি এখানে অনুমানের পুরো সেটটি যুক্ত করব:

এটি গ্রিন, একনোমেট্রিক বিশ্লেষণ, 7 তম এড। পি। 16।

— user56834
সূত্র

এগুলি অনুধাবনযোগ্য পর্যবেক্ষণ (+1)। সমস্ত ন্যায্যতার মধ্যে, যদিও আমি বিশ্বাস করি বেশিরভাগ (সমস্ত না থাকলে) লেখকরা এমন এক কাঠামোর মধ্যে কাজ করছেন যেখানে মতো সংযোজনীয় ত্রুটির অর্থটি এই ধারণাকে অন্তর্ভুক্ত করে যে এর বিতরণটি এ কেন্দ্রিক ।

ϵ

$\epsilon$

0

$0$

— whuber

@ শুভ, আমি অনুমানের পুরো সেটটি যোগ করেছি। এ 3 দেখুন। এ 3 স্পষ্ট করে দেয় যে এটি 0 টি কেন্দ্রিক, যার দ্বারা বোঝা যায় যে গ্রিন এ 1 তে ধরে নিচ্ছেন না, যা আমাকে এ 1-এর কোনও যৌক্তিক বিষয়বস্তু আছে কিনা তা প্রশ্ন করতে ছাড়ল leaves , সংজ্ঞা ব্যতীত ।

ϵ

$\epsilon$

— user56834

অনুমানের তালিকার উদ্দেশ্যযুক্ত অর্থ হ'ল তারা পৃথকভাবে নয় , সম্মিলিতভাবে ধারণ করে । এটি কোনও "opালু" দেখায় না।

— whuber

@ অ্যাডামো, "সঠিক" শব্দটি আমার কাছে একটি সঠিক অর্থ বলে মনে হচ্ছে না। আমি আরও সঠিকভাবে এটি বুঝতে চেষ্টা করছি। এটা আমার মনে হচ্ছে যে এই সব moest সুনির্দিষ্ট সূত্র বলতে চাই যে ধৃষ্টতা 1 "এর সংজ্ঞা বলা উচিত হয় ", এবং তারপর সবকিছু জ্ঞান করে তোলে। বা আমি আসলে কিছু অনুপস্থিত, যে কারণে আমি এই প্রশ্নটি জিজ্ঞাসা করেছি। দুর্ভাগ্যক্রমে আমি এখনও পর্যন্ত এই প্রশ্নের সরাসরি উত্তর দেখতে পাইনি

ϵ

$\epsilon$

— পাইনি ব্যবহারকারী 586834

@ প্রোগ্রামার 2134 আপনি অনর্থক উত্তর পাচ্ছেন কারণ আপনি অনর্থক প্রশ্ন জিজ্ঞাসা করছেন। আপনি যেমন বলছেন তেমন একটি "মডেলটির কাঠামো রাখে না"। ভুল গড় মডেল (যদি ) ব্যবহার করা হয়, তাহলে উত্তর হিসেবে চিহ্নিত করা যায় । এবং অবশিষ্টাংশগুলি পক্ষপাত এবং ত্রুটির যোগফল হিসাবে নেওয়া হয়।

f (x)

$f(x)$

Y = f (x) + bias + error

$Y = f(x) + \text{bias} + \text{error}$

— অ্যাডমো

উত্তর:

গ্রিন কি ম্লান হয়ে যাচ্ছে? তিনি কি আসলে লিখেছিলেন: ? এটি একটি "লিনিয়ারিটি অনুমান" যা আসলে মডেলের কাঠামো রাখে। $E(y|X)=X\beta$

এক অর্থে, হ্যাঁ এবং না। একদিকে হ্যাঁ, বর্তমান আধুনিক কার্যকারণ গবেষণাটি দেওয়া হলেও তিনি তন্দ্রা, তবে বেশিরভাগ একনোমেট্রিক্সের পাঠ্যপুস্তকের মতোই এই অর্থে যে তারা কার্যকরী ও পর্যবেক্ষণের পরিমাণের একটি স্পষ্ট পার্থক্য রাখে না, ফলে এই প্রশ্নটি সাধারণ বিভ্রান্তির দিকে পরিচালিত করে। কিন্তু, অন্য হাতে, না, এই ধৃষ্টতা না অর্থে পঙ্কিল যে সহজভাবে অভিমানী থেকে প্রকৃতপক্ষে ভিন্ন হয় । $E(y|X)=X\beta$

ব্যাপার এখানে মূল অংশ , শর্তাধীন প্রত্যাশা মধ্যে পার্থক্য , এবং কাঠামোগত এর (কার্যকারণ) সমীকরণ , সেইসাথে তার কাঠামোগত (কার্যকারণ) প্রত্যাশা $E(y|X)$ $y$ $E[Y|do(X)]$ । গ্রিনে লিনিয়ারিটি অনুমান একটিকাঠামোগতঅনুমান। আসুন একটি সহজ উদাহরণ দেখুন। কাঠামোগত সমীকরণটি কল্পনা করুন:

y = β x + γ x^{2} + ϵ

$y= \beta x + \gamma x^2 + \epsilon$

এবার । তারপরে আমাদের হবে: $E[\epsilon |x] = \delta x - \gamma x^2$

E [y | x] = β^{'} x

$E[y|x] = \beta'x$

যেখানে । অধিকন্তু, আমরা লিখতে পারি এবং আমরা হবে । এটি দেখায় যে আমরা একটি সঠিকভাবে নির্দিষ্ট রেখাযুক্ত শর্তাধীন প্রত্যাশা যা সংজ্ঞা অনুসারে একটি অরথোগোনাল ব্যাঘাত ঘটাচ্ছে, তবুও কাঠামোগত সমীকরণটি অরেখার হবে ar $\beta' = \beta + \delta$ $y = \beta'x + \epsilon'$ $E[\epsilon'|x] = 0$ $E[y|x]$

বা আমাকে কী গ্রহণ করতে হবে যে লিনিয়ারিটি অনুমান মডেলটির উপর কাঠামো রাখে না তবে কেবল একটি নির্ধারণ করে $\epsilon$ , যেখানে অন্য অনুমানের যে সংজ্ঞা ব্যবহার করা হবে মডেলের উপর গঠন করা? $\epsilon$

লিনিয়ারিটি অনুমান একটি , যা, সংজ্ঞা, যেখানে দ্বারা বিচ্যুতির প্রতিনিধিত্ব করে তার প্রত্যাশা যখন আমরা পরীক্ষামূলকভাবে থেকে সেট ( মুক্তা অধ্যায় 5.4 দেখতে )। অন্যান্য অনুমানের জন্য পারেন ব্যবহার করা হয় সনাক্তকরণ (কাঠামোগত প্যারামিটার উদাহরণস্বরূপ, এর exogeneity এর ধৃষ্টতা $\epsilon$ $\epsilon := y - X\beta = y - E[Y|do(X)]$ $\epsilon$ $y$ $X$ $\epsilon$ আপনাকে কাঠামোগত প্রত্যাশা শর্তাধীন প্রত্যাশা ) বা অনুমানকারীদের পরিসংখ্যানগত বৈশিষ্ট্যগুলির বিকাশের জন্য (উদাহরণস্বরূপ, সমকামীত্বের অনুমানটি ওএলএসের গ্যারান্টি দেয়, স্বাভাবিকতার অনুমিতি অনুমানের জন্য "সীমাবদ্ধ নমুনা" ফলাফল অর্জন করা সহজ করে তোলে)। $E[Y|do(X)]$ $E[Y|X]$

যাইহোক, রৈখিকতা ধৃষ্টতা নিজে আমাদের মডেল কোনো কাঠামো করা নয়, যেহেতু সম্পূর্ণরূপে অবাধ হতে পারে। যে কোনও ভেরিয়েবল যাই হোক না কেন, উভয়ের মধ্যে যে সম্পর্ক তা আমরা নির্ধারণ করতে পারি না সেটাই গুরুত্বপূর্ণ $\epsilon$ $X, y$ যেমন যে রৈখিকতা ধৃষ্টতা ঝুলিতে। $\epsilon$

আপনার বক্তব্য এখানে সাধারণভাবে কার্যনির্বাহী মূল সমস্যার মধ্যে যায়! উপরের সাধারণ উদাহরণে যেমন দেখানো হয়েছে, আমরা কাঠামোগত ব্যাঘাতগুলি রান্না করতে পারি যা প্রদত্ত লিনিয়ার শর্তসাপেক্ষ প্রত্যাশা তৈরি করতে পারে । সাধারণভাবে, বেশ কয়েকটি বিভিন্ন কাঠামোগত (কার্যকারণ) মডেলগুলির একই পর্যবেক্ষণমূলক বিতরণ থাকতে পারে , আপনি পর্যবেক্ষিত সমিতি ছাড়াও কার্যকারিতা থাকতে পারেন। অতএব, এই অর্থে, আপনি সঠিক --- আমাদের উপর আরও অনুমানের প্রয়োজন $y$ $x$ $\epsilon$ অনুক্রমে সমস্যার মধ্যে "আরো গঠন" করা এবং কাঠামোগত পরামিতি চিহ্নিত করতে পর্যবেক্ষণ ডেটার সাথে। $\beta$

সাইড নোট

রেগ্রেশন এবং কাঠামোগত সমীকরণ এবং তাদের অর্থের মধ্যে পার্থক্য আসে যখন বেশিরভাগ একনোমেট্রিক্স পাঠ্যপুস্তকগুলি বিভ্রান্তিকর হয় তা উল্লেখ করার মতো worth এটি ইদানীং নথিভুক্ত করা হয়েছে। আপনি এখানে চেন এবং পার্ল দ্বারা একটি কাগজ পাশাপাশি ক্রিস আউল্ড দ্বারা বর্ধিত জরিপ পরীক্ষা করতে পারেন । গ্রিন পরীক্ষা করা বইগুলির মধ্যে একটি।

— কার্লোস সিনেলি
সূত্র

ধন্যবাদ, আমি এই উত্তরটি খুঁজছিলাম। সুতরাং যখন আপনি বলে রৈখিকতা ধৃষ্টতা স্ট্রাকচারাল ধৃষ্টতা হয়, তাহলে কি ফলস্বরূপ ঘটা ঠিক মধ্যে কার্যকারণ সম্পর্ক নেই

এবং

? এখনও একটি কার্যকারণ সম্পর্ক সঠিক হতে পারে? এটি ঠিক যে

থেকে

প্রত্যক্ষ কার্যকারণ সম্পর্কটি লিনিয়ার, তাই না? এখনও একটি অত্যন্ত অরৈখিক কার্যকারণ প্রভাব হতে পারে

উপর

মাধ্যমে

ϵ

$\epsilon$

x

$x$

x

$x$

y

$y$

x

$x$

y

$y$

ϵ

$\epsilon$

— user56834

@ প্রোগ্রামার ২২৩৪ এটি এমন একটি ক্ষেত্র যেখানে একনোমেট্রিক্সের পাঠ্যপুস্তকগুলি opালু, আপনি প্রত্যক্ষ / অপ্রত্যক্ষ প্রভাব, মধ্যস্থতা ইত্যাদির খুব কম রেফারেন্স পাবেন যদি সমীকরণটি কাঠামোগত হয় তবে আমাদের প্রত্যাশার সাথে

এর পার্থক্য হিসাবে কাঠামোগত ব্যাঘাতের একটি অপারেশনাল সংজ্ঞা থাকতে পারে

কার্যকারিতা , এটি হ'ল

। তাই, এই অর্থে, কাঠামোগত

দ্বারা "সৃষ্ট" নয়

y

$y$

X

$X$

ϵ := y - E [Y | d o (X)] = y - X β

$\epsilon := y - E[Y|do(X)] = y - X\beta$

ϵ

$\epsilon$

X

$X$ । তবে এটি আমাদের সম্পর্কে কিছুই জানায় নাসমিতি এর

এবং

ϵ

$\epsilon$

, কারণ তাদের সাধারণ কারণ থাকতে পারে।

X

$X$

— কার্লোস সিনেলি

@ প্রোগ্রামার 2134 যাইহোক, আপনার উদ্বেগগুলি সঠিক পথে রয়েছে, আমি মনে করি কার্যকারিতা অনুসারে পার্লের প্রাইমার গ্রিনের আকর্ষণীয় সহচর হতে পারে!

— কার্লোস সিনেলি

ঘটনাচক্রে, আমি কিছুক্ষণ আগে পার্লের "কার্যকারিতা: মডেলগুলি, যুক্তি এবং অনুমান" পড়া শুরু করি। আমি ভেবেছিলাম এটি খুব আকর্ষণীয়, তবে এটি আমার জন্য কিছুটা বিমূর্ত ছিল। আমি ২ য় অধ্যায় অতিক্রম করতে পারি না আপনি কি মনে করেন "কার্যকারিতা ভিত্তিতে প্রাইমার" আরও উপযুক্ত হবে? (যেমন ধারণাগুলি আরও স্বজ্ঞাগতভাবে প্রবর্তন করুন)।

— user56834

@ কালার স্ট্যাটিস্টিকস আপনি পূর্বাভাসের জন্য রিগ্রেশনটি ব্যবহার করতে পারেন, নিশ্চিত, তবে তারপরে এক্সোজিনিটি অনুমানটি কোনও ভূমিকা রাখে না। যে কি ওপি নিজে সন্দেহ করতে শুরু করে জিজ্ঞাসাবাদ কেন গ্রীন নি দ্বারা কেবল যেমন ধৃষ্টতা লিখেছিলেন

রৈখিক হচ্ছে।

E (Y | x)

$E(Y|x)$

— কার্লোস সিনেলি

ওপি এবং ম্যাথিউ ড্রিউরির মন্তব্যের পরে সম্পাদিত

এই প্রশ্নের উত্তর দেওয়ার জন্য আমি গ্রিন এবং ওপি, ধরে নিলামে রৈখিকতার নিম্নলিখিত সংজ্ঞা আছে: লিনিয়ারিটির অর্থ এই ভবিষ্যদ্বাণীকারী প্রতিটি ইউনিটের জন্য ফলাফল বিটা ( ) দ্বারা বৃদ্ধি পেয়েছে , যেখানেই সম্ভাব্য ভবিষ্যদ্বাণীকের মানগুলির পরিসীমা রয়েছে wherever এই ইউনিট বৃদ্ধি ঘটে। অর্থাত ফাংশন হয় এবং না যেমন বা $β$ $y=f(x)$ $y=a+bx$ $y=a+bx^2$ $y=a+sin(x)$ । আরও, এই অনুমানটি বিটাগুলিতে ফোকাস করা এবং এভাবে ভবিষ্যদ্বাণীকারীদের (ওরফে স্বতন্ত্র ভেরিয়েবল) প্রয়োগ হয়।

অবশিষ্টাংশ প্রত্যাশা মডেলের উপর শর্তাধীন অন্য কিছু নয়। হ্যাঁ, এটা সত্যি যে রৈখিক রিগ্রেশনের সংজ্ঞায়িত পিছনে গণিত / নির্ধারণ করার চেষ্টা করে । তবে এটি সাধারণত জন্য লাগানো / পূর্বাভাসিত মানগুলির পুরো পরিসীমাতে সেট করা থাকে । আপনি যদি লিনিয়ার প্রেডিক্টরের নির্দিষ্ট অংশ এবং এর পূর্বাভাসিত মানের দিকে লক্ষ্য করেন তবে আপনি হিটোরিসেসডেস্টিটি (যে জায়গাগুলির মধ্যে এর প্রকরণ অন্যত্রের চেয়ে বড়) এবং $E(ϵ|X)$ $E(ϵ|X)=0$ $y$ $y$ $ϵ$ $E(ϵ|X)≠0$ । এবং এর মধ্যে একটি অ-রৈখিক সমিতি এটির কারণ হতে পারে, তবে একমাত্র কারণ হেটেরোসেসটাস্টিটি বা $x$ $y$ $E(ϵ|X)≠0$ ঘটতে (উদাহরণস্বরূপ অনুপস্থিত predictor পক্ষপাত জন্য দেখুন) হতে পারে।

মন্তব্যগুলি থেকে: ওপিতে বলা হয়েছে যে "এপিসিলন স্বেচ্ছাসেবী এবং এটি এক্সএক্সের যে কোনও কাজ হতে পারে" প্রদত্ত লিখিতকরণ অনুমান মডেলটিকে কোনওভাবেই সীমাবদ্ধ করে না, যার সাথে আমি একমত হতে পারি। আমি মনে করি যে লিনিয়ারি অনুমান লঙ্ঘিত হয়েছে কিনা তা লিনিয়ার রিগ্রেশনগুলি কোনও উপাত্তের সাথে ফিট করতে সক্ষম হওয়ায় এটি স্পষ্ট হয়ে গেছে। আমি এখানে অনুমান করছি, তবে এ কারণেই গ্রিন ত্রুটিটি সূত্রে রাখতে বেছে নিয়েছিল - পরবর্তী সময়ের জন্য সংরক্ষণ করে - লিনিয়ারিটি ধরে নেওয়ার ক্ষেত্রে, (এবং প্রত্যাশিত নয়) ) উপর ভিত্তি করে সংজ্ঞায়িত করা যায় তবে কিছু ত্রুটি বজায় রাখে $ϵ$ $E(ϵ|X)=0$ $y$ $y$ $X$ $ϵ$ , কি মান নির্বিশেষে লাগে। আমি শুধু আশা করতে পারেন যে, তিনি পরে প্রাসঙ্গিকতা রাষ্ট্র করতে যেতে হবে । $ϵ$ $E(ϵ|X)=0$

সংক্ষেপে (স্বীকার করতেই হবে, গ্রিনের বই পুরোপুরি না পড়ে এবং তার যুক্তি যাচাই না করে):

গ্রিন সম্ভবত পূর্বাভাসকের পুরো ব্যাপ্তির জন্য বিটা স্থির থাকা বোঝায় ( বা সমীকরণগুলিতে বিটার উপর জোর দেওয়া উচিত ; $y=Xβ + ϵ$ $E(ϵ|X)=Xβ$
লিনিয়ারিটি অনুমান মডেলটির কিছু কাঠামো রাখে। তবে আপনার অবশ্যই লক্ষ্য করা উচিত যে মডেলিংয়ের আগে স্প্লাইনের মতো রূপান্তর বা সংযোজনগুলি লিনিয়ার রিগ্রেশন ফ্রেমওয়ার্কের সাথে সামঞ্জস্য রেখে অ-লিনিয়ার সংঘবদ্ধ করতে পারে make

— IWS
সূত্র

এটি সহায়ক, তবে ধারাবাহিকতার জন্য আবেদনটি কোনও অর্থে প্রয়োজন হয় না।

ঠিক

ভবিষ্যদ্বাণীকের উপর ভিত্তি করে যদি যন্ত্রপাতিগুলি একইভাবে কাজ করে ।

X

$X$

(0, 1)

$(0, 1)$

— নিক কক্স

আপনি

লিখেছেন তবে আমি মনে করি আপনার অর্থ

,।

f (y)

$f(y)$

f (x)

$f(x)$

— নিক কক্স

@ নিককক্স আমি এই পয়েন্টগুলি সম্পাদনা করেছি।

— আইডাব্লুএস

আপনি কি স্বাভাবিকতা বলতে চান? আপনি যদি স্বাভাবিকতা বলতে চান তবে এটি ভুল কারণ এপসিলনের শর্তসাপেক্ষ শূন্যের প্রত্যাশা হওয়ার জন্য এটি স্বাভাবিক হতে হবে না। তবে আপনি অন্য কিছু বোঝাতে চান? এছাড়াও, হ্যাঁ বিটা সমস্ত পর্যবেক্ষণের জন্য ধ্রুবক হিসাবে ধরে নেওয়া হয়। এবং এপিসিলন স্বেচ্ছাসেবী এবং

যে কোনও কাজ হতে পারে তা প্রদত্ত যে লাইনারিটি অনুমিতি কোনওভাবেই মডেলকে সীমাবদ্ধ করে না এমন আমার যুক্তিতে কী ভুল বলে আপনি মনে করেন ? নোট করুন যে আমি জানি যে হেটেরোসেকস্টাস্টিটিটি কী এবং সেই লিনিয়ারिटी মানে প্যারামিটারগুলিতে রৈখিক, ভেরিয়েবলগুলিতে নয়।

X

$X$

— ব্যবহারকারীর 686834

আমি এর সাথে একমত নই। প্রত্যাশা অনুমানটি স্বাভাবিকতার সাথে সম্পর্কিত নয়, তবে কাঠামোগত রৈখিক ধারণাটি বোঝার জন্য একেবারে প্রয়োজন। অন্যথায়, যেমনটি অপটির দ্বারা উল্লিখিত হয়েছে, লিনিয়ারিটি অনুমান অর্থহীন। একটি স্বাভাবিকতা অনুমান একটি সম্পূর্ণ ভিন্ন জন্তু, এবং প্রায়শই অবিবাহিত হয়।

— ম্যাথু ড্রুরি

-1

উপরের উত্তরটি দেখে আমি কিছুটা বিভ্রান্ত হয়ে পড়েছিলাম, তাই এটিকে অন্য শট দেব। আমি মনে করি প্রশ্নটি আসলে 'ধ্রুপদী' লিনিয়ার রিগ্রেশন সম্পর্কে নয় তবে সেই নির্দিষ্ট উত্সের স্টাইল সম্পর্কে। শাস্ত্রীয় প্রতিরোধের অংশে:

তবে, নিজে থেকেই লিনিয়ারিটি অনুমান আমাদের মডেলের কোনও কাঠামো রাখে না

এটা একেবারে সঠিক। আপনি বলেছেন যে, পাশাপাশি রৈখিক সম্পর্ক হত্যা থেকে সম্পূর্ণ স্বতন্ত্র কিছু যোগ হতে পারে যাতে আমরা একেবারেই কোনও মডেল গনা করতে পারবে না। $\epsilon$ $X$

গ্রিন কি ম্লান হয়ে যাচ্ছে? তিনি কি আসলে লিখেছিলেন: $E(y|X)=Xβ$

আমি প্রথম প্রশ্নের উত্তর দিতে চাই না তবে আমাকে আপনার রৈলিক প্রতিরোধের জন্য প্রয়োজনীয় অনুমানগুলি সংক্ষিপ্ত করতে দাও:

যাক আসুন জেনে নিই আপনি মান্য (আপনি দেওয়া হয়) ডেটা পয়েন্ট এবং জন্য । আপনাকে ধরে নিতে হবে যে আপনি যে ডেটা পর্যবেক্ষণ করেছেন সেগুলি স্বাধীনভাবে, অভিন্নরূপে বিতরণ করা এলোমেলো ভেরিয়েবলগুলি থেকে আসে ... $x_i \in \mathbb{R}^d$ $y_i \in \mathbb{R}$ $i=1,...,n$ $(x_i, y_i)$ $(X_i, Y_i)$

বিদ্যমান একটি নির্দিষ্ট (স্বাধীন ) যেমন যে সবার জন্য এবং র্যান্ডম ভেরিয়েবল যে এই ধরনের হয় $i$ $\beta \in \mathbb{R}^d$ $Y_i = \beta X_i + \epsilon_i$ $i$ $\epsilon_i$
ভাল এবং IID হয় হিসাবে বিতরণ করা হয় ( স্বাধীন হতে হবে পাশাপাশি) $\epsilon_i$ $\epsilon_i$ $\mathcal{N}(0, \sigma)$ $\sigma$ $i$
জন্য এবং ভেরিয়েবল একটি সাধারণ ঘনত্ব, অর্থাত্ একক দৈব চলক আছে টি ঘনত্ব $X = (X_1, ..., X_n)$ $Y = (Y_1, ..., Y_n)$ $X, Y$ $(X, Y)$ $f_{X,Y}$

এখন আপনি সাধারণ পথ এবং গণনা চালিয়ে যেতে পারেন

f_{Y | X} (y | x) = f_{Y, X} (y, x) / f_{X} (x) = {(\frac{1}{\sqrt{2 π d}})}^{n} \exp (\frac{- \sum_{i = 1}^{n} (y_{i} - β x_{i})^{2}}{2 σ})

$f_{Y|X}(y|x) = f_{Y,X}(y,x)/f_X(x) = \left(\frac{1}{\sqrt{2\pi d}}\right)^n \exp{\left( \frac{-\sum_{i=1}^n (y_i - \beta x_i)^2}{2\sigma}\right)}$

যাতে মেশিন লার্নিং (ত্রুটি ফাংশনগুলির নূন্যতমকরণ) এবং সম্ভাব্যতা তত্ত্বের (সম্ভাবনার সর্বাধিকীকরণ) মধ্যে সাধারণ 'দ্বৈততা' দ্বারা আপনি সর্বাধিক এ $-\log f_{Y|X}(y|x)$ $\beta$ যা আসলে, আপনি স্বাভাবিক "RMSE" জিনিস দেয়।

এখন যেমনটি বলা হয়েছে: আপনি যে বইয়ের উদ্ধৃতি দিচ্ছেন তার লেখক যদি এই বিষয়টি তৈরি করতে চান (আপনি যদি বেসিক সেটআপের ক্ষেত্রে 'সেরাতম সম্ভব' রিগ্রেশন লাইনটি গণনা করতে চান তবে আপনাকে যা করতে হবে) তবে হ্যাঁ, তাকে অবশ্যই এর আদর্শের উপর এই ধারণাটি তৈরি করুন $\epsilon$ বইয়ে কোথাও।

এখন বিভিন্ন সম্ভাবনা রয়েছে:

তিনি এই ধারনাটি বইটিতে লিখেন না। তারপরে এটি বইটিতে একটি ত্রুটি।
তিনি মত 'যখনই আমি লিখি একটি' বৈশ্বিক 'মন্তব্য আকারে তা লিপিবদ্ধ করে না তারপর IID স্বাভাবিকভাবে গড় শূন্য দিয়ে বিতরণ করা হয় অন্যথায় বিবৃত যদি না'। তবে আইএমএইচও এটি খারাপ স্টাইল কারণ এটি ঠিক আপনার এখনই মনে হচ্ছে এমন বিভ্রান্তির কারণ। এই কারণেই আমি অনুমানগুলি প্রতিটি উপপাদ্যে কিছু সংক্ষিপ্ত আকারে লেখার প্রবণতা রাখি । তবেই প্রতিটি বিল্ডিং ব্লককে তার নিজস্বভাবে পরিষ্কারভাবে দেখা যাবে। $+ \epsilon$ $\epsilon$
- আপনি যে অংশটি উদ্ধৃত করছেন সেটিকে তিনি নিবিড়ভাবে লিখেছেন এবং আপনি / আমরা কেবল এটি লক্ষ্য করি নি (এছাড়াও একটি সম্ভাবনা :-))

তবে, কঠোর গাণিতিক দিক থেকেও, সাধারণ ত্রুটি হ'ল প্রমিত কিছু (সর্বোচ্চ এনট্রপির সাথে বিতরণ [একবারে ভেরিয়েন্সটি স্থির হয়ে যায়], তাই শক্তিশালী মডেল তৈরি করা হয়) যাতে কিছু লেখক এই অনুমানটি এড়াতে চান তবে তবুও ব্যবহার করুন । সাধারণভাবে, আপনি একেবারে সঠিক: তারা "ভুল উপায়ে" গণিত ব্যবহার করছেন। যখনই তারা ঘনত্বের জন্য সমীকরণ নিয়ে আসতে চায় যেমন উপরে বর্ণিত হয়েছে তখন তাদের জানা দরকার বেশ ভাল, অন্যথায় আপনার কেবলমাত্র প্রতিটি সংবেদনশীল সমীকরণ যা আপনি লেখার চেষ্টা করছেন তার চারপাশে এটির বৈশিষ্ট্যগুলি রয়েছে। $f_{Y|X}$ $\epsilon$

— ফ্যাবিয়ান ওয়ার্নার
সূত্র

ত্রুটিগুলি ওএলএস ব্যবহার করার জন্য সাধারণত বিতরণ করার প্রয়োজন হয় না।

— user56834

(-1) ত্রুটিগুলি সাধারণত বিতরণ করার প্রয়োজন হয় না। প্যারামিটার অনুমানটি নিরপেক্ষ থাকতে এবং পরীক্ষাগুলি সামঞ্জস্যপূর্ণ হওয়ার জন্য তাদের প্রকৃতপক্ষে স্বতন্ত্র বা স্বতন্ত্রভাবে বিতরণ করার দরকার নেই। ওএলএসের সঠিক পরীক্ষা হওয়ার জন্য আপনার আরও কড়া স্পেসিফিকেশনগুলি প্রয়োজনীয়।

— আদমো

@ অ্যাডামো: আহ? তাহলে আপনি কীভাবে সম্ভাবনাটি গণনা করবেন? অথবা বরং ... যদি আপনাকে লিনিয়ার রিগ্রেশন প্রয়োগ করতে বলা হয়: ত্রুটিটি সাধারণত বিতরণ না করা এবং একক

স্বতন্ত্র না হলে আপনি কোন রেগ্রেশন লাইনটি নির্বাচন করেন?

ϵ_{i}

$\epsilon_i$

— ফ্যাবিয়ান ওয়ার্নার

@ ফ্যাবিয়ান ওয়ার্নার আমার মডেল চয়ন করা প্রশ্ন জিজ্ঞাসা করা উপর নির্ভর করে। লিনিয়ার রিগ্রেশন ডেটা সেটগুলিতে প্রথম অর্ডার প্রবণতার অনুমান করে, এক্স এর একটি পার্থক্য সম্পর্কিত ওয়াইয়ের পার্থক্যের সাথে সম্পর্কিত একটি "থাম্বের নিয়ম" the এমনকি খুব ছোট নমুনায়। যদি ত্রুটিগুলি অ-স্বতন্ত্র থাকে (এবং নির্ভরতার কাঠামোটি অজানা), এসইগুলি ভুল হতে পারে তবে অনুমানগুলি পক্ষপাতদুষ্ট নয়। স্যান্ডউইচ ত্রুটি অনুমান এই সমস্যাটি হ্রাস করে।

— অ্যাডমো