রৈখিক প্রতিরোধের অনুমানের প্রয়োজন কী?

Question

লিনিয়ার রিগ্রেশন-এ, আমরা নিম্নলিখিত অনুমানগুলি করি

প্রতিক্রিয়ার গড়, $E(Y_i)$ , ভবিষ্যতবক্তা মান প্রতিটি সেট এ $(x_{1i}, x_{2i},…)$ , ভবিষ্যতবক্তা একটি রৈখিক ফাংশন।

ত্রুটিগুলি, , স্বতন্ত্র।$ε_i$

ত্রুটি, , ভবিষ্যতবক্তা মান প্রতিটি সেট এ , সাধারণত বিতরণ করা হয়।$ε_i$$(x_{1i}, x_{2i},…)$

ত্রুটি, $ε_i$ ভবিষ্যতবক্তা মান প্রতিটি সেট এ, $(x_{1i}, x_{2i},…)$ , সমান ভেরিয়ানস (প্রকাশ আছে $σ2$ )।

লিনিয়ার রিগ্রেশন সমাধানের অন্যতম উপায় হ'ল সাধারণ সমীকরণ, যা আমরা লিখতে পারি through

$$\theta = (X^TX)^{-1}X^TY$$

গাণিতিক দৃষ্টিকোণ থেকে, উপরের সমীকরণটি কেবলমাত্র অক্ষত হওয়ার জন্য X ^ TX প্রয়োজন $X^TX$। সুতরাং, কেন আমাদের এই অনুমানগুলি দরকার? আমি কয়েকজন সহকর্মীকে জিজ্ঞাসা করেছি এবং তারা উল্লেখ করেছে যে এটি ভাল ফলাফল পাওয়া এবং সাধারণ সমীকরণগুলি এটি অর্জনের জন্য একটি অ্যালগরিদম। তবে সেক্ষেত্রে এই অনুমানগুলি কীভাবে সহায়তা করে? কীভাবে তাদের ধরে রাখা আরও ভাল মডেল পেতে সহায়তা করে?

Comments

স্বাভাবিক সূত্রগুলি ব্যবহার করে সহগের আত্মবিশ্বাসের ব্যবধানগুলি গণনা করার জন্য সাধারণ বিতরণ প্রয়োজন। সিআই গণনার অন্যান্য সূত্রগুলি (আমার মনে হয় এটি হোয়াইট ছিল) অ-সাধারণ বিতরণের অনুমতি দেয়।

— keiv.fly

মডেলটি কাজ করার জন্য আপনার সবসময় সেই অনুমানগুলি প্রয়োজন হয় না। নিউরাল নেটওয়ার্কগুলিতে আপনার অভ্যন্তরে রৈখিক প্রতিক্রিয়া রয়েছে এবং আপনার দেওয়া সূত্রের মতো তারা আরএমএসকে হ্রাস করে, তবে সম্ভবত অনুমানের কোনওটিই ধরে না। কোনও সাধারণ বিতরণ, কোনও সমান বৈচিত্র, কোনও লিনিয়ার ফাংশন, এমনকি ত্রুটিগুলি নির্ভর করে না।

— keiv.fly

দেখুন stats.stackexchange.com/q/16381/35989

— টিম

@ অ্যালেক্সিস ইন্ডিপেন্ডেন্ট ভেরিয়েবলগুলি অবশ্যই আইডি হচ্ছে কোনও অনুমান নয় (এবং নির্ভরশীল ভেরিয়েবল আইআইডি হওয়াও একটি অনুমান নয় - ভাবুন যদি আমরা অনুমান করি যে প্রতিক্রিয়াটি আইড ছিল তবে গড় অনুমানের বাইরে কিছু করা অর্থহীন হবে)। এবং "কোনও বাদ না দেওয়া ভেরিয়েবলগুলি" আসলে একটি অতিরিক্ত অনুমান নয় যদিও ভেরিয়েবলগুলি বাদ দেওয়া ভাল listed তালিকাভুক্ত প্রথম অনুমানটিই এর যত্ন নেয় really

— Dason

@ ডেসন আমি মনে করি যে আমার লিঙ্কটি বৈধ ব্যাখ্যার জন্য প্রয়োজনীয় "কোনও বাদ পড়া ভেরিয়েবল" এর একটি দুর্দান্ত দৃ strong় উদাহরণ সরবরাহ করে। আমি আরও মনে করি আইআইডি (ভবিষ্যদ্বাণীকারীদের শর্তাধীন, হ্যাঁ) প্রয়োজনীয়, এলোমেলো পদচারণা যেখানে নন-আইড অনুমান ব্যর্থ হতে পারে (যেখানে কেবলমাত্র গড়ের অনুমান করা যায়) এর একটি দুর্দান্ত উদাহরণ প্রদান করে।

— অ্যালেক্সিস

Answer 1

আপনি সঠিক - আপনার পয়েন্টের সাথে ন্যূনতম স্কোয়ার লাইনে ফিট করার জন্য এই অনুমানগুলি পূরণ করার দরকার নেই। ফলাফলগুলি ব্যাখ্যা করার জন্য আপনার এই অনুমানগুলি প্রয়োজন। উদাহরণস্বরূপ, ধরে যে কোনও ইনপুট এবং মধ্যে কোনও সম্পর্ক নেই , আমরা থেকে যা দেখেছি তার চেয়ে কম কম গুণমান- পাওয়ার সম্ভাবনা ?$X_1$β $Y$$\beta_1$

Answer 2

লাইনারি রিগ্রেশন ব্যাখ্যার সাথে কিছু সম্ভাব্য সমস্যা সম্পর্কে ধারণা পেতে উইকিপিডিয়া থেকে আনসকম্বের চৌকোটির চিত্রটি চেষ্টা করুন যখন এই ধরণের কিছু অনুমানগুলি স্পষ্টভাবে মিথ্যা হয়: মূল বর্ণনামূলক পরিসংখ্যানগুলির বেশিরভাগই চারটি ক্ষেত্রেই সমান (এবং স্বতন্ত্র মানগুলিই) নীচের ডানদিকে ছাড়া সমস্ত ক্ষেত্রে অভিন্ন) $x_i$

Comments

আমি একটি চিত্রণ Anscombe নিম্নলিখিত প্রণীত দেখাচ্ছে কোন বাদ দেওয়া ভেরিয়েবল ধৃষ্টতা মত সন্ধান করতে পারেন লঙ্ঘন । এখনও আইড অনুমানের লঙ্ঘনের একটি আনসকম্বের মতো চিত্র নিয়ে কাজ করা ।

— অ্যালেক্সিস

Answer 3

রৈখিক মডেল ফিট করার জন্য আপনার এই অনুমানগুলির দরকার নেই। তবে আপনার প্যারামিটারের অনুমানটি পক্ষপাতদুষ্ট হতে পারে বা সর্বনিম্ন বৈকল্পিক নাও থাকতে পারে। অনুমানগুলি লঙ্ঘন করা রিগ্রেশন ফলাফলগুলি ব্যাখ্যা করতে নিজেকে আরও কঠিন করে তুলবে, উদাহরণস্বরূপ, একটি আত্মবিশ্বাসের ব্যবধান তৈরি করা।

Answer 4

ঠিক আছে, এখনও পর্যন্ত উত্তরগুলি এর মতো হয়: আমরা যদি অনুমানগুলি লঙ্ঘন করি তবে খারাপ জিনিস ঘটতে পারে। আমি বিশ্বাস করি যে আকর্ষণীয় দিকটি: যখন আমাদের সমস্ত অনুমানের প্রয়োজন হয় (আসলে উপরের দিক থেকে কিছুটা আলাদা হয়) তখন কেন এবং কীভাবে আমরা নিশ্চিত হতে পারি যে লিনিয়ার রিগ্রেশনই সেরা মডেল?

আমি মনে করি যে প্রশ্নের উত্তরটি এরকম হয়: আমরা যদি এই প্রশ্নের উত্তরের মতো অনুমানগুলি তৈরি করি তবে আমরা শর্তসাপেক্ষ ঘনত্বের গণনা করতে পারি । এটি থেকে আমরা E [ Y i | গণনা করতে পারি X i = x i ] ( x i এ শর্তাধীন প্রত্যাশার গুণককরণ)$p(y_i|x_i)$$E[Y_i|X_i=x_i]$$x_i$ ) এবং দেখতে যে এটা সত্যিই রৈখিক রিগ্রেশনের ফাংশন। তারপর আমরা ব্যবহার এই দেখতে এই সত্য ঝুঁকি থেকে সম্মান সঙ্গে সেরা ফাংশন যাতে।

Answer 5

দুটি মূল অনুমান হয়

1. পর্যবেক্ষণের স্বাধীনতা
2. গড়টি বৈকল্পিকের সাথে সম্পর্কিত নয়

জুলিয়ান ফারাওয়ের বইয়ে আলোচনাটি দেখুন ।

যদি এগুলি উভয়ই সত্য হয় তবে ওএলএস আপনার তালিকাভুক্ত অন্যান্য অনুমানের লঙ্ঘনের জন্য আশ্চর্যরকম প্রতিরোধী।