রিজ নিগ্রহের অনুমানগুলি কী কী এবং সেগুলি কীভাবে পরীক্ষা করা যায়?

Question

একাধিক রিগ্রেশন জন্য আদর্শ মডেল বিবেচনা করুন যেখানে ε ~ এন ( 0 , σ 2 আমি এন ) , তাই স্বাভাবিক, homoscedasticity এবং সব হোল্ড ত্রুটি uncorrelatedness।

$$Y=X\beta+\varepsilon$$ $\varepsilon \sim \mathcal N(0, \sigma^2I_n)$

ধরুন যে আমরা এর তির্যকের সমস্ত উপাদানগুলিতে একই অল্প পরিমাণ যুক্ত করে একটি রিজ রিগ্রেশন করব :$X$

$$\beta_\mathrm{ridge}=[X'X+kI]^{-1}X'Y$$

সেখানে কিছু মান যার জন্য শৈলশিরা সহগ OLS ঔজ্জ্বল্যের প্রেক্ষাপটে দ্বারা প্রাপ্ত তুলনায় কম গড় স্কোয়ারড ত্রুটি আছে, যদিও β r আমি ঘ ছ ই একটি পক্ষপাতদুষ্ট মূল্নির্ধারক হয় β । অনুশীলনে, কে ক্রস-বৈধতা দ্বারা প্রাপ্ত হয়।$k$$\beta_\mathrm{ridge}$$\beta$$k$

এখানে আমার প্রশ্ন: রিজ মডেলের অন্তর্নিহিত অনুমানগুলি কী কী? আরও কংক্রিট হতে,

1. সাধারণ ন্যূনতম স্কোয়ারের সমস্ত অনুমানগুলি (ওএলএস) রিজ রিগ্রেশন সহ বৈধ?

2. 1 টি প্রশ্ন, এর হ্যাঁ আমরা homoscedasticity কিভাবে পরীক্ষা এবং একটি পক্ষপাতদুষ্ট মূল্নির্ধারক সঙ্গে autocorrelation এর অভাব থাকে তাহলে ?$\beta$

3. অন্যান্য ওএলএস অনুমানের (সমকামিতা এবং স্বতঃসংশ্লিষ্টতার অভাব) পরীক্ষা করার কোনও কাজ কি রিজ নিগ্রহের অধীনে রয়েছে?

Comments

দয়া করে নোট করুন যে ওএলএস অনুমানকারীরা স্বাধীন বলে ধরে নেয় না। এটি কেবলমাত্র কয়েকটি নির্দিষ্ট সমাধান পদ্ধতি বা সূত্র যা এই ধরণের অনুমান করে। আপনি কীভাবে রিজ রিগ্রেশন গুণকটি নির্বাচন করেন তা কী তা গুরুত্ব দেয় তা অনুমান হিসাবে নয়পক্ষপাতদুষ্ট হতে পারে। যদি সেই গুণকটি একটি রিজ ট্রেসকে চোখের সামনে রেখে বাছাই করা হয়, তবে আপনার কাছে অনিশ্চয়তা প্রমাণের পক্ষে সত্যিকার অর্থে কোনও উপায় নেই যা লিনিয়ার রিগ্রেশন তত্ত্বের বেশিরভাগ আনুষ্ঠানিক ডায়াগনস্টিক পরীক্ষাকে প্রশ্নবিদ্ধ করে। এটি আমাকে জিজ্ঞাসা করতে পরিচালিত করে যে আপনি "রিজ রিগ্রেশন" বলতে আসলে কী বোঝায়: আপনি কীভাবে এর পরামিতিটি অনুমান করছেন? $\beta$

— whuber

সম্ভবত আমি ভুল, কিন্তু একাধিক রিগ্রেশন মান মডেল বিবেচনা করা । এবং যদি $\beta_{OLS}=(X'X)^{-1}X'Y$$X$ পূর্ণ র‌্যাঙ্ক না হয় এটি একটি অবিবর্তিত ম্যাট্রিক্স , বিশেষত এক্স এর উচ্চ মাত্রার ক্ষেত্রে I আমি আমার প্রশ্নটি সম্পাদনা করেছি। ধন্যবাদ। $X'X$

— akyves

লিনিয়ার রিগ্রেশন কোলাইনারিটির সাথে পুরোপুরি ডিল করতে পারে, যতক্ষণ না এটি "খুব বড়" না হয়।

— জোনা

এটি একাধিক প্রতিরোধের মডেল নয়: এটি ন্যূনতম স্কোয়ারের অনুমান প্রকাশের একমাত্র উপায়। যখন হয় না, তখনও সাধারণ সমীকরণগুলির সমাধান থাকে এবং (সাধারণত) মডেলটির এখনও একটি অনন্য ফিট থাকে , যার অর্থ এটি অনন্য পূর্বাভাস দেয়। $X^\prime X$

— হোবার

সম্পর্কিত: আংশিক সর্বনিম্ন স্কোয়ার (পিএলএস) রিগ্রেশনের মডেল অনুমান ।

— অ্যামিবা বলেছেন মিনিকা পুনরায় ইনস্টল করুন 20'15

Answer 1

একটি পরিসংখ্যান পদ্ধতির অনুমান কি ?

আমি কোনও পরিসংখ্যানবিদ নই এবং তাই এটি ভুল হতে পারে তবে আমি মনে করি "অনুমান" শব্দটি প্রায়শই বেশ কিছু অনানুষ্ঠানিকভাবে ব্যবহৃত হয় এবং বিভিন্ন বিষয়কে বোঝায়। আমার কাছে, একটি "অনুমান" হ'ল কঠোরভাবে বলতে গেলে এমন কিছু যা কেবলমাত্র একটি তাত্ত্বিক ফলাফল (উপপাদ্য) পেতে পারে।

লোকেরা যখন লিনিয়ার রিগ্রেশন অনুমানের বিষয়ে কথা বলেন ( এখানে গভীরতর আলোচনার জন্য দেখুন) তখন তারা সাধারণত গাউস-মার্কোভ উপপাদ্যকে উল্লেখ করে যা বলে যে অসম্পৃক্ত, সম-বৈকল্পিকতা, শূন্য-গড় ত্রুটিগুলির অনুমানের অধীনে , ওএলএসের অনুমানটি হ'ল ব্লু , অর্থাৎ নিরপেক্ষ এবং এর নূন্যতম বৈকল্পিক রয়েছে। গাউস-মার্কোভের উপপাদ্যের প্রসঙ্গের বাইরে, "রিগ্রেশন অনুমান" এর অর্থ কী হবে তা আমার কাছে পরিষ্কার নয়।

একইভাবে, একটি অনুমান, বলুন, এক-নমুনা টি-পরীক্ষা অনুমানগুলি বোঝায় যার অধীনে স্ট্যাটাস্টিক টি- বিতরণযোগ্য এবং তাই অনুমানটি বৈধ। একে "উপপাদ্য" বলা হয় না, তবে এটি একটি গাণিতিক ফলাফল: যদি n নমুনাগুলি সাধারণত বিতরণ করা হয় তবে t- statistic শিক্ষার্থীর t অনুসরণ করবে$t$$t$$n$$t$$t$ বিতরণকে ডিগ্রি সহ স্বাধীনতা ।$n-1$

দণ্ডিত রিগ্রেশন কৌশলগুলির অনুমান

এখন যে কোনো নিয়মিত রিগ্রেশন কৌশল বিবেচনা করুন: শৈলশিরা প্রত্যাবৃত্তি, Lasso, ইলাস্টিক নেট, প্রধান উপাদান রিগ্রেশন, আংশিক লিস্ট স্কোয়ার রিগ্রেশন, ইত্যাদি ইত্যাদি এই পদ্ধতি পুরো পয়েন্ট একটি করা হয় পক্ষপাতদুষ্ট রিগ্রেশন প্যারামিটার অনুমান, এবং প্রত্যাশিত কমাতে প্রত্যাশী পক্ষপাতিত্ব-বৈকল্পিক বাণিজ্য বন্ধ ব্যবহার করে ক্ষতি।

এই সমস্ত পদ্ধতির মধ্যে এক বা একাধিক নিয়মিতকরণ পরামিতি অন্তর্ভুক্ত রয়েছে এবং এগুলির কোনওটিরই এই পরামিতির মানগুলি নির্বাচন করার জন্য একটি নির্দিষ্ট নিয়ম নেই। সর্বোত্তম মানটি সাধারণত কিছু ধরণের ক্রস-বৈধকরণ পদ্ধতির মাধ্যমে পাওয়া যায় তবে ক্রস-বৈধকরণের বিভিন্ন পদ্ধতি রয়েছে এবং তারা কিছুটা আলাদা ফলাফলও অর্জন করতে পারে। তদতিরিক্ত, ক্রস-বৈধতা ছাড়াও থাম্বের কিছু অতিরিক্ত নিয়ম মেনে চলা অস্বাভাবিক নয়। ফলস্বরূপ, প্রকৃত ফলাফল β$\hat \beta$ এই শাস্তি রিগ্রেশন পদ্ধতি কোনো না আসলে সম্পূর্ণরূপে পদ্ধতি দ্বারা সংজ্ঞায়িত করা হয়, কিন্তু বিশ্লেষক এর পছন্দের উপর নির্ভর করতে পারেন।

সুতরাং আমার কাছে স্পষ্ট নয় সেখানে কিভাবে সম্পর্কে কোনো তাত্ত্বিক optimality বিবৃতি হতে পারে β$\hat \beta$ , এবং তাই আমি নিশ্চিত নই যেমন শৈলশিরা রিগ্রেশন যেমন শাস্তি পদ্ধতির "অনুমানের" (উপস্থিতি বা উহার অনুপস্থিতি) সম্পর্কে কথা বলা এ সব জ্ঞান করে তোলে যে।

তবে গাণিতিক ফলাফল সম্পর্কে কী বলা যায় যে রিজ রিগ্রেশন সর্বদা ওএলএসকে পরাজিত করে?

$\lambda$$\beta$$\lambda$ , যা ডেটা সেটটি নির্ভর হতে হবে।

এই ফলাফলটি আসলে কোনও অনুমানের প্রয়োজন হয় না এবং সর্বদা সত্য, তবে এটি দাবি করা অবাক হবে যে রিজ রিগ্রেশনটির কোনও অনুমান নেই।

ঠিক আছে, তবে আমি কীভাবে জানব যে আমি রিজ রিগ্রেশন প্রয়োগ করতে পারি কিনা?

আমি বলব যে আমরা অনুমানের কথা বলতে না পারলেও আমরা সে সম্পর্কে কথা বলতে পারি থাম্বের বিধি । এটি সুপরিচিত যে রিজ রিগ্রেশন প্রাসঙ্গিক পূর্বাভাসকারীদের সাথে একাধিক রিগ্রেশন ক্ষেত্রে সবচেয়ে কার্যকর হতে পারে be এটি সুপরিচিত যে এটি ওএলএসকে প্রায়শই বড় ব্যবধানে ছাড়িয়ে যায়। এটি হিটারোসিসেস্টাস্টিটি, পারস্পরিক সম্পর্কযুক্ত ত্রুটি বা অন্য যে কোনও ক্ষেত্রে এটি ছাড়িয়ে যায়। সুতরাং থাম্বের সহজ নিয়মটি বলে যে আপনার যদি মাল্টিকোল্লাইনারি ডেটা থাকে তবে রিজ রিগ্রেশন এবং ক্রস-বৈধকরণ ভাল ধারণা।

থাম্ব এবং বাণিজ্যের কৌশলগুলি সম্ভবত অন্যান্য দরকারী নিয়ম রয়েছে (যেমন যেমন স্থূল আউটলিয়ারদের সাথে কী করা উচিত)। তবে সেগুলি অনুমান নয়।

$p$$p$

Comments

যে পরিস্থিতিতে কেউ কোনও পদ্ধতির সাথে সম্পর্কিত হিসাবে অনুমানের বৈশিষ্ট্য অর্জন করে, এটি কোনও রিগ্রেশন opeালের অনুমানের পরীক্ষার বৈশিষ্ট্য বা আত্মবিশ্বাসের বিরতি বা ভবিষ্যদ্বাণী ব্যবস্থার বৈশিষ্ট্য, উদাহরণস্বরূপ, পরীক্ষাগুলি নিজেই কিছুটির অধীনে নেওয়া হবে অনুমানের সেট। যেহেতু এখন পর্যন্ত অনেকগুলি বিষয় অঞ্চলে রিগ্রেশন ব্যবহারের সর্বাধিক সাধারণ উদ্দেশ্য হ'ল কিছু প্রকার অনুমান করা (প্রকৃতপক্ষে, কিছু প্রয়োগের ক্ষেত্রে এটি খুব কমই অন্য কোনও কারণে সম্পন্ন করা হয়), সুতরাং অনুমানমূলক পদ্ধতির জন্য যে অনুমান করা হবে তা স্বাভাবিকভাবেই যুক্ত ... সিটিডি সহ

— Glen_b -Rininstate মনিকা

সিটিডি ... যে জিনিসটিতে তারা ব্যবহার করছে। সুতরাং আপনার যদি কোনও রিগ্রেশন কোপিলিটি পরীক্ষা করার জন্য বা আংশিক এফ পরীক্ষার জন্য বা সিআই এর জন্য গড় বা ভবিষ্যদ্বাণী ব্যবস্থার জন্য টি-টেস্ট পেতে কিছু অনুমানের প্রয়োজন হয় ... এবং সাধারণ অনুমানের ফর্মগুলি একই বা প্রায় অনুমানের একই সংগ্রহ, তখন সেগুলি যুক্তিযুক্তভাবে সেই জিনিসটি ব্যবহার করে অনুমানের সাথে যুক্ত অনুমান হিসাবে বিবেচিত হবে। কেউ যদি রিজ রিগ্রেশন (কোনও পূর্বাভাস ব্যবধান বলুন) এর সাথে কোনও অনুমান করতে থাকে এবং তা করার জন্য অনুমান করে তবে সেগুলিও সমানভাবে অনুমান হিসাবে বলা যেতে পারে ... সিটিডি

— Glen_b -Rininstate মনিকা

রিজ রিগ্রেশন সম্পর্কিত বিশেষ ধরণের অনুমান (এবং সম্ভবতঃ ব্যবহার করার জন্য) অর্জন করতে সক্ষম হওয়া দরকার।

— গ্লেন_বি -রিনস্টেট মনিকা

$R^2$

খুব বেশি দেরি হয়নি আমি আশা করি @ অ্যামিবা বলব। দুর্দান্ত উত্তর!

— akyves

Answer 2

আমি পরিসংখ্যানের দৃষ্টিকোণ থেকে কিছু ইনপুট সরবরাহ করতে চাই। যদি Y ~ N (Xb, sigma2 * In) হয়, তবে b the এর গড় বর্গ ত্রুটি

MSE(b^)=E(b^-b).T*(b^-b)=E(|b^-b|^2)=sigma2*trace(inv(X.T*X))

D(|b^-b|^2)=2*sigma4*trace((X.T*X)^(-2))

b^=inv(X.T*X)*X.T*Y

যদি এক্সটি এক্স প্রায় শূন্য হয়, তবে ইনভ (এক্সটি এক্স) খুব বড় হবে। সুতরাং বি এর পরামিতি অনুমান স্থিতিশীল নয় এবং নিম্নলিখিত সমস্যা থাকতে পারে।

1. প্যারামিটার অনুমানের কিছু পরম মান খুব বড়
2. খ এর প্রত্যাশার চেয়ে বিপরীত ধনাত্মক বা নেতিবাচক চিহ্ন রয়েছে।
3. ভেরিয়েবল বা পর্যবেক্ষণ যুক্ত বা অপসারণ প্যারামিটারের অনুমানগুলিকে নাটকীয়ভাবে পরিবর্তন করবে।

বি স্থিতিশীলের সর্বনিম্ন বর্গক্ষেত্রের প্রাক্কলনটি তৈরি করার জন্য, আমরা অনুমান করে রিজ রিগ্রেশনটি প্রবর্তন b^(k)=inv(X.T*X+kI)*X.T*Y.করি এবং আমরা প্রমাণ করতে পারি যে সর্বদা আক আছে যা এর গড় বর্গ ত্রুটি করে

MSE(b^(k)) < MSE(b^).

মেশিন লার্নিং-এ, রিজ রিগ্রেশনকে L2 নিয়মিতকরণ বলা হয় এবং এটি অনেকগুলি বৈশিষ্ট্যের কারণে ওভার-ফিটনেস সমস্যার বিরুদ্ধে লড়াই করতে হয়।