সংকোচনের উপর একীভূত দৃষ্টিভঙ্গি: স্টেইনের প্যারাডক্স, রিজ রিগ্রেশন এবং মিশ্র মডেলগুলিতে এলোমেলো প্রভাবের মধ্যে কী সম্পর্ক (যদি থাকে)?

Question

নিম্নলিখিত তিনটি ঘটনা বিবেচনা করুন।

1. স্টেইনের প্যারাডক্স: tiv মাল্টিভারিয়েট স্বাভাবিক বিতরণ থেকে কিছু তথ্য দেওয়া হয়েছে , নমুনা গড়টি সত্যিকার গড়ের খুব ভাল অনুমানকারী নয়। যদি কেউ নমুনার সমস্ত স্থানাঙ্কটি শূন্যের দিকে [বা তাদের গড়ের দিকে, বা আসলে কোনও মানের দিকে, যদি আমি সঠিকভাবে বুঝতে পারি] সঙ্কুচিত হয় তবে নিম্নতর স্কোয়ার ত্রুটির সাথে একটি অনুমান পাওয়া যায়।$\mathbb R^n, \: n\ge 3$

   এনবি: সাধারণত স্টেইনের প্যারাডক্সটি থেকে কেবল একটি একক ডেটা পয়েন্ট বিবেচনা করে তৈরি করা হয় ; দয়া করে আমাকে সংশোধন করুন যদি এটি অত্যন্ত গুরুত্বপূর্ণ এবং উপরের আমার সূত্রটি সঠিক না হয়।$\mathbb R^n$

2. রিজ রিগ্রেশন: কিছু নির্ভরশীল পরিবর্তনশীল দেওয়া এবং কিছু স্বাধীন ভেরিয়েবল , মানক রিগ্রেশন থাকে ডেটা ওভারফিট করতে এবং নমুনার বাইরে-বাইরে দক্ষতার দিকে পরিচালিত করতে। একসাথে শূন্যের দিকে সঙ্কুচিত করে ওভারফিটিং হ্রাস করতে পারে : ।X β = ( X ⊤ X ) - 1 এক্স ⊤ y β β = ( এক্স ⊤ এক্স + λ আই ) - 1 এক্স ⊤ $\mathbf y$$\mathbf X$$\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$$\beta$$\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$

3. মাল্টিলেভেল / মিক্সড মডেলগুলির এলোমেলো প্রভাব: কিছু নির্ভরশীল পরিবর্তনশীল (উদাহরণস্বরূপ শিক্ষার্থীর উচ্চতা) দেওয়া যা কিছু শ্রেণিবদ্ধ ভবিষ্যদ্বাণীগুলির উপর নির্ভর করে (যেমন স্কুল আইডি এবং শিক্ষার্থীর লিঙ্গ), একজনকে প্রায়শই কিছু ভবিষ্যদ্বাণীকারীকে 'এলোমেলো' হিসাবে বিবেচনা করার পরামর্শ দেওয়া হয়, যেমন ধরুন যে প্রতিটি বিদ্যালয়ে গড় শিক্ষার্থীর উচ্চতা কিছু অন্তর্নিহিত স্বাভাবিক বন্টন থেকে আসে। এর ফলে প্রতি স্কুল প্রতি গড় উচ্চতার অনুমানকে বিশ্ব গড়ের দিকে সঙ্কুচিত করে।$y$

আমার অনুভূতি আছে যে এই সমস্তগুলি একই "সঙ্কুচিত" ঘটনার বিভিন্ন দিক, তবে আমি নিশ্চিত নই এবং অবশ্যই এটি সম্পর্কে একটি ভাল অন্তর্দৃষ্টিটির অভাব নেই। সুতরাং আমার মূল প্রশ্নটি হ'ল: এই তিনটি জিনিসের মধ্যে আসলেই কি গভীর মিল রয়েছে, নাকি এটি কেবলমাত্র একটি স্তরের উপরের লক্ষণ? এখানে সাধারণ থিমটি কী? এটি সম্পর্কে সঠিক স্বজ্ঞাততা কি?

তদতিরিক্ত, এই ধাঁধাটির কয়েকটি টুকরো এখানে দেওয়া হল যা আমার জন্য সত্যিই একসাথে ফিট করে না:

• রিজ রিগ্রেশনে, সমানভাবে সঙ্কুচিত হয় না; রিজ সংকোচন আসলে একক মান পচনের সাথে সম্পর্কিত , নিম্ন-বৈকল্পিক দিকগুলি আরও সঙ্কুচিত হয়ে থাকে (উদাহরণস্বরূপ পরিসংখ্যানগত শিক্ষার উপাদানসমূহ 3.4.1 দেখুন)। তবে জেমস-স্টেইন অনুমানকারী সহজেই নমুনাটির গড় গ্রহণ করে এবং এটি একটি স্কেলিং ফ্যাক্টর দ্বারা গুণ করে। কিভাবে একসাথে ফিট?$\beta$$\mathbf X$

  আপডেট করুন: দেখুন অসম ভেরিয়ানস সঙ্গে জেমস-স্টেইন মূল্নির্ধারক এবং যেমন এখানে এর ভেরিয়ানস সংক্রান্ত কোফিসিয়েন্টস।$\beta$

• নমুনা গড়টি নীচের মাত্রায় সর্বোত্তম 3.. এর অর্থ কি এই যে যখন রেগ্রেশন মডেলটিতে কেবলমাত্র এক বা দুটি ভবিষ্যদ্বাণী থাকে তখন রিজ রিগ্রেশন সর্বদা সাধারণ ন্যূনতম স্কোয়ারের চেয়েও খারাপ হয়? প্রকৃতপক্ষে, এটি চিন্তা করে দেখুন, আমি 1 ডি (যেমন সহজ, একাধিক রিগ্রেশন) এমন কোনও পরিস্থিতি কল্পনা করতে পারি না যেখানে রিজ সঙ্কুচিত হওয়া উপকারী হবে ...

  আপডেট: না দেখুন রিজ রিগ্রেশন সাধারণ ন্যূনতম স্কোয়াস রিগ্রেশনটির তুলনায় কোন উন্নতি দিতে সক্ষম হ'ল দেখুন ?

• অন্যদিকে, নমুনা গড়টি সবসময় উপরের মাত্রায় 3 টি সাবঅপটিমাল থাকে it এর অর্থ কি এই যে এর আগে 3 টিরও বেশি ভবিষ্যদ্বাণীকারী রিজ রিগ্রেশন সবসময়ই ওএলএসের চেয়ে ভাল, এমনকি যদি সমস্ত ভবিষ্যদ্বাণীকারী অসংলগ্ন (অরথগোনাল) হয়? সাধারণত রিজ রিগ্রেশন মাল্টিকোলাইনারিটি দ্বারা অনুপ্রাণিত হয় এবং পদটি "স্থিতিশীল" করা প্রয়োজন ।$(\mathbf X^\top \mathbf X)^{-1}$

  আপডেট: হ্যাঁ! উপরের মত একই থ্রেড দেখুন।

• আনোভাতে বিভিন্ন কারণকে স্থির বা এলোমেলো প্রভাব হিসাবে অন্তর্ভুক্ত করা উচিত কিনা তা নিয়ে প্রায়শই কিছু উত্তপ্ত আলোচনা হয়। আমরা কি একই যুক্তি দিয়ে সবসময় এলোমেলো হিসাবে কোনও উপাদানকে চলা উচিত না যদি এর দুটি স্তরের বেশি থাকে (বা যদি আরও দুটি কারণ থাকে তবে এখন আমি বিভ্রান্ত হয়ে পড়েছি)?

  আপডেট করুন: ?

---

আপডেট: আমি কিছু দুর্দান্ত উত্তর পেয়েছি, কিন্তু কোনও বড় চিত্রের জন্য যথেষ্ট সরবরাহ করে না, তাই আমি প্রশ্নটি "খোলার" দেব will আমি একটি নতুন উত্তরে কমপক্ষে 100 পয়েন্টের অনুদান দেওয়ার প্রতিশ্রুতি দিতে পারি যা বিদ্যমানগুলি ছাড়িয়ে যাবে। আমি বেশিরভাগই একটি একত্রিত দৃষ্টিভঙ্গির সন্ধান করছি যা সংকোচনের সাধারণ ঘটনাটি এই বিভিন্ন প্রসঙ্গে কীভাবে নিজেকে প্রকাশ করে এবং এগুলির মধ্যে প্রধান পার্থক্য চিহ্নিত করতে পারে তা ব্যাখ্যা করতে পারে।

Comments

আমার বোধগম্যতা হল যে রিজ রিগ্রেশন (এবং এর কাজিন্স যেমন লাসো এবং ইলাস্টিক নেট) রিগ্রেশন-এর সমস্ত পর্যবেক্ষণ দ্বারা ভাগ করা পারস্পরিক সম্পর্কযুক্ত ভেরিয়েবলগুলির জন্য সহগ সংক্ষেপগুলি সঙ্কুচিত করে (উদাহরণস্বরূপ, শিক্ষার্থীর আর্থ-সামাজিক অবস্থান এবং জিপিএ) যখন একটি এলোমেলো প্রভাব মডেল সহগের উপর সংকোচন সম্পাদন করে while পারস্পরিক একচেটিয়া স্তর বা পারস্পরিক একচেটিয়া পর্যবেক্ষণগুলির গোষ্ঠী (যেমন শিক্ষার্থীর শিক্ষার্থীর আর্থ-সামাজিক অবস্থানের আইডি দ্বারা গ্রুপযুক্ত)।

— রবার্টএফ

আমি মনে করি একত্রীকরণের উত্তর পাওয়ার জন্য সেরা জায়গাটি হল BLUP (সেরা লিনিয়ার আনবাইজড প্রেডিক্টারের জন্য) শব্দটি দেখুন। প্রাণী প্রজনন সাহিত্যে। পরিসংখ্যান বিজ্ঞানের উদাহরণ হিসাবে রবিনসনের জরিপের জন্য দেখুন । বা মারভিন গ্রুবারের বই

— শি'ন

@ শি'য়ান: অনেক অনেক ধন্যবাদ, আমি ইতিমধ্যে গ্রুবারের বইটি নিজেই খুঁজে পেয়েছি এবং যদিও তিনি অবশ্যই জেমস-স্টেইন এবং রিজ রিগ্রেশন উভয় নিয়েই অনেক আলোচনা করেছেন, ততক্ষণে আমি দুটির সরাসরি কোনও তুলনা খুঁজে পাইনি (পুরো বইটি পড়ার বিষয়টি হ'ল) এখনই আমার পক্ষে কোনও বিকল্প নয় ...)। রবিনসনের সমীক্ষার লিঙ্কটির জন্য ধন্যবাদ, আমি একবার দেখে নেব; পশুর প্রজনন ! যারা চিন্তা করে. যাইহোক, আমি সম্পর্কিত থ্রেডগুলিতে আপনার মন্তব্যগুলি দেখেছি এবং অনুমান করি যে আপনি সম্ভবত এমন একটি লোক হতে পারেন যারা এখানে আসলে সন্তোষজনক উত্তর সরবরাহ করতে পারে! এটি দুর্দান্ত হবে; এখনও পর্যন্ত কোনও উত্তর আমাকে সন্তুষ্ট করে না।

— অ্যামিবা বলছে মনিকাকে

@ শিয়ান: আচ্ছা, নীচে আপনার সহায়ক মন্তব্যগুলি আপনাকে এখানে থেকে একটি উত্তর মিস করতে চাইছে। যাইহোক, আমি রবিনসন পড়া শুরু করেছিলাম এবং বুঝতে পেরেছিলাম যে "সেরা লিনিয়ার আনবিয়েড প্রেডিক্টর" একটি পক্ষপাতদুষ্ট প্রাক্কলনকারী (স্পষ্টতই, এটি সঙ্কুচিতকরণ প্রয়োগ করে)! কি সুন্দর পরিভাষা।

— অ্যামিবা বলেছেন মনিকা

তারা প্রাণী প্রজননে নামগুলিতে ভাল: কেসেলা ও জর্জ 1992 এর পরে "বাচ্চাদের জন্য গিবস" প্রকাশের জন্য এর শিরোনাম পরিবর্তন করতে হয়েছিল, ওয়াং ও জিয়ানোলা 1993 সালে একটি ইউরোপীয় অ্যাসোসিয়েশন ফর এনিমাল প্রোডাকশন সভায় একটি "গিবস ফর পিগস" লিখেছিলেন!

— শি'য়ান

Answer 1

জেমস – স্টেইন অনুমানকারী এবং রিজ রিগ্রেশন এর মধ্যে সংযোগ

যাক দৈর্ঘ্য , of এর পর্যবেক্ষণের ভেক্টর , জেমস-স্টেইন অনুমানকারী, রিজ রিগ্রেশনের ক্ষেত্রে, আমরা মাধ্যমে অনুমান করতে পারি যেখানে সমাধানটি এটি সহজেই দেখা যায় যে দুটি অনুমানকারী একই ফর্মে রয়েছে তবে আমাদের অনুমান করা দরকার$\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$ $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ $\sigma^2$জেমস-স্টেইন অনুমানকারীতে এবং ক্রস-বৈধকরণের মাধ্যমে রিজ রিগ্রেশন নির্ধারণ করুন।$\lambda$

জেমস – স্টেইন অনুমানকারী এবং এলোমেলো প্রভাব মডেলগুলির মধ্যে সংযোগ

প্রথমে জেনেটিক্সের মিশ্র / এলোমেলো প্রভাবগুলির মডেলগুলি নিয়ে আলোচনা করা যাক। মডেলটি হ'ল যদি কোনও স্থির প্রভাব এবং , মডেলটি হয়ে উঠবে যা জেমস-স্টেইন অনুমানকারীর সংস্থার সমতুল্য, কিছু সহ বায়েশিয়ান ধারণা।

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

এলোমেলো প্রভাব মডেল এবং রিজ রিগ্রেশন মধ্যে সংযোগ

যদি আমরা উপরে র্যান্ডম এফেক্টস মডেলগুলিতে মনোনিবেশ করি তবে অনুমানটি সমস্যার সমাধানের সমতুল্য যখন । প্রমাণটি প্যাটার্নের স্বীকৃতি এবং মেশিন লার্নিংয়ের অধ্যায় 3 এ পাওয়া যাবে ।

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ $\lambda=\sigma^2/\sigma_{\theta}^2$

(বহুস্তর) এলোমেলো প্রভাব মডেল এবং জেনেটিক্সের মধ্যে সংযোগ

উপরে র্যান্ডম প্রভাব মডেলে মাত্রা হয় এবং যে হয় । যদি আমরা হিসাবে ভেক্টরাইজ করি এবং একইভাবে পুনরায় করি, তবে আমাদের শ্রেণিবদ্ধ / গুচ্ছ কাঠামো, ক্লাস্টার এবং প্রতিটি ইউনিট রয়েছে। আমরা প্রত্যাবর্তন যদি পুনরাবৃত্তি উপর , তাহলে আমরা এর র্যান্ডম প্রভাব পেতে পারেন উপর প্রতিটি ক্লাস্টার জন্য, যদিও এটা কোন ধরনের বিপরীত রিগ্রেশন ভালো হয়।$\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$

স্বীকৃতি : প্রথম তিনটি পয়েন্ট মূলত এই দুটি চীনা নিবন্ধ, 1 , 2 থেকে শিখেছে ।

Comments

(+1) অনেক ধন্যবাদ! এটি খুব সহায়ক, এবং আমি অবশ্যই বিশপের পাঠ্যপুস্তকে সন্ধান করব যা আমি ভাল জানি এবং প্রায়শই পরামর্শ করি। আমি সেখানে মিশ্র মডেলগুলিতে কিছু খুঁজে পাওয়ার আশা করিনি, তবে দেখে মনে হচ্ছে বিভাগ ৩.৩ "বায়েসিয়ান লিনিয়ার রিগ্রেশন" আসলে এটি সম্পর্কে, কেবল বিভিন্ন পরিভাষা ব্যবহার করে। জেনে খুব ভাল! কিন্তু আমার বুলেট প্রশ্ন আপনি কি গ্রহণ?

— অ্যামিবা বলছেন মনিকা

আপনার একটি পোস্টে অনেক প্রশ্ন আছে। :) 1) আমি উপরে উল্লিখিত হিসাবে, জেমস-স্টেইন অনুমানক এবং রিজ রিগ্রেশন সমান যখন কোনও কোভারিয়েটস- , বা কেবল একটি পরিচয় ম্যাট্রিক্স না থাকে। 2,3,4) @ জেমস হিসাবে উল্লিখিত হিসাবে, পূর্বাভাসকারীদের সংখ্যা ( উপরে ) জবাবদিহির মাত্রা সমান নয় । $\mathbf X$$p$$m$

— র‌্যান্ডেল

বিটিডাব্লু, আমি নমুনা গড় / গড় দেখতে পাচ্ছি না জেমস-স্টেইন অনুমানকারীটিতে ব্যবহৃত হয়, এটি আসলে অনুমানকারী নেয় এবং তারপরে এটি সঙ্কুচিত করে । $\mathbf y$$\mathbf 0$

— র্যান্ডেল

জেএস অনুমানকারী এবং রিজ রিগ্রেশন পৃথক। একটি শৈলশিরা রিগ্রেশন অনুমান একটি পি-ভেক্টরের -dimensional অবস্থান নকশা ম্যাট্রিক্স অনুরূপ , যা অনুমান হতে হবে , যা অনুপস্থিত (অ-রৈখিক!) শব্দটি জেএস-অনুমানের ডিনোমিনেটরে$p$$\mathbf{I}_p$$(1+\lambda)^{-1}\mathbf{I}_p \mathbf y$$\Vert \mathbf y \Vert^2$

— অ্যান্ড্রু এম

আমি মনে করি এটি রিজ অনুমানকারীকে কী বলে তা নির্ভর করে। গোড়ার দিকে Hoerl এবং Kennard (1970) অর্থে, প্রকৃতপক্ষে কোন নির্ভরতা হয় ডেটার উপর। কেসেলার পিএইচডি থিসিস (1978) এর পরবর্তী অর্থে, mb ম্যানুয়াল নির্ধারণটি স্কোয়ারের অবশিষ্টাংশের একটি অংশ দ্বারা প্রতিস্থাপিত হয়েছিল। $\lambda$$\lambda$

— শি'য়ান

Answer 2

আমি একটি ব্যায়াম যেমন ত্যাগ করার সম্প্রদায় এই উত্তর জানতে মাংস করার জন্য যাচ্ছি, তবে সাধারণভাবে কারণে সংকোচন estimators * নিয়ন্ত্রিত হবে * সসীম নমুনার মধ্যে পক্ষপাতিত্বহীন estimators কারণ বায়েসের estimators করতে পারবে না প্রাধান্য , এবং অনেক সংকোচনের অনুমানকারীকে বেয়েস হিসাবে পাওয়া যায়। $^1$$^2$$^3$$^4$

এগুলি সবই সিদ্ধান্ত তত্ত্বের আওতায় পড়ে। লেহম্যান এবং কেসেল্লার একটি বিস্মৃত, বরং বন্ধুহীন রেফারেন্স হ'ল "পয়েন্ট অ্যাসেসমেন্টের তত্ত্ব"। হতে পারে অন্যরা বন্ধুত্বপূর্ণ রেফারেন্সের সাথে আঁকতে পারে?

---

$^1$ একটি মূল্নির্ধারক প্যারামিটারের ডেটার উপর হয় আধিপত্য অন্য মূল্নির্ধারক দ্বারা প্রত্যেক যদি ঝুঁকি (যেমন, অর্থ স্কয়ার ত্রুটি) সমান বা বেশি , এবং beats অন্তত একটি জন্য । অন্য কথায়, আপনি প্যারামিটার স্পেসের সর্বত্র জন্য সমান বা আরও ভাল পারফরম্যান্স পাবেন ।$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$

$^2$ প্রাক্কলনকারী হ'ল বেইস (যাইহোক স্কোয়ার-ত্রুটি হ্রাসের অধীনে) যদি কিছু পূর্ববর্তী under অধীনে তথ্য প্রদত্ত উত্তরোত্তর প্রত্যাশা থাকে , যেমন, , যেখানে প্রত্যাশা পোস্টারিয়র সহ নেওয়া হয়। স্বাভাবিকভাবেই, বিভিন্ন প্রিয়ারগুলি বিভিন্ন সাবসেটের জন্য বিভিন্ন ঝুঁকির দিকে পরিচালিত করে । একটি গুরুত্বপূর্ণ খেলনার উদাহরণ হল পূর্ববর্তী prior যা সমস্ত পূর্ববর্তী রাখে বিন্দু সম্পর্কে ভর । তারপরে আপনি দেখাতে পারেন যে বয়েস অনুমানকারীটি ধ্রুবক ক্রিয়া function$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$, যা অবশ্যই এ এবং এর কাছাকাছি অত্যন্ত ভাল পারফরম্যান্স এবং অন্য কোথাও খুব খারাপ অভিনয় করেছে। তবে তবুও, এটি প্রাধান্য দেওয়া যায় না, কারণ কেবলমাত্র অনুমানকারীটি এ শূন্য ঝুঁকি নিয়ে ।$\theta_0$$\theta_0$

$^3$ একটি প্রাকৃতিক প্রশ্ন হ'ল যে কোনও অনুমানকারীকে আধিপত্য করা যায় না (এটি গ্রহণযোগ্য বলে অভিহিত করা হয় , যদিও অদম্য স্নাজিয়ার নয়?) বায়েসের প্রয়োজন? উত্তর প্রায়। "সম্পূর্ণ শ্রেণীর উপপাদাগুলি" দেখুন।

$^4$ উদাহরণস্বরূপ, শৈলশিরা রিগ্রেশন একটি Bayesian পদ্ধতি যখন আপনি একটি স্বাভাবিক (0, স্থান হিসাবে দেখা দেয় দুটো কারণে ) এ পূর্বে , এবং র্যান্ডম প্রভাব মডেল একটি অনুরূপ কাঠামোর মধ্যে একটি গবেষণামূলক Bayesian পদ্ধতি যেমন উঠা । এই যুক্তিগুলি জটিল যে জটিল বায়েশিয়ান গ্রহণযোগ্যতা তত্ত্বগুলির ভ্যানিলা সংস্করণটি ধরে নিয়েছে যে প্রতিটি প্যারামিটারের উপর এটির আগে একটি যথাযথ পূর্বরূপ রয়েছে। এমনকি রিজ রিগ্রেশনেও এটি সত্য নয়, কারণ "পূর্ববর্তী" বৈকল্পিকতা স্থাপন করা হচ্ছে$1/\lambda^2$$\beta$$\sigma^2$ত্রুটি শর্তটি হ'ল ধ্রুবক ক্রিয়া (লেবেসগু পরিমাপ), যা কোনও যথাযথ (সমন্বিত) সম্ভাবনা বন্টন নয়। তবে তবুও, এ জাতীয় অনেক "আংশিক" বেইস অনুমানকারী যথাযথ বায়েস অনুমানকারীদের অনুক্রমের "সীমা" বলে প্রমাণ করে প্রমাণযোগ্য হতে পারে to তবে এখানে প্রমাণগুলি বরং সংশ্লেষিত এবং সূক্ষ্ম হয়। "জেনারালাইজড বেইস অনুমানকারী" দেখুন।

Comments

অনেক অনেক ধন্যবাদ, খুব আকর্ষণীয় (+1)। আমি কেবল আপনার উত্তরটি আরও বিশদযুক্ত হতে চাই ... আপনার পাদটীকা পুনরায় (3): আপনি কি বলছেন যে সমস্ত বেইস অনুমানকারী পূর্বের চেয়ে স্বতন্ত্র / অদম্য (আমি শব্দটি পছন্দ করি)? তবে জেমস-স্টেইন অনুমানকারী অভিজ্ঞতা বায়স থেকে প্রাপ্ত হতে পারে; তাহলে কেন তা অগ্রহণযোগ্য? এছাড়াও, এর অর্থ হ'ল উদাহরণস্বরূপ রিজ রিগ্রেশন আমি শূন্যের কাছাকাছি না হয়ে পূর্বের ঘনত্ব নিতে পারি, তবে অন্য কোনও মানের আশেপাশে নিতে পারি: , এবং এটি এখনও থাকবে একটি যুক্তিসঙ্গত নিয়ন্ত্রণ কৌশল? $\beta \sim \mathcal N(\beta_0, 1/\lambda^2)$

— অ্যামিবা বলেছেন মনিকা

জেমস-স্টেইন অনুমানকারী যে কারণে অগ্রহণযোগ্য, আপনি উত্তরটি এখানে পেতে পারেন । লেহম্যান অ্যান্ড কেসেলা (1998), পয়েন্ট অনুমানের তত্ত্বের একটি বিস্তারিত এবং আকর্ষণীয় আলোচনাও রয়েছে ।

— র্যান্ডেল

@ র্যান্ডেল: হ্যাঁ, আমি জানি যে এটি অগ্রহণযোগ্য এবং এই যুক্তিটি দেখেছি, আমি কেবল ভাবছিলাম যে এটি অ্যান্ড্রুয়ের বক্তব্যের সাথে কীভাবে খাপ খায় (যা আমি সঠিকভাবে বুঝতে পেরেছি) যে সমস্ত বেইস অনুমানকারী গ্রহণযোগ্য, যেহেতু জেমস-স্টেইনকে অনুশীলনের মাধ্যমে বোঝা যায়? বেয়েস ...

— অ্যামিবা বলেছেন মোনিকা

@ আমোবা: হ্যাঁ, কোনও সঠিক পূর্বের অধীনে যে কোনও বেইস প্রাক্কলনকারী পশ্চাদমুখে তা গ্রহণযোগ্য অনুমানের দিকে নিয়ে যায়। যথাযোগ্য বায়স যতদূর যায়, এ জাতীয় পদ্ধতিগুলি বাস্তবে বোনাফাইড নয়, কারণ ডেটাগুলির উপর পূর্ব নির্ভরতা রাখলে পথনির্দেশ হতে পারে। কখনও কখনও এগুলি গ্রহণযোগ্য বলে দেখানো যেতে পারে, কখনও কখনও তারা তা হয় না - সাধারণত আপনাকে কেস বাই কেস কাজ করতে হবে। আমি এই বিষয়টিতে আমার উত্তরটি আরও কিছুটা ক্যাজি হওয়ার জন্য সম্পাদনা করেছি, কারণ বাস্তবে আমি জানি না যে শাস্ত্রীয় রৈখিক মিশ্র মডেলগুলি গ্রহণযোগ্য কিনা!

— অ্যান্ড্রু এম

কেবল এটি নির্দিষ্ট করে বলা দরকার যে জেনুইন-স্টেইন অনুমানকারী হিসাবে খাঁটি যথাযথ বেইস অনুমানকরা খুব কমই কাজ করেন কারণ এগুলি মিনিম্যাক্স নয়। বিল স্ট্র্যাডারম্যান উদাহরণস্বরূপ দেখিয়েছিলেন (1975 সালে) যে সাধারণ স্বাভাবিক সমস্যা যা এটি সব সেট করে তার জন্য 5 এর চেয়ে কম মাত্রায় কোনও মিনিম্যাক্স উপযুক্ত বায়েস অনুমানকারী নেই।

— শি'য়ান

Answer 3

• জেমস-স্টেইন ধরে নিয়েছে যে প্রতিক্রিয়ার মাত্রা কমপক্ষে 3 the স্ট্যান্ডার্ড রিজ রিগ্রেশনে প্রতিক্রিয়াটি এক-মাত্রিক। আপনি প্রতিক্রিয়ার সংখ্যাটি বিভ্রান্ত করছেন।

• বলা হচ্ছে, আমি এই পরিস্থিতিতেগুলির মধ্যে সাদৃশ্য দেখতে পাচ্ছি, তবে ঠিক কী করতে হবে, উদাহরণস্বরূপ কোনও ফ্যাক্টর স্থির করা উচিত বা এলোমেলোভাবে করা উচিত, কত সঙ্কুচিত প্রয়োগ করতে হবে, আদৌ যদি তা নির্দিষ্ট ডেটাসেটের উপর নির্ভর করে। উদাহরণস্বরূপ, ভবিষ্যদ্বাণীকারীরা যত বেশি অরথোগোনাল, স্ট্যান্ডার্ড রিগ্রেশনের চেয়ে রিজ রিগ্রেশন বাছাই করা তত কম বোঝা যায় না। প্যারামিটারগুলির সংখ্যা বৃহত্তর, এম্পেরিকাল বেয়েসের মাধ্যমে ডেটাसेट থেকে নিজেই পূর্বগুলি বের করে নেওয়া এবং তারপরে প্যারামিটারের অনুমানগুলি সঙ্কুচিত করার জন্য এটি ব্যবহার করা তত বেশি বোধগম্য। সংকেত-থেকে-শব্দের অনুপাত যত বেশি হবে, সঙ্কুচিত হওয়ার সুবিধা আরও কম smaller

Comments

উত্তরের জন্য ধন্যবাদ. আপনার প্রথম বুলেট সম্পর্কিত: তবে কি রিজ রিগ্রেশনটি সঙ্কুচিত করা হচ্ছে তা হ'ল , যার পূর্বাভাসক হিসাবে অনেকগুলি মাত্রা রয়েছে, তাই না? $\beta$

— অ্যামিবা বলছেন মনিকাকে

ঠিক আছে, তাত্ত্বিক ক্ষেত্রে জেএসকে আরও ভালভাবে কাজ করা উচিত, ধরে নিয়েই যে এমএসই অনুমান করা হয় এবং বিটার ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিক্স নির্বিচারে হয় it সেক্ষেত্রে, জেএস কেবল বিটার বিন্দু অনুমান করবে না এবং এটি একটি স্কেলিং ফ্যাক্টর দ্বারা গুণ করবে multip রিজ রিগ্রেশন এর সাথে মিল, বিটার বিভিন্ন উপাদান আলাদাভাবে সঙ্কুচিত হবে।

— জেমস

Ov এর কোভারিয়েন্স ম্যাট্রিক্স সম্পর্কে খুব ভাল পয়েন্ট ! আমি এই উত্তরগুলি (কমপক্ষে স্বজ্ঞাত) আমার প্রথম বুলেট অনুমান করি। $\beta$

— অ্যামিবা বলছেন মনিকাকে

@ জেমস: লিনিয়ার মডেলগুলিকে একটি ডাইমেনশনাল সাবস্পেসে (যা নকশার ম্যাট্রিক্স দ্বারা বিস্তৃত কলামগুলি দেওয়া হয় ) স্যাম্পলটি (যা ) তে প্রজেক্ট করার কথা ভাবা যেতে পারে , বিশেষত, আমরা সর্বদা তুচ্ছভাবে এটি পরিচয়ের উপরে প্রজেক্ট করতে পারি, যা আপনার কেবলমাত্র একক পর্যবেক্ষণ থাকলে কোনও ভেক্টরের নমুনা গড় ব্যবহার করা সমান । $R^n$$p$$n$

— অ্যান্ড্রু এম

Answer 4

অন্যরা যেমন বলেছে, তিনটির মধ্যে সংযোগ হ'ল আপনি কীভাবে পূর্বের তথ্যকে পরিমাপের সাথে অন্তর্ভুক্ত করেন।

1. স্টেইন প্যারাডক্সের ক্ষেত্রে, আপনি জানেন যে ইনপুট ভেরিয়েবলগুলির মধ্যে প্রকৃত সম্পর্কটি শূন্য হওয়া উচিত (এবং সমস্ত সম্ভাব্য পারস্পরিক সম্পর্কের ব্যবস্থা, যেহেতু আপনি স্বাধীনতা বোঝাতে চান, কেবল নিবিড় সম্পর্কযুক্ত নয়), সুতরাং আপনি সাধারণের চেয়ে আরও ভাল একটি পরিবর্তনশীল তৈরি করতে পারেন নমুনা বলতে বোঝায় এবং বিভিন্ন পারস্পরিক সম্পর্ক ব্যবস্থা গ্রহণ করে। বায়েশিয়ান কাঠামোয়, আপনি এমন একটি পূর্বনির্মাণ তৈরি করতে পারেন যা আক্ষরিকভাবে নীচে নেমে যাওয়া ইভেন্টগুলিকে ওজন দেয় যা নমুনার অর্থের মধ্যে পারস্পরিক সম্পর্ক সৃষ্টি করে এবং অন্যদের ওজন দেয়।
2. রিজ রিগ্রেশন ক্ষেত্রে আপনি শর্তসাপেক্ষ প্রত্যাশা মান E (y | x) এর জন্য একটি ভাল অনুমান খুঁজে পেতে চান। নীতিগতভাবে এটি একটি অসীম-মাত্রিক সমস্যা এবং অশুভ সংজ্ঞায়িত যেহেতু আমাদের কেবল পরিসরের সংখ্যা সীমাবদ্ধ। তবে পূর্বের জ্ঞানটি হ'ল আমরা একটি ধারাবাহিক ফাংশন সন্ধান করছি যা ডেটাকে মডেল করে। এটি এখনও অপরিচ্ছন্ন সংজ্ঞায়িত, যেহেতু এখনও ধারাবাহিক ক্রিয়াকলাপগুলির মডেল করার অসীম উপায় রয়েছে তবে সেটটি কিছুটা ছোট। সম্ভাব্য ধারাবাহিক কার্যগুলি বাছাই করা, তাদের পরীক্ষা করা এবং স্বাধীনতার চূড়ান্ত ডিগ্রীতে থামানো রিজ রিগ্রেশন হ'ল একটি সহজ উপায়। একটি ব্যাখ্যা ভিসি-ডাইমেনশন ছবি: রিজ রিগ্রেশন চলাকালীন আপনি পরীক্ষা করে দেখুন যে প্রদত্ত একটি ডিগ্রি সহ স্বাধীনতা (এক্স, পি 1, পি 2 ...) মডেলটি তথ্যের অন্তর্নিহিত অনিশ্চয়তার বর্ণনা দেয়। ব্যবহারিকভাবে, এটি পরিমাপ করে যে কতটা ভাল করতে পারে f (x, p1, p2 ... ) এবং এম্পিরিকাল পি (পি 1, পি 2 ...) সম্পূর্ণ ই (y | x) বিতরণ পুনর্নির্মাণ করতে পারে কেবল E (y | x) নয়। এইভাবে অনেক ডিগ্রি স্বাধীনতার মডেলগুলি (যা সাধারণত ওভারফিট) ওজন করা হয়, যেহেতু আরও বেশি প্যারামিটারের অর্থ একটি নির্দিষ্ট ডিগ্রির স্বাধীনতার পরে প্যারামিটারগুলির ফলে বৃহত্তর পারস্পরিক সম্পর্ক থাকে এবং ফলস্বরূপ আরও বিস্তৃত পি (এফ (এক্স, পি 1, পি 2) থাকে। ..)) বিতরণ। অন্য একটি ব্যাখ্যাটি হ'ল আসল ক্ষতি ফাংশনটিও একটি পরিমাপের মান এবং এটি কোনও নির্দিষ্ট নমুনার মূল্যায়ন একটি অনিশ্চয়তার সাথে আসে, সুতরাং আসল কাজটি ক্ষতির ক্রিয়াকে হ্রাস করে না তবে একটি ন্যূনতম সন্ধান করতে যা তুলনায় উল্লেখযোগ্যভাবে কম অন্যরা (বাস্তবে স্বাধীনতার এক ডিগ্রি থেকে অন্যটিতে পরিবর্তিত হওয়াই বায়েশীয় সিদ্ধান্ত, সুতরাং লোকসানের কার্যক্রমে উল্লেখযোগ্য হ্রাস দিলেই কেউ পরামিতিগুলির সংখ্যা পরিবর্তন করে)। এই দুটি চিত্রের (সিভি-মাত্রা, প্রত্যাশিত ক্ষতি) একটি অনুমান হিসাবে রিজ রিগ্রেশনকে ব্যাখ্যা করা যেতে পারে। কিছু ক্ষেত্রে আপনি স্বাধীনতার উচ্চতর ডিগ্রি পছন্দ করতে চান, উদাহরণস্বরূপ কণা পদার্থবিজ্ঞানে আপনি কণা সংঘর্ষ অধ্যয়ন করেন যেখানে উত্পাদিত কণার সংখ্যা পোয়েসন বন্টন হওয়ার প্রত্যাশা করেন, সুতরাং আপনি কোনও চিত্র থেকে কণার ট্র্যাকটিকে পুনর্গঠন করেন (উদাহরণস্বরূপ একটি ফটো ) এমন উপায়ে যা কোনও প্রদত্ত সংখ্যক ট্র্যাককে পছন্দ করে এবং এমন মডেলগুলিকে দমন করে যা ইমেজের আরও ছোট বা উচ্চতর ট্র্যাক-সংখ্যা-ব্যাখ্যা করে।
3. তৃতীয় ক্ষেত্রে পরিমাপের পূর্বের তথ্য প্রয়োগের চেষ্টাও করা হয়েছে, যেমন পূর্ববর্তী পরিমাপ থেকে জানা যায় যে, শিক্ষার্থীদের উচ্চতা কাউচির দ্বারা নয়, গাউসীয় বিতরণ দ্বারা খুব ভালভাবে মডেল করা যায়।

সুতরাং সংক্ষেপে, উত্তরটি হ'ল আপনি যদি কিছু পূর্ববর্তী ডেটা (পূর্বের তথ্য) দিয়ে ডেটাটি আশা এবং শ্রেণীবদ্ধ করতে জানেন তবে আপনি কোনও পরিমাপের অনিশ্চয়তা সঙ্কুচিত করতে পারেন। এই পূর্ববর্তী ডেটাটি আপনার মডেলিংয়ের ফাংশনকে সীমাবদ্ধ করে যা আপনি পরিমাপের জন্য ফিট করে। সাধারণ ক্ষেত্রে আপনি বায়েসীয় কাঠামোয় আপনার মডেলটি লিখতে পারেন, তবে কখনও কখনও এটি ব্যবহারিক যেমন বায়েসিয়ান ম্যাক্সিমাল এ পোস্টারিয়র মান রয়েছে তার সন্ধানের জন্য সমস্ত সম্ভাব্য কন্টিনো ফাংশনগুলিকে সংহত করার মতো।

Answer 5

জেমস স্টেইন অনুমানক এবং রিজ রিগ্রেশন

বিবেচনা

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

সঙ্গে $\mathbf{\epsilon}\sim N(0,\sigma^2I)$

স্বল্প স্কোয়ার সমাধান ফর্মের solution

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$ যেখানে ।$\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$ জন্য নিরপেক্ষ হয় এবং covriance ম্যাট্রিক্স রয়েছে । সুতরাং আমরা লিখতে পারি$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$ নোট করুন যে সর্বাধিক সম্ভাবনার অনুমান, এমএলই।$\hat \beta$

জেমস স্টেইন

জামে স্টেইন আমরা অনুমান করবে সরলতার জন্য । এরপরে জেমস এবং স্টেইন ফর্মের একটি অগ্রাধিকার যোগ করবে$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

এবং ফর্ম একটি অবর পাবেন , তারা তারপরে সাথে অনুমান করবে এবং ফর্মের একটি জেমস স্টেইন অনুমানকারী পাবেন$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$ ।

রিজ রিগ্রেশন

রিজ রিগ্রেশন-এ ম্যাথবিএফ সাধারণত স্ট্যান্ডাডাইজড হয় (মানে 0, ম্যাথবিএফ এর প্রতিটি কলামের জন্য বৈদ্যুতিনতা 1 ) যাতে রিগ্রেশন প্যারামিটারগুলি তুলনাযোগ্য। এটি যখন জন্য ।$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

একটি রিজ রিগ্রেশন অনুমান হিসাবে, হিসাবে সংজ্ঞায়িত করা হয়$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$ নোট করুন যে হ'ল এমএলই।$\hat \beta$

কীভাবে প্রাপ্ত হয়েছিল ?? প্রত্যাহার$\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$ এবং যদি আমরা কোনও বায়েশিয়ান যোগ করি

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

তাহলে আমরা পাই

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

রিজ রিগ্রেশন অনুমান হিসাবে একই । তাই জেমস স্টেইন মূল ফর্ম এখানে দেওয়া লাগে এবং ।$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$