নির্ভরশীল ভেরিয়েবলের যখন "কাট-অফ" থাকে তখন মডেলিং

যদি আমি ব্যবহার করি কোনও পরিভাষা ভুল হয় তবে আগাম ক্ষমা চাই। আমি কোন সংশোধন স্বাগত জানাই। আমি "কাট-অফ" হিসাবে যা বর্ণনা করি তা যদি অন্য নামে যায় তবে আমাকে জানান এবং আমি প্রশ্নটি আপডেট করতে পারি।

আমি যে পরিস্থিতিটি সম্পর্কে আগ্রহী তা হ'ল: আপনার কাছে স্বাধীন ভেরিয়েবলগুলি রয়েছে a এবং একটি একক নির্ভরশীল ভেরিয়েবল । আমি এটিকে অস্পষ্ট রেখে যাব, তবে ধরে নিন যে এই ভেরিয়েবলগুলির জন্য এটি একটি ভাল রিগ্রেশন মডেল পাওয়ার তুলনামূলক সরল হবে। $\bf{x}$ $y$

তবে, আপনি যে মডেলটি তৈরি করতে চাইছেন তা হ'ল স্বাধীন ভেরিয়েবল এবং নির্ভরশীল ভেরিয়েবল , যেখানে এর পরিসরের মধ্যে কিছু নির্দিষ্ট মান । সমানভাবে, আপনার যে ডেটাতে অ্যাক্সেস রয়েছে তা , কেবলমাত্র অন্তর্ভুক্ত করে না । $\bf{x}$ $w = \min(y,a)$ $a$ $y$ $y$ $w$

এর একটি (কিছুটা অবাস্তব) উদাহরণ হ'ল আপনি যদি মডেল করার চেষ্টা করছিলেন লোকেরা কত বছর ধরে তাদের পেনশন সংগ্রহ করবে। এই ক্ষেত্রে, $\bf{x}$ প্রাসঙ্গিক তথ্য যেমন লিঙ্গ, ওজন, প্রতি সপ্তাহে অনুশীলনের ঘন্টা ইত্যাদি হতে পারে '' অন্তর্নিহিত 'পরিবর্তনশীল $y$ হবে আয়ু। তবে আপনার যে পরিবর্তনশীলটি অ্যাক্সেস করতে হবে এবং আপনার মডেলটিতে পূর্বাভাস দেওয়ার চেষ্টা করতে হবে সেটি হবে $w = \min(0, y-r)$ যেখানে অবসর বয়স (সরলতার জন্য এটি স্থির করে নেওয়া) is

রিগ্রেশন মডেলিংয়ে এটি মোকাবেলার জন্য কি কোনও ভাল পন্থা রয়েছে?

— বেন অ্যারনসন
সূত্র

আমি নিশ্চিত নই, তবে বেঁচে থাকার বিশ্লেষণের কিছু পরিবর্তনের মাধ্যমে এটির কাছে এটি পৌঁছনীয় বলে মনে হচ্ছে। 1) এটি সেন্সরিং জড়িত 2) আপনার উদাহরণে অন্তত সময় জড়িত। তবে এটি ডান-সেন্সর না করে বাম-সেন্সর করা হবে (যা বেশি সাধারণ)। আপনি যদি আমার সাথে একমত হন তবে আপনি বেঁচে থাকার ট্যাগ যুক্ত করতে পারেন এবং এটিতে কেউ লাফিয়ে যায় কিনা তা দেখতে পেতেন।

— পিটার ফ্লুম - মনিকা পুনরায়

@ পিটার এটি নিশ্চিতভাবে আমার কাছে ডান-সেন্সরযুক্ত দেখাচ্ছে। সেন্সরিংটি কোন দিকে ঘটে তা হ'ল আমদানি করা because

— হোয়াইট

@ যাকে আমি মনে করি আপনি ঠিক বলেছেন are তবে, যেমন আপনি বলেছেন, সেন্সরিং সহজেই যথেষ্ট পরিমাণে স্যুইচ করতে পারে।

— পিটার ফ্লুম - মনিকা পুনরায়

অবসরকালীন উদাহরণটি একটি গণনা ডেটা মডেল (যদি আপনি পুরো বছরগুলিতে ঘুরতে ইচ্ছুক থাকেন এবং যতক্ষণ আপনি বিশ্লেষণ চালানোর সময় পর্যন্ত সবাই মারা যান) হিসাবে কল করার কথা বলে মনে হয়। সুপ্ত পরিবর্তনশীল পদ্ধতির সাথে এটি প্রসারিত হওয়ার মতো মনে হচ্ছে যেহেতু সময় নেতিবাচক হতে পারে না।

— দিমিত্রি ভি। মাস্টারভ

শৃঙ্খলা এবং বিষয় ক্ষেত্রের উপর নির্ভর করে এই ধরণের মডেলটি বেশ কয়েকটি নাম দিয়ে যায়। এর সাধারণ নামগুলি হ'ল সেন্সরড ডিপেন্ডেন্ট ভেরিয়েবলস, ট্রান্সকেটেড ডিপেন্ডেন্ট ভেরিয়েবলস, সীমাবদ্ধ নির্ভরশীল ভেরিয়েবলস, বেঁচে থাকা বিশ্লেষণ, টোবিট এবং সেন্সরড রিগ্রেশন। আমি সম্ভবত আরও বেশ কয়েকটি নাম রেখে যাচ্ছি।

আপনি যে পরামর্শ দিচ্ছেন যেখানে observed পরিলক্ষিত হয় তাকে "ডান সেন্সরিং" বলা হয়, কারণ সত্যিকারের লাইনের ডানদিক থেকে মানগুলি সেন্সর করা হয় --- এবং পরিবর্তে আমরা সেন্সরিং পয়েন্টটি দেখতে পাই, । $\min\{y_i,a\}$ $y_i$ $a$

এর সাথে ডেটা নিয়ে কাজ করার একটি উপায় হল সুপ্ত ভেরিয়েবল ব্যবহার (এবং এটিই মূলত আপনি প্রস্তাব করেন)। এখানে এগিয়ে যাওয়ার এক উপায়:

\begin{aligned} y_{i} & = x_{i}^{'} β + ε_{i} \\ w_{i} & = min {y_{i}, a} \\ ε_{i} & \sim N (0, σ^{2}) i i d \end{aligned}

$\begin{align} y_i &= x_i'\beta+\varepsilon_i\\ w_i &= \min\{y_i, a\}\\ \varepsilon_i &\sim N(0,\sigma^2)\; \ {\rm iid} \end{align}$

তারপরে, আপনি এটি সর্বাধিক সম্ভাবনার দ্বারা বিশ্লেষণ করতে পারেন। সেন্সরিংয়ের যে পর্যবেক্ষণগুলি ঘটে সেখানে সম্ভাব্যতা ফাংশনে এবং যেখানে সেন্সরিং ঘটে না সেই পর্যবেক্ষণগুলি অবদান রাখে । মান স্বাভাবিক সিডিএফ হয় এবং আদর্শ স্বাভাবিক ঘনত্ব হয় । সুতরাং, সম্ভাবনা ফাংশনটি দেখে মনে হচ্ছে: $P\{y_i>a\}=\Phi(\frac{1}{\sigma}x_i'\beta-a)$ $\frac{1}{\sigma}\phi((y_i-x_i'\beta)/\sigma)$ $\Phi$ $\phi$

\begin{aligned} L (β, σ) & = \prod_{i \in censored} Φ (\frac{1}{σ} x_{i}^{'} β - a) \prod_{i \notin censored} \frac{1}{σ} ϕ ((y_{i} - x_{i}^{'} β) / σ) \end{aligned}

$\begin{align} L(\beta,\sigma) &= \prod_{i\ \in\ \text{censored}} \Phi\left(\frac{1}{\sigma}x_i'\beta-a\right) \prod_{i\ \not\in\ \text{censored}} \frac{1}{\sigma}\phi\big((y_i-x_i'\beta)/\sigma\big) \end{align}$

আপনি এটি সর্বাধিক করে এবং। অনুমান করেন । আপনি সাধারণ সর্বোচ্চ সম্ভাবনার মান ত্রুটি হিসাবে স্ট্যান্ডার্ড ত্রুটিগুলি পান। $\beta$ $\sigma$

আপনি যেমন কল্পনা করতে পারেন, এটি অনেকের মধ্যে কেবল একটি পদ্ধতির।

— বিল
সূত্র

+1 এমএল সলিউশনের একটি কাজের উদাহরণ stats.stackexchange.com/questions/49443 এ উপস্থিত হয় ।

— whuber

@ শুভ এটি একটি সুন্দর প্রদর্শনী।

— বিল