মডেল অপব্যবহারের অধীনে পরিসংখ্যানিক অনুমান

আমার একটি সাধারণ পদ্ধতিগত প্রশ্ন আছে। এটির আগে উত্তর দেওয়া হতে পারে তবে আমি প্রাসঙ্গিক থ্রেডটি সনাক্ত করতে সক্ষম নই। আমি সম্ভাব্য সদৃশগুলিতে পয়েন্টারকে প্রশংসা করব।

( এখানে একটি দুর্দান্ত উত্তর, কিন্তু কোনও উত্তর নেই This এটি আত্মার ক্ষেত্রেও একই রকম, এমনকি একটি উত্তর সহ) তবে পরবর্তীটি আমার দৃষ্টিকোণ থেকে খুব নির্দিষ্ট। এটি প্রশ্নটি পোস্ট করার পরেও সান্নিধ্যযুক্ত discovered

থিমটি হ'ল, কীভাবে বৈধ পরিসংখ্যানগত অনুক্রমটি করবেন যখন ডেটা দেখার আগে তৈরি মডেলটি তথ্য উত্পন্নকরণের প্রক্রিয়াটি পর্যাপ্তভাবে বর্ণনা করতে ব্যর্থ হয় । প্রশ্নটি খুব সাধারণ, তবে আমি বিষয়টি নির্দিষ্ট করার জন্য একটি বিশেষ উদাহরণ দেব। যাইহোক, আমি উত্তরগুলি নির্দিষ্ট উদাহরণের বিশদটির উপর নিটপিকিংয়ের পরিবর্তে সাধারণ পদ্ধতিগত প্রশ্নের দিকে মনোনিবেশ করার আশা করি।

একটি দৃ concrete় উদাহরণ বিবেচনা করুন: একটি সময়ের সিরিজ সেটিংয়ে, আমি ডেটা উত্পন্নকরণ প্রক্রিয়াটি ধরে নিয়েছি

\begin{matrix} (1) & Y_{টি} = β_{0} + + β_{1} {এক্স}_{টি} + + {তোমার দর্শন লগ করা}_{টি} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$ সঙ্গে

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$ । আমি বিষয়-বিষয় অনুমানটি পরীক্ষা করার লক্ষ্য নিয়েছি

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$ । আমি এটি মডেল হিসাবে বিবেচনা

(1)

$(1)$ আমার বিষয়-বিষয় অনুমানের একটি কার্যক্ষম পরিসংখ্যানের অংশ পেতে, এবং এটি হয়

{এইচ}_{0} : β_{1} = 1।

$H_0\colon \ \beta_1=1.$ এ পর্যন্ত সব ঠিকই. কিন্তু যখন আমি ডেটা পর্যবেক্ষণ করি, আমি আবিষ্কার করেছি যে মডেলটি পর্যাপ্ত পরিমাণে ডেটা বর্ণনা করে না। আসুন আমরা বলি, একটি লিনিয়ার প্রবণতা রয়েছে, যাতে সত্য ডেটা উত্পন্নকরণ প্রক্রিয়া হয়

\begin{matrix} (2) & Y_{টি} = γ_{0} + + γ_{1} {এক্স}_{টি} + + γ_{2} টি + + {বনাম}_{টি} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$ সঙ্গে

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ ।

আমি কীভাবে আমার বিষয়-বিষয় অনুমানের বৈধ পরিসংখ্যানগত অনুমান করতে পারি $\frac{dy}{dx}=1$ ?

যদি আমি আসল মডেলটি ব্যবহার করি তবে এর অনুমানগুলি লঙ্ঘিত হয়েছে এবং এর অনুমানকারী $\beta_1$ অন্যথায় এটির সুন্দর বিতরণ নেই। অতএব, আমি ব্যবহার করে অনুমানটি পরীক্ষা করতে পারি না $t$ -test।
যদি, ডেটা দেখে, আমি মডেল থেকে স্যুইচ $(1)$ প্রতি $(2)$ এবং থেকে আমার পরিসংখ্যান অনুমান পরিবর্তন $H_0\colon \ \beta_1=1$ প্রতি $H'_0\colon \ \gamma_1=1$ , মডেল অনুমানগুলি সন্তুষ্ট এবং আমি একটি ভাল-আচরণের অনুমানকারী পেয়েছি $\gamma_1$ এবং পরীক্ষা করতে পারেন $H'_0$ কোন অসুবিধা ব্যবহার করে $t$ -test।
যাইহোক, সুইচ থেকে $(1)$ প্রতি $(2)$ ডেটা সেট দ্বারা অবহিত করা হয় যার উপর আমি অনুমানটি পরীক্ষা করতে চাই। অন্তর্নিহিত মডেলটির পরিবর্তনের জন্য এটি প্রাক্কলনকারী বিতরণকে শর্তসাপেক্ষে তৈরি করে (এবং এইভাবে অনুমানও করে) যা পর্যবেক্ষণ করা তথ্যের কারণে। স্পষ্টতই, এই জাতীয় কন্ডিশনার প্রবর্তন সন্তোষজনক নয়।

কোন ভাল উপায় আছে? (যদি ঘনঘনবাদী না হয় তবে সম্ভবত কিছু বায়েশিয়ান বিকল্প আছে?)

modeling inference misspecification

— রিচার্ড হার্ডি
সূত্র

আপনার অস্বস্তি পিএইচডি প্রদানের ক্লাসিক পদ্ধতির স্থানীয়: সতর্কতার সাথে হাইপোথিসিস স্পেসিফিকেশন, এরপরে একটি অভিজ্ঞতা অভিজ্ঞতা এবং বর্ণনামূলক কার্যকারণ সূচনার সাথে সমাপ্তি। এই বিশ্বে সংক্ষিপ্ত উত্তরটি, "না," কোনও উপায় নেই। তবে বিশ্ব সেই কঠোর দৃষ্টান্ত থেকে দূরে বিকশিত হচ্ছে। উদাহরণস্বরূপ, একটি কাগজে বৈমান গত বছরের খেতাবধারী প্রেডিক্সন নীতি সমস্যা Kleinberg, এট কসম, সে লোক ডেটা মাইনিং এবং অর্থনৈতিক নীতি তৈরিতে দরকারী সরঞ্জাম হিসাবে ভবিষ্যদ্বাণী কেনার ক্ষেত্রে দেখা করতে, দৃষ্টান্ত যেখানে "কার্যকারণ অনুমান কেন্দ্রীয় নয়, অথবা এমনকি উদ্ধৃত প্রয়োজনীয়। " এটি এক নজর মূল্যবান।

— মাইক হান্টার

আমার দৃষ্টিতে, সরাসরি উত্তরটি থাকতে হবে কোনও উপায় নেই। অন্যথায়, আপনি সবচেয়ে খারাপ ধরণের ডেটা মাইনিংয়ের জন্য দোষী হবেন - ডেটা ফিট করার জন্য অনুমানগুলি পুনরায় করা - একটি কঠোর, দৃষ্টান্তমূলক বিশ্বে একটি মূলধন অপরাধ।

— মাইক হান্টার

যদি আমি সঠিকভাবে বুঝতে পারি তবে আপনি ডেটা সংগ্রহ করছেন, তারপরে একটি মডেল নির্বাচন করছেন এবং অনুমানগুলি পরীক্ষা করছেন। আমি ভুল হতে পারি, তবে এটি আমার কাছে মনে হয় যে টেলর এবং তিবশিরানী (অন্যদের মধ্যে) অনুসন্ধান করেছেন বাছাই করা অনুমানের দৃষ্টান্তটি আপনার সমস্যার সাথে সম্পর্কিত হতে পারে। অন্যথায়, এই প্রশ্নের মন্তব্য, উত্তর এবং লিঙ্কিত উত্তরগুলি আগ্রহী হতে পারে।

— ডেল্টাআইভি

@ ডেলটিআইভি, অর্থাত্ যখন অনুমান করা যায়, আমি পি-ধারাবাহিকতার অধীনে ন্যূনতম মিথ্যা পরামিতিগুলিতে আগ্রহী নই, বরং সত্যিকারের অংশে সত্যই আগ্রহী (এর আসল আংশিক উদ্দীপনা

y

$y$ wrt

x

$x$ )।

— রিচার্ড হার্ডি

@ রিচার্ড হার্ডি, অবশ্যই, একজন পরিসংখ্যান গ্রেডের ছাত্র হওয়া সত্ত্বেও আমি আসলেই আর অনুমানের বিষয়ে বিশ্বাস করি না। এটি কার্ডের একটি ঘর এতই নাজুক যে এটি খুব স্পষ্ট এবং নিয়ন্ত্রিত পরিস্থিতিতে বাদে এটি অর্থবহ কিনা তা অস্পষ্ট। মজার বিষয় হ'ল এ বিষয়টি সবাই জানে তবে কেউ (ভাল) যত্ন করে না।

— হিজসেব

উত্তর:

আউটপথটির আক্ষরিক অর্থে নমুনা পরীক্ষার বাইরে, সত্য a আপনি যেখানে নমুনাটিকে প্রশিক্ষণে ভাগ করেছেন এবং ক্রসওডিয়ালিয়েশনের মতো রাখেন তা নয়, তবে আসল পূর্বাভাস। এটি প্রাকৃতিক বিজ্ঞানে খুব ভাল কাজ করে। আসলে এটি একমাত্র উপায় এটি কাজ করে। আপনি কিছু ডেটা নিয়ে একটি তত্ত্ব তৈরি করেন, তারপরে আপনি এমন কিছু পূর্বাভাস নিয়ে এসেছেন যা এখনও পর্যবেক্ষণ করা হয়নি। স্পষ্টতই, এটি অর্থনীতির মতো বেশিরভাগ সামাজিক (তথাকথিত) বিজ্ঞানে কাজ করে না।

শিল্পে এটি বিজ্ঞানের মতো কাজ করে। উদাহরণস্বরূপ, যদি ট্রেডিং অ্যালগরিদম কাজ না করে, আপনি শেষ পর্যন্ত অর্থ হারাতে চলেছেন এবং তারপরে আপনি এটি ত্যাগ করেন। ক্রস বৈধকরণ এবং প্রশিক্ষণের ডেটা সেটগুলি বিকাশে এবং অ্যালগরিদম মোতায়েন করার সিদ্ধান্ত নেওয়ার ক্ষেত্রে ব্যাপকভাবে ব্যবহৃত হয়, তবে এটি উত্পাদনের পরে এটি অর্থোপার্জন বা ক্ষতি হ্রাস সম্পর্কে। নমুনা পরীক্ষার বাইরে খুব সাধারণ।

— Aksakal
সূত্র

এই সাহায্য অনুমান করে

\frac{\partial y}{\partial x}

$\frac{\partial y}{\partial x}$ ?

— রিচার্ড হার্ডি

@ রিচার্ড হার্দি, হ্যাঁ, আপনি নতুন ডেটাতে একই অনুমানটি পরীক্ষা করেন। যদি এটি ধরে থাকে তবে আপনি ভাল আছেন। যদি আপনার মডেলটি ভুল বানানো হয় তবে শেষ পর্যন্ত এটি ব্যর্থ হওয়া উচিত, আমি অন্যান্য ডায়াগনস্টিক্সও বোঝাতে চাইছি। আপনার দেখতে হবে যে মডেলটি নতুন ডেটা নিয়ে কাজ করছে না।

— আকসকল

ঠিক আছে, তাহলে এটি মডেল বিল্ডিংয়ের জন্য সাবমায়ালে এবং নমুনা পরীক্ষার জন্য অন্যটিতে নমুনাটিকে বিভক্ত করার ভাল পুরানো প্রেসক্রিপশন বলে মনে হচ্ছে। আমার এই বিবেচনাটি ইতিমধ্যে ওপিতে অন্তর্ভুক্ত করা উচিত ছিল। যাই হোক না কেন, এটি একটি দৃ strategy় কৌশল বলে মনে হচ্ছে। উদাহরণস্বরূপ, ম্যাক্রোঅকোনমিক্সের সমস্যাটি হ'ল একই মডেলটি অদৃশ্য ডেটা প্রায় ভালভাবে মাপসই করতে পারে না (যেমন ডেটা তৈরির প্রক্রিয়া সময়ের সাথে সাথে পরিবর্তিত হচ্ছে), সুতরাং আমরা ঠিক একই সমস্যাটি শুরু করব। তবে এটি একটি উদাহরণ যেখানে মূলত কোনও পদ্ধতি ব্যর্থ হয়, তাই এটি একটি সমালোচিত সমালোচনা নয়।

— রিচার্ড হার্ডি

এদিকে, ক্রস-বিভাগীয় ডেটা সেটিংয়ের মাইক্রোকোনমিক্সে এটি কাজ করতে পারে। আপাতত +1 অন্যদিকে, একবার কোনও মডেল সমস্ত উপলব্ধ ডেটার সাথে ফিট হয়ে গেলে এই সমাধানটি কার্যকর হবে না। আমি অনুমান করি যে আমি প্রশ্নটি লেখার সময় এটিই ভাবছিলাম এবং আমি শিরোনাম প্রশ্নটির উত্তরগুলির সন্ধান করছি: ভুল বর্ণিত মডেল থেকে অনুমিত।

— রিচার্ড হার্ডি

আমি আপনার মতামত সহানুভূতি। তবে যেহেতু "পুরানো" এবং "নতুন" তে নমুনা বিভক্ত করা নতুন তথ্য সংগ্রহের সমতুল্য, তাই আপনি দুজনের মধ্যে কোথায় বড় পার্থক্য দেখবেন তা বুঝতে পারছি না।

— রিচার্ড হার্ডি

আপনি একটি "সম্মিলিত পদ্ধতি" সংজ্ঞায়িত করতে এবং এর বৈশিষ্ট্যগুলি অনুসন্ধান করতে পারেন। ধরা যাক আপনি একটি সাধারণ মডেল থেকে শুরু করেন এবং সাধারণ মডেলটি ফিট না হলে এমন এক, দুই বা তিনটি আরও জটিল (বা ননপ্রেমেট্রিক) মডেলগুলিকে ফিট করার অনুমতি দিন। আপনাকে একটি আনুষ্ঠানিক বিধি নির্দিষ্ট করতে হবে যার অনুসারে আপনি সাধারণ মডেলটি ফিট না করার সিদ্ধান্ত নেন তবে অন্যগুলির মধ্যে একটির (এবং কোনটি)। সমস্ত জড়িত মডেলের (প্যারামেট্রিক বা ননপ্যারামেট্রিক) অধীনে আপনার আগ্রহের অনুমানের জন্যও আপনার পরীক্ষা করতে হবে।

এই ধরণের সেটআপের সাহায্যে আপনি বৈশিষ্ট্যগুলি অনুকরণ করতে পারেন, অর্থাত্ যদি নাল অনুমানটি সত্য হয় এবং শেষ পর্যন্ত আগ্রহের ক্ষেত্রে কিছুটা বিচ্যুতির ক্ষেত্রে অবশেষে কত শতাংশ হারে প্রত্যাখ্যান করা হয়। এছাড়াও আপনি সমস্ত জড়িত মডেলগুলি থেকে অনুকরণ করতে পারেন, এবং শর্তসাপেক্ষ স্তর এবং শর্তসাপেক্ষ শক্তির মতো জিনিসগুলিতে মডেল এক্স, ওয়াই, বা জেড থেকে ডেটা এসেছে বা প্রদত্ত মডেলটির ভুল বর্ণনামূলক পরীক্ষার পদ্ধতিটি নির্বাচিত মডেল এক্স, ওয়াই, বা জেডকে দেখে নিতে পারেন can

আপনি দেখতে পাবেন যে মডেল নির্বাচন এই অর্থে খুব বেশি ক্ষতি করে না যে অর্জিত স্তরটি আপনি যে স্তরের পরে এসেছিলেন তার খুব কাছে, এবং দুর্দান্ত না থাকলে শক্তি ঠিক। বা আপনি খুঁজে পেতে পারেন যে ডেটা-নির্ভর মডেল নির্বাচন সত্যিই জিনিসগুলিকে স্ক্রু করে দেয়; এটি বিশদগুলির উপর নির্ভর করবে (যদি আপনার মডেল নির্বাচনের পদ্ধতিটি খুব নির্ভরযোগ্য হয়, সম্ভাবনাগুলি স্তর হয় এবং শক্তি খুব জোরালোভাবে প্রভাবিত হবে না)।

এখন এটি একটি মডেল নির্দিষ্ট করে এবং তারপরে ডেটা দেখে এবং "ওহ, আমার আর একটি প্রয়োজন" সিদ্ধান্ত নেওয়ার মতো নয়, তবে সম্ভবত আপনি এ জাতীয় পদ্ধতির বৈশিষ্ট্যগুলি কী হতে পারে তা তদন্ত করতে পারেন। এটি তুচ্ছ নয় কারণ এটি চালিয়ে যাওয়ার জন্য আপনাকে বেশ কয়েকটি পছন্দ করতে হবে।

সাধারণ মন্তব্য: আমি মনে করি প্রয়োগ করা পরিসংখ্যান পদ্ধতিটি দ্বৈতভাবে "বৈধ" এবং "অবৈধ" রূপে শ্রেণিবদ্ধ করা বিভ্রান্তিকর। কিছুই কখনও 100% বৈধ নয় কারণ মডেল অনুমানগুলি কখনই অনুশীলনে যথাযথভাবে ধরে না। অন্যদিকে, যদিও আপনি কোনও কিছুকে "অবৈধ" বলার জন্য বৈধ (!) কারণগুলি খুঁজে পেতে পারেন, যদি কেউ অনুমানযোগ্য অবৈধ পদ্ধতির বৈশিষ্ট্য গভীরতার সাথে অনুসন্ধান করে, কেউ জানতে পারে যে এটি এখনও বেশ ভালভাবে কাজ করে।

— Lewian
সূত্র

আমি ভাবছি যদি সমস্যাগুলির সহজতম বিষয়টিকে বাদ দিয়ে বাস্তবে এটি বাস্তবসম্মত হয়। সিমুলেশনগুলির গণনামূলক ব্যয় বেশিরভাগ ক্ষেত্রে দ্রুত আমাদের ক্ষমতা ছাড়িয়ে যায়, আপনি কি মনে করেন না? বৈধতা সম্পর্কে আপনার মন্তব্য অবশ্যই যৌক্তিক। যাইহোক, এই সহজ এখনও কার্যকর না (আমাদের যুক্তি সাহায্যে) ধারণাটি আমরা এটির চেয়ে আরও বেশি হারিয়ে যাব - এটাই আমার দৃষ্টিভঙ্গি।

— রিচার্ড হার্ডি

আমি বলছি না যে প্রতিবার যখন বাস্তবে এইরকম পরিস্থিতি দেখা যায় তখনই এটি করা উচিত। এটি বরং একটি গবেষণা প্রকল্প; তবে একটি হ'ল বার্তাটি হ'ল আমার মতে, প্রদত্ত কারণে, ডেটা নির্ভর মডেল নির্বাচনটি সঠিকভাবে অনুমানটিকে অকার্যকর করে না যা অন্যথায় বৈধ হত। এ জাতীয় সম্মিলিত পদ্ধতিগুলি অনেক পরিস্থিতিতে বরং ভালভাবে কাজ করতে পারে, যদিও এটি বর্তমানে সঠিকভাবে তদন্ত করা হয়নি।

— লুইয়ান

আমি অনুমান করি এটি যদি সম্ভব হয় তবে এটি ইতিমধ্যে ব্যবহৃত হবে। প্রচুর পরিমাণে মডেলিং পছন্দগুলি যা ডেটা নির্ভরশীল (আমার প্রথম মন্তব্যে ফিরে আসার কারণে) প্রধান সমস্যাটি হতে পারে না। নাকি সেখানে সমস্যা দেখছেন না?

— রিচার্ড হার্ডি

প্রথমে ভুল বানান পরীক্ষা / মডেল নির্বাচন এবং তার ফলাফলের পরে প্যারামেট্রিক ইনফারেন্স শর্তসাপেক্ষ অন্বেষণ করে সাহিত্যে বিজোড় সিমুলেশন রয়েছে। যতদূর আমি জানি ফলাফলগুলি মিশ্রিত হয়। একটি "শাস্ত্রীয়" উদাহরণটি এখানে: tandfonline.com/doi/abs/10.1080/…

— লুইয়ান

তবে আপনি ঠিক বলেছেন; সমস্ত ধরণের সম্ভাব্য মডেলিং বিকল্পগুলির সাথে পুরো প্রক্রিয়াটির মডেলিংয়ের জন্য প্রচুর পছন্দ প্রয়োজন। আমি এখনও মনে করি এটি একটি সার্থক প্রকল্প হতে চাই, যদিও এমন কিছু নয় যা যখনই মডেলগুলিকে একই উপায়ে লাগানো হয় সেই একই ডেটা থেকে নির্বাচন করা হয় one এরিস স্প্যানোস যেভাবে এই ধারণাটির বিরুদ্ধে তর্ক করে যে ডেটাতে ভুল বানান পরীক্ষা বা মডেল চেক অনুমানকে অবৈধ করে তোলে। onlinelibrary.wiley.com/doi/abs/10.1111/Joes.12200

— লুইয়ান