প্যানেল / অনুদায়ী ডেটাগুলির জন্য পূর্বাভাস মূল্যায়ন মেট্রিক

আমি বেশ কয়েকটি বিভিন্ন মডেলের মূল্যায়ন করতে চাই যা একটি মাসিক স্তরে আচরণের পূর্বাভাস সরবরাহ করে। ডেটা ভারসাম্যযুক্ত, এবং 100,000 এবং 12. ফলাফলটি নির্ধারিত মাসে একটি কনসার্টে অংশ নিচ্ছে, সুতরাং এটি কোনও মাসে ~ 80% লোকের জন্য শূন্য, তবে ভারী ব্যবহারকারীদের একটি দীর্ঘ ডান লেজ রয়েছে। ভবিষ্যদ্বাণীগুলি আমার কাছে ফলাফলের গণনা প্রকৃতির সম্মান বলে মনে হয় না: ভগ্নাংশের সংগীতানুষ্ঠান প্রচলিত। $n=$ $T=$

আমি মডেল সম্পর্কে কিছুই জানি না। আমি প্রতি মাসে প্রতিটি ব্যক্তির জন্য 6 টি পৃথক ব্ল্যাক-বাক্স পূর্বাভাস $\hat y_1,...,\hat y_6$ পালন করি। মডেল নির্মাতাদের কাছে অনুমানের জন্য নেই এমন অতিরিক্ত ডেটা আমার কাছে রয়েছে (যদিও কনসার্ট-গায়াররা একই থাকে), এবং আমি এখানে गेজ করতে চাই যেখানে প্রতিটি ভাল (যথাযথতা এবং নির্ভুলতার ক্ষেত্রে) পারফর্ম করে। উদাহরণস্বরূপ, কিছু মডেল ঘন ঘন কনসার্ট-ভ্রমণকারীদের জন্য কী ভাল পূর্বাভাস দেয় তবে পালঙ্ক আলুর পক্ষে ব্যর্থ হয়? জানুয়ারির জন্য ভবিষ্যদ্বাণীটি ডিসেম্বরের পূর্বাভাসের চেয়ে ভাল? বিকল্পভাবে, এটি জেনে রাখা ভাল লাগবে যে ভবিষ্যদ্বাণীগুলি আমাকে বাস্তবের দিক থেকে লোকদের সঠিকভাবে স্থান দিতে দেয়, এমনকি যদি সঠিক মাত্রার উপর নির্ভর করা যায় না তবে।

আমার প্রথম চিন্তাটি ছিল ভবিষ্যদ্বাণী করা এবং সময় ডামিগুলির উপর বাস্তবের একটি স্থির প্রতিক্রিয়াগুলি পরিচালনা করুন এবং প্রতিটি মডেলের জন্য আরএমএসই বা $R^2$ । তবে প্রতিটি মডেল কোথায় ভাল করবে বা পার্থক্যগুলি উল্লেখযোগ্য (যদি আমি আরএমএসই বুটস্ট্র্যাপ না করি) সম্পর্কে প্রশ্নের উত্তর দেয় না। ফলাফলের বিতরণও এই পদ্ধতির সাথে আমাকে চিন্তিত করে।

আমার দ্বিতীয় ধারণাটি ছিল ফলাফলটি 0, 1-3 এবং 3+ এ বিভক্ত করা এবং বিভ্রান্তির ম্যাট্রিক্স গণনা করা, তবে এটি সময়ের মাত্রা উপেক্ষা করে আমি যদি এর মধ্যে 12 না করি। এটিও বেশ মোটা।

আমি concordটিজে স্টিচেন এবং এনজে কক্স- এর স্টাটা কমান্ড সম্পর্কে অবগত রয়েছি - যার by()বিকল্প রয়েছে, তবে এর জন্য বার্ষিক মোটের জন্য ডেটা ভেঙে পড়তে হবে। এটি অন্যান্য দরকারী পরিসংখ্যানগুলির মধ্যে আত্মবিশ্বাসের ব্যবধানগুলির সাথে লিনের কনকর্ড্যান্স সহ সম্পর্কের সূচক গণনা করে । সিসিসি -1 থেকে 1 এর মধ্যে রয়েছে, নিখুঁত চুক্তিতে 1 এ।

এছাড়া Harrell এর এর (মাধ্যমে গণনা করা হয়, যা হয়েছে আর Newson দ্বারা) বিকল্প, কিন্তু আমি নিশ্চিত যে আমার প্যানেল ডেটার সাথে মোকাবেলা করতে সম্ভব হবে নই। এটি আপনাকে আত্মবিশ্বাসের অন্তর দেয়। অবিচ্ছিন্ন ফলাফলের জন্য হ্যারেলের সি হ'ল একটি আরওসি বক্ররেখা (এউসি) এর আওতাধীন অঞ্চলটির সাধারণীকরণ। এটি এমন সমস্ত জোড়ার অনুপাত যা অর্ডার করা যেতে পারে যে উচ্চতর ভবিষ্যদ্বাণীযুক্ত বিষয়টিতে আসলে উচ্চতর ফলাফল রয়েছে। সুতরাং একেবারে বৈষম্যমূলক মডেলের জন্য র্যান্ডম পূর্বাভাসের জন্যদেখুন Harrell এর বই , p.493 $c$ somersdcluster $c=0.5$ $c=1$

আপনি কীভাবে এই সমস্যা মোকাবেলা করবেন? আপনি কি এমএপিই এর মতো পরিসংখ্যান গণনা করার পরামর্শ দিবেন যা পূর্বাভাসের ক্ষেত্রে সাধারণ?

দরকারী জিনিস এখন পর্যন্ত পাওয়া গেছে:

লিন্স কনকর্ড্যান্স কারেলিলেশন কোপিটির পুনরাবৃত্তি পরিমাপ সংস্করণে স্লাইড

— দিমিত্রি ভি। মাস্টারভ
সূত্র

আচরণ সম্পর্কে আমাদের আরও জানতে হবে, এটি কি অর্ডিনাল / বাইনারি / ক্রমাগত মূল্যবান? যেহেতু এই পরীক্ষাটি অনুদৈর্ঘ্য, আপনার আগ্রহ কি কোনও ব্যক্তির ফলাফলের পূর্বাভাস বা ভবিষ্যদ্বাণী করতে অন্তর্ভুক্ত? মিশ্র প্রভাবগুলির মডেলগুলি অনুমানের জন্য নয়, অনুমানের জন্য ব্যবহৃত হয়। তারা কাজ করে না কারণ ভবিষ্যদ্বাণী করার জন্য , আপনাকে এলোমেলো প্রভাবের একটি অনুমানের প্রয়োজন।

— অ্যাডমো

আসল আচরণ হয় গণনা বা অবিচ্ছিন্ন। ভবিষ্যদ্বাণী সব অবিচ্ছিন্ন। আমি দেখতে চাই পৃথক স্তরের মাসিক পূর্বাভাস কতটা ভাল।

— দিমিত্রি ভি। মাস্টারভ

"প্রাথমিক স্তরের মাসিক পূর্বাভাস" আপনি পূর্বের ডেটা বা ব্যক্তিকে প্রাথমিক মূল্যায়নে ব্যক্ত করেছেন? আইই আপনি কি বা বা বা ... অনুগ্রহ করে অনুগ্রহ করে স্পষ্ট করে বলুন যে অনুদৈর্ঘ্যের কাছ থেকে ভবিষ্যদ্বাণী করা কোনও হাত-

\hat{Y_{i = 12}} = f (X_{i = 12, 11, \dots, 1}, Y_{i = 11, 10, \dots, 1}

$\widehat{Y_{i=12}} = f(X_{i=12, 11, \cdots, 1}, Y_{i=11, 10, \cdots, 1}$

\hat{Y_{i = I}} = f (X_{i = I, I - 1, \dots, 1}, Y_{i = I - 1, I - 2, \dots, 1}

$\widehat{Y_{i=I}} = f(X_{i=I, I-1, \cdots, 1}, Y_{i=I-1, I-2, \cdots, 1}$

\hat{Y_{i}} = f (X_{i})

$\widehat{Y_{i}} = f(X_{i})$

— avyেউয়ের

এটি এমন লোকদের একটি নমুনা যারা অনুমানের জন্য ব্যবহৃত হয়েছিল, তবে অনুমানটি উইন্ডোটির পরে বছরের জন্য। প্রথম মাসের ভবিষ্যদ্বাণীটি হ'ল পিছিয়ে যাওয়া, পর্যবেক্ষণ আচরণ এবং ব্যক্তির জন্য পর্যবেক্ষণকারী একটি কাজ :আমি আশা করি প্রথম মাসটি খুব কাছাকাছি হবে। দ্বিতীয় মাসের জন্য (এবং তারপরে), এটি গত মাসের পূর্বাভাস এবং সেই মাসের পর্যবেক্ষণের একটি ফাংশন: । আমি আশা করি এই ভবিষ্যদ্বাণীটি আরও বেশি করে বাস্তবের কাছ থেকে বিচ্যুত হবে। আমি তুলনা করতে চান এবং ।

i

$i$

{\hat{Y}}_{i, 1} = f (Y_{i, t - 1}, X_{i, t}) .

$\hat Y_{i,1}=f(Y_{i,t-1},X_{i,t}).$

{\hat{Y}}_{i, 2} = f ({\hat{Y}}_{i, 1}, X_{i, 2})

$\hat Y_{i,2}=f(\hat Y_{i,1},X_{i,2})$

Y_{i, t}

$Y_{i,t}$

{\hat{Y}}_{i, t}

$\hat Y_{i,t}$

— দিমিত্রি ভি। মাস্টারভ

অনুমানটি প্যারামিটার অনুমানকে বোঝায় যা ভবিষ্যদ্বাণীমূলক মডেলের জন্য "প্রশিক্ষণের" অংশ হতে পারে, তবে আমি মনে করি আপনি বলতে চাইছেন যে আপনার নমুনা একটি ভবিষ্যদ্বাণীপূর্ণ মডেল প্রশিক্ষণের জন্য ব্যবহৃত হয়। আপনি এখানে যা বলছেন তা শর্তসাপেক্ষে আধা-চিহ্নভিত্তিক প্রক্রিয়া এবং পূর্বাভাসে অনন্য অ্যাপ্লিকেশন রয়েছে।

— অ্যাডমো

একটি অর্ধ-মার্কভ পূর্বাভাসের ভবিষ্যদ্বাণীমূলক দক্ষতার মূল্যায়ন করতে, নমুনার আকার এবং অন্যান্য উপলব্ধ তথ্যের উপর নির্ভর করে প্রচুর পদ্ধতি উপলব্ধ।

ভবিষ্যদ্বাণীপূর্ণ / পূর্বাভাসের মডেলটি মূল্যায়নের জন্য আপনার কাছে ক্রস বৈধকরণের বিকল্প রয়েছে (বিশেষত ছেড়ে যাওয়া-ওয়ান-আউট বা পুনরাবৃত্তি বিভক্ত নমুনা ক্রস বৈধকরণ), যেখানে একটি "প্রশিক্ষণ" নমুনায় একটি মডেল এবং "বৈধতা" মূল্যায়ন করা মডেলের অনিশ্চয়তার মূল্যায়ন করা হয় নমুনা। ফলাফল বিতরণের উপর নির্ভর করে, প্রচুর পরিমাণে ব্যবস্থা নেওয়া যায় যার দ্বারা আপনি যোগ্য মডেলগুলির প্যানেলের মধ্যে একটি মডেল নির্বাচন করতে পারেন। মডেল নির্বাচনের জন্য সাধারণ অ-প্যারাম্যাট্রিক পদক্ষেপের জন্য, লোকেরা সত্যই এআইসি এবং বিআইসি পছন্দ করে, বিশেষত পরেরটি।

সিসিসি এবং সি-পরিসংখ্যানগুলি পরীক্ষা / অ্যাসেসের মতো বাইনারি ক্রস-বিভাগীয় পূর্বাভাসগুলি মূল্যায়নের জন্য ব্যবহার করা হয়, সুতরাং আপনি যদি ভবিষ্যদ্বাণী করে থাকেন, বলুন, বিএমআই বা আইকিউ হয় কিনা সেগুলি আপনাকে বাতিল করতে হবে। তারা ক্রমাঙ্কন পরিমাপ করে (যেমন হোসমার লেমশো পরীক্ষার মতো) এবং যাকে ঝুঁকি স্তরের ক্ষমতা বলে। সেখানে অবিচ্ছিন্ন ফলাফলের সাথে কোনও স্বজ্ঞাত সংযোগ নেই, কমপক্ষে যতদূর আমি বলতে পারি না।

অন্যদিকে আরএমএসই ধারাবাহিক পূর্বাভাসের মূল্যায়ন করতে ব্যবহৃত হয় (ঝুঁকি পূর্বাভাসের ক্ষেত্রে সংরক্ষণ করুন যেখানে আরএমএসইটিকে একটি বারিয়র স্কোর হিসাবে চিহ্নিত করা হয়েছে, একটি সুন্দর প্রত্নতাত্ত্বিক এবং অবহেলিত মডেল মূল্যায়ন সরঞ্জাম)। এটি একটি দুর্দান্ত সরঞ্জাম এবং সম্ভবত আমাদের প্রায় প্রতিদিন 80% ভবিষ্যদ্বাণীপূর্ণ মডেলগুলির মুখোমুখি (আবহাওয়ার পূর্বাভাস, শক্তি রেটিং, যানবাহনের উপর এমপিজি ইত্যাদি) ক্র্যাব্রিয়েট করতে ব্যবহৃত হয়।

বিভক্ত নমুনা বৈধকরণ বা পূর্বাভাস মডেলগুলি মূল্যায়নের জন্য পুনরায় মডেলিংয়ের একটি সতর্কতা হ'ল আপনি যখন কেবলমাত্র তার নমুনাটি অতীতের ফলাফলের পূর্বাভাস রেখে চলেছেন তখনই ভবিষ্যতের ফলাফলগুলিতে আগ্রহী হতে পারেন। এটা করবেন না! এটি মডেলগুলির প্রয়োগকে প্রতিফলিত করে না এবং একটি নেতিবাচক ফ্যাশনে নির্বাচনকে ব্যাপকভাবে প্রভাবিত করতে পারে। সমস্ত উপলভ্য তথ্য এগিয়ে রোল এবং ভবিষ্যতে ভবিষ্যদ্বাণী, সমস্ত উপলব্ধ ক্ষেত্রে অনাবৃত ফলাফল।

খুব সুন্দর কোনও প্রয়োগিত লিনিয়ার মডেল বইয়ের পূর্বাভাস, আরএমএসই এবং প্রশিক্ষণ এবং বৈধকরণের মডেলগুলির সংক্ষিপ্তসারগুলি অন্তর্ভুক্ত করবে। কুতনার, ন্যাচটাইম, নেটার, লি, একটি ভাল শুরু হ'ল ডিগলের "টাইম সিরিজ বিশ্লেষণ", ডিগল হেগার্টি জেগের লি, "লঙ্গিটুডিনাল ডেটা অ্যানালাইসিস" এবং সম্ভাব্য হারেলের "রেগ্রেশন মডেলিং কৌশল" বিবেচনা করুন।

— Adamo
সূত্র

সিসিসি এবং হ্যারেলের সি সি অবিচ্ছিন্ন ফলাফলের সাথে ব্যবহার করা যেতে পারে। সিসিসিরও পুনরাবৃত্তি ব্যবস্থা বাস্তবায়ন রয়েছে। প্রশ্নটিতে আমি যুক্ত করা রেফারেন্স / লিঙ্কগুলি দেখুন।

— দিমিত্রি ভি। মাস্টারভ

কিছু যায় আসে না। আপনি শ্রেণিবদ্ধ করছেন না।

— অ্যাডমো