পরিসংখ্যানগত তাত্পর্য ব্যবহার করে দুটি পৃথক মডেলের যথার্থতা কীভাবে তুলনা করবেন

Question

আমি সময় সিরিজের ভবিষ্যদ্বাণী নিয়ে কাজ করছি। আমি দুটি ডেটা সেটের আছে $D1=\{x_1, x_2,....x_n\}$ এবং $D2=\{x_n+1, x_n+2, x_n+3,...., x_n+k\}$ । আমার কাছে তিনটি পূর্বাভাস মডেল রয়েছে: $M1, M2, M3$ । এই সমস্ত মডেলই ডেটা সেট$D1$ নমুনা ব্যবহার করে প্রশিক্ষণপ্রাপ্ত হনএবং তাদের কার্য সম্পাদন ডেটা সেট$D2$ নমুনাগুলি ব্যবহার করে পরিমাপ করা হয়। বলি পারফরম্যান্সের মেট্রিকগুলি এমএসই (বা অন্য কিছু)। ডেটা সেট$D2$ এরজন্য পরিমাপ করা হয় এমন মডেলগুলির এমএসইহলেন$MSE_1, MSE_2,$ এবং$MSE_3$ । আমি কীভাবে পরীক্ষা করতে পারি যে অন্যটির তুলনায় একটি মডেলের উন্নতি পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ।

উদাহরণস্বরূপ, $MSE_1=200$ , $MSE_2=205$ , $MSE_3=210$ , এবং ডেটা সেট $D2$ মোট নমুনার সংখ্যা নির্ধারণ করা হয়েছে যার ভিত্তিতে এই এমএসই গণনা করা হয় 2000. আমি কীভাবে পরীক্ষা করতে পারি যে $MSE_1$ , $MSE_2$ , এবং $MSE_3$ উল্লেখযোগ্যভাবে ভিন্ন। কেউ যদি আমাকে এই সমস্যায় সহায়তা করতে পারে তবে আমি প্রশংসা করব।

Answer 1

সম্ভাব্য অনুপাতের পরীক্ষাটি ব্যবহার করার জন্য উপরের লিঙ্কযুক্ত পোস্টগুলির মধ্যে একটি, যদিও এটি কাজ করার জন্য আপনার মডেলগুলিকে একে অপরকে বাসা বেঁধে রাখতে হবে (যেমন আপনি যে মডেলটির সাথে এটি পরীক্ষা করছেন তার মডেলগুলির মধ্যে একটির সমস্ত পরামিতি অবশ্যই উপস্থিত থাকতে হবে) ।

আরএমএসই স্পষ্টতই একটি পরিমাপ যা মডেলটি ডেটার সাথে কতটা ফিট করে। তবে সম্ভাবনা অনুপাতও তাই। মিসেস চেন বলে, কোনও প্রদত্ত ব্যক্তির পক্ষে সম্ভাবনা হ'ল তার সমস্ত পরামিতিগুলির সাথে একজন ব্যক্তির তার পরিণতি হওয়ার সম্ভাবনা থাকে। ডেটাসেটের যৌথ সম্ভাবনা হ'ল মিসেস চেনের সম্ভাবনা * মিসেস গাউনসনের সম্ভাবনা * মিসেস জনসনের সম্ভাবনা * ... ইত্যাদি etc.

কোনও কোভেরিয়েট বা কোনও সংখ্যক কোভারিয়েট যুক্ত করা সম্ভবত সম্ভাবনা অনুপাতটিকে আরও খারাপ করতে পারে না, আমি ভাবি না। তবে এটি একটি অ-উল্লেখযোগ্য পরিমাণের দ্বারা সম্ভাবনা অনুপাতকে উন্নত করতে পারে। যে মডেলগুলি আরও ভাল ফিট করে তাদের উচ্চতর সম্ভাবনা থাকবে। মডেল এ মডেল বি আরও ভাল ফিট করে কিনা তা আপনি আনুষ্ঠানিকভাবে পরীক্ষা করতে পারেন। আপনি যা কিছু সফ্টওয়্যার ব্যবহার করেন তাতে আপনার কিছু ধরণের এলআর টেস্ট ফাংশন থাকা উচিত তবে মূলত, এলআর পরীক্ষার পরিসংখ্যানটি -2 * সম্ভাবনার লগগুলির পার্থক্য এবং এটি ডিএফ দিয়ে চি-স্কোয়ার বিতরণ করা হয় = সংখ্যার পার্থক্য পরামিতি।

এছাড়াও দুটি মডেলের এআইসি বা বিআইসির তুলনা করা এবং সর্বনিম্ন একটি খুঁজে পাওয়াও গ্রহণযোগ্য। এআইসি এবং বিআইসি হ'ল লগের সম্ভাবনাগুলি পরামিতিগুলির সংখ্যার জন্য দন্ডিত।

আমি আরএমএসইগুলির জন্য টি-টেস্ট ব্যবহারের বিষয়ে নিশ্চিত নই এবং আপনি যদি এই অঞ্চলে কিছু তাত্ত্বিক কাজ না করে থাকেন তবে আপনি এটির পক্ষে ঝুঁকবেন। মূলত, আপনি কি জানেন যে কীভাবে আরএমএসইয়ের মানগুলি asyptotically বিতরণ করা হয়? আমি নিশ্চিত নই. এখানে আরও কিছু আলোচনা:

http://www.stata.com/statalist/archive/2012-11/index.html#01017

Answer 2

এই উত্তরটি তথ্যটিকে বিবেচনায় নেয় না, আপনার ডেটা একটি সময় সিরিজ গঠন করে তবে আমি মনে করি এটি কোনও সমস্যা হবে।

আরএমএসই ব্যবহার করার সময়, এই পোস্টটি টি-টেস্ট ব্যবহার করার পরামর্শ দেয়: মডেলগুলির আরএমএসইর পরীক্ষার তাত্পর্য

আপনি নিজের ফিটটি মূল্যায়ন করতে পিয়ারসনের পারস্পরিক সম্পর্কও ব্যবহার করতে পারেন। এই পোস্ট অনুসারে, আপনি ওলফের টি-টেস্টের জন্য এটি ব্যবহার করতে পারেন: পারস্পরিক সম্পর্কের বৃদ্ধির পরিসংখ্যানগত তাত্পর্য

আমি বর্তমানে একই সমস্যা সম্পর্কে জানার চেষ্টা করছি। আমি নিজে আরও বিস্তারিত উত্তর প্রশংসা করব।

Answer 3

এটি করার দুটি প্রধান উপায় আছে তবে প্রথমে আমি এই ধারণাকে চ্যালেঞ্জ করব যে আপনি কেবল একটি বেছে নিতে চান। সম্ভবত, তিনটি পৃথক মডেলের একটি পোশাকের মডেল সবার সেরা পারফরম্যান্স অর্জন করবে।

এটির মূল, সম্ভবত সর্বোত্তম উপায় হ'ল মূল্যায়ন মেট্রিকের আশেপাশের আত্মবিশ্বাসের ব্যবধানগুলি পেতে মডেলটি ব্যবহার করা। এটি সাধারণত বুটস্ট্র্যাপিং ( বা পোইসন বুটস্ট্র্যাপ ) এর মাধ্যমে করা হয়।

অন্য উপায় একটি পরিসংখ্যান পরীক্ষা ব্যবহার করা হয়। প্রতিটি পরীক্ষার বিভিন্ন অনুমান করা যায় এবং এগুলি প্রায়শই একক পয়েন্ট মূল্যায়নের পরিবর্তে বিতরণ থেকে নেওয়া কোনও মান বা নমুনার তুলনা করতে ব্যবহৃত হয়। এই পরিসংখ্যান সংক্রান্ত অনেকগুলি পরীক্ষার জন্য আনুষ্ঠানিকভাবে স্বাধীনতার প্রয়োজন হয়, যা সাধারণত সিরিজের ডেটাগুলিতে একই মডেল বা একাধিক মডেলের একাধিক ফলাফলের তুলনা করার সময় আপনার কাছে থাকে না।

নির্দিষ্টভাবে সিরিজের পূর্বাভাসের সাথে, আপনার প্রতিটি সময় ক্রস-বৈধতা এবং ট্রেন এবং পরীক্ষার ত্রুটির মূল্যায়ন ( উদাহরণ ) সহ ব্যাকস্টেটিং করা উচিত । আপনি যখন এটি করেন, আমি সন্দেহ করি যে আপনার মডেলগুলি সমস্ত একইভাবে সঞ্চালন করবে যাতে আপনার পৃথক করার জন্য একটি পরিসংখ্যান পরীক্ষা প্রয়োজন; সম্ভবত, আপনি বড় পার্থক্য দেখতে পাবেন।

আরও লক্ষ করুন যে historicalতিহাসিক মূল্যায়ন মেট্রিক্স (পূর্বাভাসের সাথে প্রকৃতদের তুলনা করা) ভবিষ্যদ্বাণী মূল্যায়নের জন্য অপর্যাপ্ত। দুটি পূর্বাভাস দেওয়া হয়েছে যা জ্ঞাত historicalতিহাসিক তথ্যগুলি পুরোপুরি ফিট করে তবে একটি ভবিষ্যত সম্পর্কে পূর্বের বিশ্বাসের সাথেও মেলে এবং অন্যটি স্পষ্টভাবে লঙ্ঘন করে (উদাহরণস্বরূপ, যদি কেউ শূন্যে অদৃশ্য হয়ে যায় তবে এটি ঘটতে পারে না বলে বিশ্বাস করার কারণ আপনার রয়েছে), আপনি ভবিষ্যদ্বাণীটিকে পছন্দ করবেন এটি আপনার পূর্বের সাথে আরও ভাল মেলে।