কম্পিউটার-ভিত্তিক পরীক্ষায় / সিমুলেশনে অবশিষ্টাংশের স্বাধীনতা?


17

আমি পালাও বিজ্ঞানে ব্যবহৃত একটি বিশেষ ধরণের মডেল ফিট করার বিভিন্ন পদ্ধতির কম্পিউটার ভিত্তিক মূল্যায়ন পরিচালনা করেছি। আমার একটি বড়-প্রশিক্ষণ প্রশিক্ষণ ছিল এবং তাই আমি এলোমেলোভাবে (স্ট্রেইটেড এলোমেলো নমুনা) একটি পরীক্ষা সেট আলাদা করে রেখেছি। আমি লাগানো ট্রেনিং সেট নমুনা বিভিন্ন পদ্ধতি ও ব্যবহার মি মডেলের ফলে আমি টেস্ট সেট নমুনার জন্য প্রতিক্রিয়া পূর্বাভাস এবং পরীক্ষা সেটে নমুনার উপর একটি RMSEP নির্ণিত। এটি একক রানmm

আমি তখন এই প্রক্রিয়াটিকে প্রচুর পরিমাণে পুনরাবৃত্তি করেছিলাম, প্রতিবার আমি এলোমেলোভাবে একটি নতুন পরীক্ষার সেট নমুনা তৈরি করে একটি আলাদা প্রশিক্ষণ সেট বেছে নিয়েছি।

এটি সম্পন্ন করে আমি কোনও পদ্ধতিতে আরএমএসইপির পারফরম্যান্স আরও খারাপ বা খারাপ হয়েছে কিনা তা তদন্ত করতে চাই । আমিও যুগল-ভিত্তিক পদ্ধতির একাধিক তুলনা করতে চাই।মি

আমার পদ্ধতির রানের জন্য একক র্যান্ডম এফেক্ট সহ রৈখিক মিশ্র প্রভাবসমূহ (এলএমই) মডেল ফিট করা হয়েছে । আমি ব্যবহৃত lmer()থেকে lme4 থেকে আমার মডেল এবং ফাংশন মাপসই প্যাকেজ multcomp প্যাকেজ একাধিক তুলনা সঞ্চালন। আমার মডেলটি মূলত ছিল

lmer(RMSEP ~ method + (1 | Run), data = FOO)

methodপরীক্ষার সেটটির জন্য মডেল পূর্বাভাস উত্পন্ন করতে কোন পদ্ধতিটি ব্যবহৃত হয়েছিল তা নির্দেশ করে এমন একটি ফ্যাক্টর যেখানে আমার "পরীক্ষা-নিরীক্ষার" Runপ্রতিটি বিশেষ রানের জন্য একটি সূচক ।

আমার প্রশ্নটি এলএমইর অবশিষ্টাংশের বিষয়ে। রান জন্য একক এলোমেলো প্রভাব দেওয়া আমি ধরে নিচ্ছি যে সেই রানের জন্য আরএমএসইপি মানগুলি কিছুটা ডিগ্রিযুক্ত তবে রানের সাথে সংযুক্ত, প্ররোচিত সম্পর্কের ভিত্তিতে র্যান্ডম এফেক্টটি দেয় effect

স্বাধীনতার এই ধৃষ্টতা কি মধ্যে রানে বৈধ? যদি না হয় তবে এটির জন্য এলএমই মডেলটিতে অ্যাকাউন্ট করার কোনও উপায় নেই বা আমার প্রশ্নের উত্তর দেওয়ার জন্য আমি অন্য ধরণের স্থিতিশীল বিশ্লেষণের জন্য নিযুক্ত হওয়া উচিত?


ভবিষ্যদ্বাণী করা এলোমেলো প্রভাব বা শর্তহীন এবং সিমুলেশনের মধ্যে অবশিষ্টাংশগুলি কী পূর্বানুমতি র্যান্ডম এফেক্টস ধ্রুবক বা পরিবর্তিত হয়। মনে রাখবেন LME4 এ ডিফল্ট সিমুলেশন পদ্ধতিগুলি এবং সক্ষম না হওয়ায় এটির একটি ধারণা পাওয়ার চেষ্টা করুন (তবে প্রকল্পটি আমি এটি সাজানোর আগেই বাতিল করা হয়েছিল)।
ফ্যানেরন

নিশ্চিত নয় যে আমি পুরোপুরি অনুসরণ করেছি, তবে ড্র প্রশিক্ষণের বিভিন্ন রান সেট -> ফিট মডেল -> গণনা আরএমএসইপি সমস্তই এলএমইর আগে সম্পন্ন হয়েছিল। র্যান্ডম এফেক্টটি রানের জন্য যেমন প্রতিটি রানের আলাদা আলাদা ইন্টারসেপ্ট (আরএমএসইপি) থাকবে কারণ পরীক্ষার সেটগুলির নমুনাগুলির বিভিন্ন সংমিশ্রণ বেছে নেওয়া হয় তবে এটি রানের মধ্যে স্থির থাকে is শর্তসাপেক্ষ / শর্তহীন বিট হিসাবে, আপনি কী বলতে চাইছেন তা আমি নিশ্চিত / পরিষ্কার নই। আপনার মন্তব্য করার জন্য ধন্যবাদ।
মনিকা পুনরায় ইনস্টল করুন - জি সিম্পসন

উত্তর:


4

আপনি প্রতিটি মি পদ্ধতিতে এখানে মূলত কিছু ক্রস-বৈধকরণের ফর্মটি করছেন এবং তারপরে কোন পদ্ধতিটি আরও ভালভাবে সম্পাদন করা হয়েছে তা দেখতে চাই। রানগুলির মধ্যে ফলাফলগুলি অবশ্যই নির্ভরশীল, কারণ সেগুলি একই ডেটার উপর ভিত্তি করে এবং আপনার ট্রেন / পরীক্ষার সেটগুলির মধ্যে আপনার ওভারল্যাপ থাকে have প্রশ্নটি যখন আপনি পদ্ধতিগুলির তুলনা করতে এসেছেন তখন এটির বিষয়টি বিবেচনা করা উচিত।

আসুন আমরা বলি যে আপনি কেবল একটি রান করবেন এবং দেখবেন যে একটি পদ্ধতি অন্যদের চেয়ে ভাল। আপনি তখন নিজেকে জিজ্ঞাসা করবেন - এটি কেবল পরীক্ষার সেটের নির্দিষ্ট পছন্দের কারণে? এই কারণেই আপনি অনেকগুলি ট্রেন / পরীক্ষার সেটগুলির জন্য আপনার পরীক্ষার পুনরাবৃত্তি করেন। সুতরাং, কোনও পদ্ধতি অন্যান্য পদ্ধতির চেয়ে ভাল কিনা তা নির্ধারণ করার জন্য, আপনি বহুবার চালান এবং প্রতিটি রানে এটি অন্য পদ্ধতির সাথে তুলনা করুন (আপনার ত্রুটি / র‌্যাঙ্ক / ইত্যাদি দেখার বিভিন্ন বিকল্প রয়েছে)। এখন, যদি আপনি দেখতে পান যে কোনও পদ্ধতি বেশিরভাগ রানের ক্ষেত্রে আরও ভাল করে, তবে ফলাফলটি এটিই। আমি নিশ্চিত নই যে এটির জন্য একটি পি-মান দিতে সহায়ক। অথবা, আপনি যদি কোনও পি-মান দিতে চান তবে নিজেকে জিজ্ঞাসা করুন এখানে ব্যাকগ্রাউন্ড মডেলটি কী?


আপনার চিন্তাভাবনার জন্য ধন্যবাদ। আমি মনে করি আপনার শেষ লাইনগুলি এখন যেখানে আমি রয়েছি সেখানে যথেষ্ট পরিমাণে সমান। এর কিছুটা প্রত্যাশায় আমার একটি ফলোআপ রয়েছে যেখানে আমি এই ধরণের ডেটা বিশ্লেষণের উপযুক্ত উপায়গুলি সম্পর্কে জিজ্ঞাসা করি। "এটি যা হয়" সম্পর্কে আপনার বক্তব্যও আমি পছন্দ করি; যে আমার চিন্তা প্রক্রিয়া প্রান্ত এ খুব ঘুরেফিরে ছিল।
মনিকা পুনরায় ইনস্টল করুন - জি সিম্পসন

আমার "ইস্যুটি এটি কী তা" অংশটি নিয়ে একটি সমস্যা রয়েছে যেটি আরএমএসইপিগুলি রান থেকে রান পর্যন্ত বেশ পরিবর্তনশীল। সুতরাং গড়ে এক বা দুটি পদ্ধতি আরও ভাল তবে আরএমএসইপিগুলিতে পরিবর্তনের কারণে তারা কি আরও ভাল? সুতরাং আমার রানের জন্য এলোমেলো প্রভাব সহ একটি এলএমই চেষ্টা করছি। এই পদ্ধতির পরিবর্তন করতে হলে আমার জানতে হবে যে প্রতিটি ডেটা সেটটি কী corre দেখে মনে হচ্ছে যে আমি যে কোনও পরিসংখ্যান পরীক্ষা করি তার এত সংশোধন করা দরকার। সুতরাং আমি প্রতিটি পদ্ধতির জন্য 50 রান থেকে কীভাবে উপায়গুলি ব্যাখ্যা করতে পারি এবং আমি কোনও সিদ্ধান্তে আঁকতে পারি কিনা তা নিয়ে এখনও লড়াই করছি ...?
মনিকা পুনরায় ইনস্টল করুন - জি সিম্পসন

1
আমি এটি যেভাবে দেখছি, আপনার ডেটাগুলির সমস্ত সম্ভাব্য ট্রেন / পরীক্ষা সেট পার্টিশনের উপর আপনার পদ্ধতিগুলির মূল্যায়ন করা সর্বাধিক বিস্তৃত মূল্যায়ন হত। যেহেতু এটি অসম্ভব, তাই আপনি এলোমেলো রান নিয়ে এটি অনুমান করছেন। ধরা যাক আপনি সমস্ত ট্রেন / পরীক্ষার পার্টিশন মূল্যায়ন করতে পারেন - কোন পদ্ধতিটি আরও ভাল তা কীভাবে সিদ্ধান্ত নেবেন তা নিয়ে এখনও আপনাকে ছেড়ে দেওয়া হবে। সুতরাং এটি "ভাল" কী তা আপনি কীভাবে সংজ্ঞায়িত করবেন এটি একটি বিষয়। এটি উচ্চ গড় স্কোর মানে? বা এর অর্থ কী যে অনেক রানের ক্ষেত্রে একটি পদ্ধতি অন্যের চেয়ে উচ্চতর স্কোর পায় (ব্যক্তিগতভাবে আমি মনে করি এটি আরও ভাল সংস্করণ হবে)?
বিটওয়াইস

1

আপনি কি করেছেন তা সত্যি বুঝতে না পারলেও

রানের জন্য আমি ধরে নিচ্ছি যে সেই রানের জন্য আরএমএসইপি মানগুলি কিছুটা ডিগ্রিযুক্ত

হ্যাঁ, এটি প্রতিফলিত করে যে সেই পরীক্ষার সেটটি কতটা চ্যালেঞ্জপূর্ণ ছিল

তবে রানের মধ্যে অসম্পর্কিত

না, আপনি যেভাবে পরীক্ষার নমুনা তৈরি করেছেন তাতে প্রদত্ত কয়েকটি অন্যের তুলনায় আরও বেশি পরিমাণে আড়াআড়ি হবে (সম্ভবত স্পষ্টভাবে স্বতন্ত্র প্রতিলিপি নয়)

ওভারল্যাপের ভিত্তিতে আপনাকে নির্ভরতা মডেল করতে হবে বা মূল্যায়ন ডিজাইন করতে হবে যাতে রানগুলি স্বাধীন। আমি ক্রস-বৈধকরণের পরিসংখ্যান সাহিত্য পড়ব ;-)


+1 উত্তরের জন্য ধন্যবাদ। হুম, আমি কি বলতে চাইছি। পরীক্ষার সেটগুলি যত বেশি অনুরূপ তাদের আরএমএসইপি মানগুলি তত বেশি মিলবে। ঠিক আছে, এমনভাবে রাখুন যেমন ডেটা স্থানিক বা অস্থায়ীভাবে সম্পর্কিত হয়। আমি প্রশিক্ষণের সেট / পরীক্ষার সেটগুলি যেভাবে উত্পন্ন করি তার অর্থ এই হওয়া উচিত যে গড়ে সেগুলি একে অপরের থেকে পৃথক। আমি নিশ্চিত না যে সিভি আমাকে এখানে পাবেন - এবং এক অর্থে আমি কেবল এটি একটি পুনর্নির্মাণ পদ্ধতির মাধ্যমে করছি। আসল সমস্যাটি কীভাবে সমাধান করা যায় তা সম্পর্কে সম্ভবত অন্য প্রশ্ন জিজ্ঞাসা করবে।
মনিকা পুনরায় ইনস্টল করুন - জি সিম্পসন

আমি কাউকে কামড় দিচ্ছি কিনা তা দেখার জন্য আমি এই উদ্বোধনের সময়কালের অবধি ছেড়ে যাব, তবে আমি আপনার মতামতকে এখানে প্রশংসা করি এবং অন্য কোনও উত্তর আসন্ন না হলে অনুগ্রহটি গ্রহণ করব এবং সম্মান জানাব।
মনিকা পুনরায় ইনস্টল করুন - জি। সিম্পসন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.