পেরেটো গুরুত্বপূর্ণ নমুনা (PSIS-LOO) ব্যর্থ হওয়া থেকে স্মুথ করা রোধ করা হচ্ছে

Question

আমি সম্প্রতি এই কাগজপত্রগুলিতে বর্ণিত পেরিটো স্মুথড ইম্পেরিয়াল স্যাম্পলিং লেভ-ওয়ান-আউট ক্রস-বৈধকরণ (পিএসআইএস-এলইউ) ব্যবহার শুরু করেছি:

• Vehtari, এ।, এবং জেলম্যান, এ (2015)। পেরেটো গুরুত্বের নমুনা ছোঁয়া। আরএক্সিব প্রিপ্রিন্ট ( লিঙ্ক )
• Vehtari, এ।, জেলম্যান, এ।, এবং গ্যাব্রি, জে। (2016)। লেভেল-ওয়ান-আউট ক্রস-বৈধকরণ এবং ডব্লিউএআইসি ব্যবহার করে ব্যবহারিক বায়েসিয়ান মডেল মূল্যায়ন। আরএক্সিব প্রিপ্রিন্ট ( লিঙ্ক )

এটি নমুনা ছাড়াই মডেল মূল্যায়নের জন্য অত্যন্ত প্ররোচিত পদ্ধতির প্রতিনিধিত্ব করে কারণ এটি একটি একক এমসিসিএম রান দিয়ে এলইউ-সিভি সম্পাদন করতে দেয় এবং এটি ডব্লিউএআইসি-র মতো বিদ্যমান তথ্যের মানদণ্ডের তুলনায় আরও ভাল।

পিএসআইএস-এলইওর একটি নির্ণয়ের রয়েছে যা আপনাকে জানাতে পারে যে অনুমান নির্ভরযোগ্য কিনা, অর্থাত্ পেরিটো বিতরণগুলির i দ্বারা দেওয়া হয় গুরুত্বের ওজনের দৈর্ঘ্যের অভিজ্ঞতা অভিজ্ঞতাগুলির লেজগুলিতে লাগানো (ডাটা পয়েন্টে এক ওজন)। সংক্ষেপে, যদি একটি আনুমানিক ওজন , খারাপ জিনিসগুলি ঘটতে পারে।$\hat{k}_i$$\hat{k}_i \gtrsim 0.7$

দুঃখের সাথে, আমি আবিষ্কার করেছি যে আমার এই পদ্ধতির প্রয়োগটিতে আমার সমস্যার জন্য, বেশিরভাগ মডেলের আগ্রহের জন্য আমি দেখতে পাই যে \ টুপি {কে} _ আই i জিজি 0.7 এর একটি বৃহত ভগ্নাংশ $\hat{k}_i \gg 0.7$। আশ্চর্যজনকভাবে, কিছু এলইও-র লগ-সম্ভাবনা যথেষ্ট স্পষ্টতই অযৌক্তিক ছিল (অন্যান্য ডেটাসেটের তুলনায়)। ডাবল-চেক হিসাবে, আমি একটি traditionalতিহ্যবাহী (এবং সময় সাশ্রয়ী) 10-গুণ ক্রস-বৈধতা সম্পাদন করে দেখলাম যে প্রকৃতপক্ষে PSIS-LOO ভীষণভাবে ভুল ফলাফল দিচ্ছিল (উলটে, ফলাফলগুলি 10 এর সাথে খুব ভাল চুক্তিতে ছিল) - মডেলগুলির জন্য ফোল্ডার সিভি যা সমস্ত $\hat{k}_i \ll 0.7$ )। রেকর্ডের জন্য, আমি আকি Vetari দ্বারা PSIS-LOO এর ম্যাটল্যাব বাস্তবায়নটি ব্যবহার করছি ।

সম্ভবত আমি আমার খুব দুর্ভাগ্য যে আমার বর্তমান এবং প্রথম যে সমস্যাটিতে আমি এই পদ্ধতিটি প্রয়োগ করি তা পিএসআইএস-এলইউর পক্ষে "কঠিন" তবে আমি সন্দেহ করি যে এই ক্ষেত্রেটি তুলনামূলকভাবে সাধারণ হতে পারে। খনি হিসাবে যেমন ক্ষেত্রে, Vehtary, Gelman এবং গ্যাব্রি কাগজ সহজভাবে বলে:

পিএসআইএসের অনুমানের সীমাবদ্ধ বৈকল্পিকতা থাকলেও, যখন তবে ব্যবহারকারীকে সমস্যাযুক্ত জন্য সরাসরি থেকে নমুনা বিবেচনা করা উচিত , ফোল্ড ক্রস- বৈধকরণ, বা আরও শক্তিশালী মডেল ব্যবহার করুন।$\hat{k} > 0.7$$p(\theta^s |y_{−i})$$i$$k$

এগুলি সুস্পষ্ট তবে সত্যিই আদর্শ সমাধান নয় কারণ এগুলি সর্বদা গ্রাস করা হয় বা অতিরিক্ত ফিডিংয়ের প্রয়োজন হয় (আমি প্রশংসা করি যে এমসিএমসি এবং মডেল মূল্যায়নগুলি হ'ল ফিডলিংয়ের বিষয়ে, তবে আরও কম ভাল)।

PSIS-LOO কে ব্যর্থ হতে বাধা দেওয়ার জন্য আমরা আগে থেকে প্রয়োগ করতে পারি এমন কোনও সাধারণ পদ্ধতি কি ? আমার কয়েকটি অস্থায়ী ধারণা রয়েছে, তবে আমি অবাক হয়েছি যে ইতিমধ্যে যদি লোকেরা গ্রহণ করে চলেছে এমন একটি অভিজ্ঞতামূলক সমাধান রয়েছে।

Answer 1

রেকর্ডের জন্য, আমি স্ট্যান ব্যবহারকারীদের মেলিং তালিকায় অনুরূপ প্রশ্ন পোস্ট করেছি , যা আপনি এখানে দেখতে পারেন । মূল PSIS-LOO কাগজের একজন লেখক এবং স্টানের অন্যান্য অবদানকারী আমার দ্বারা উত্তর পেয়েছিলেন by নিম্নলিখিতটি আমার ব্যক্তিগত সারাংশ।

সংক্ষিপ্ত উত্তরটি হ'ল পিএসআইএস-এলইউর ব্যর্থতা থেকে রোধ করার জন্য কোনও সাধারণ সাধারণ পদ্ধতি নেই । যদি পিএসআইএস-লু ব্যর্থ হয়, তবে এটি সাধারণত কারণ মডেলটির সমস্যা রয়েছে এবং এটি ঠিক করা অবশ্যই ব্যবহারকারীর হাতে রেখে দেওয়া হয়।

বিশেষত, পিএসআইএস-এলইউ ব্যর্থ হওয়ার কারণটি সম্ভবত সাধারণত এক বা একাধিক এলইউ বিতরণ স্থানান্তরিত এবং / অথবা সম্পূর্ণ উত্তরোত্তর থেকে বিস্তৃত, সম্ভবত প্রভাবশালী পর্যবেক্ষণের কারণে, এবং গুরুত্বপূর্ণ নমুনা বিতরণ এক বা কয়েকটি পয়েন্টে পতিত হয়।

আমি ভাবছিলাম যে আপনি এই সমস্যাটি সমাধানের জন্য সমান্তরাল উত্তরীয় টেম্পারিং পদ্ধতির কিছু ফর্ম গ্রহণ করার চেষ্টা করতে পারেন । ধারণাটি অগত্যা ভুল নয়, তবে আমার দিকে ইঙ্গিত করা হয়েছিল যে:

• পাঠ্যপুস্তকের উত্তোলনকারী টেম্পারিংয়ের জন্য এখনও সঠিক তাপমাত্রা স্তর (গুলি) খুঁজে পেতে কেস বাই কেস ফিডলিংয়ের প্রয়োজন হবে, কারণ এটি করার কোনও সুস্পষ্ট বা জ্ঞাত উপায় নেই (ঘটনাক্রমে, এই কারণে স্ট্যান সমান্তরাল টেম্পারিং অন্তর্ভুক্ত করে না);
• যদি আপনি দুটি তাপমাত্রার বেশি স্তর ব্যবহার করেন (যেমন এটির শক্তিশালী পদ্ধতির প্রয়োজন হতে পারে), চূড়ান্ত গণনা ব্যয় কে-ফোল্ড ক্রস বৈধকরণের কাছে, বা সমস্যাযুক্ত এলওইউ বিতরণগুলিতে এমসিএমসি চালানোর দিকে এগিয়ে যায়।

সংক্ষেপে, পিএসআইএস-এলইউ যদি ব্যর্থ হয় তবে এমন একটি পদ্ধতি পাওয়া শক্ত বলে মনে হচ্ছে যা অন্যান্য সাধারণ প্যাচগুলির মতো শক্ত এবং সাধারণ; এজন্য Vettari, Gelman এবং Gabry আমার মূল প্রশ্নে পোস্ট করা উক্তি অনুসারে এই পদ্ধতিগুলির পরামর্শ দিয়েছিল।