সাধারণীকরণের পারফরম্যান্সের বিতরণের তুলনা করা

বলুন যে আমার কাছে একটি শ্রেণিবদ্ধকরণ সমস্যার জন্য দুটি শিক্ষার পদ্ধতি রয়েছে , এবং এবং বারবার ক্রস বৈধতা বা বুটস্ট্র্যাপিংয়ের মতো কিছু দিয়ে আমি তাদের সাধারণীকরণের পারফরম্যান্সটি অনুমান করি। এই প্রক্রিয়াটি থেকে আমি এই পুনরাবৃত্তিগুলি জুড়ে প্রতিটি পদ্ধতির জন্য এবং স্কোরগুলির বিতরণ পেয়েছি (যেমন প্রতিটি মডেলের জন্য আরওসি এউসি মানগুলির বিতরণ)। $A$ $B$ $P_A$ $P_B$

এই ডিস্ট্রিবিউশন এ খুঁজছি, এটা যে হতে পারে কিন্তু যে (অর্থাত প্রত্যাশিত সাধারণীকরণ কর্মক্ষমতা বেশী , কিন্তু এই প্রাক্কলন সম্পর্কে আরো অনিশ্চয়তা নেই)। $\mu_A \ge \mu_B$ $\sigma_A \ge \sigma_B$ $A$ $B$

আমি মনে করি এটাকে বলা হয় রিগ্রেশন - এ বায়াস-ভেরিয়েন্স ডাইলেমা ।

এবং তুলনা করতে এবং কোন মডেলটি ব্যবহার করতে হবে তা সম্পর্কে অবগতভাবে সিদ্ধান্ত নিতে আমি কোন গাণিতিক পদ্ধতিগুলি ব্যবহার করতে পারি ? $P_A$ $P_B$

দ্রষ্টব্য: সরলতার স্বার্থে, আমি এখানে দুটি এবং এবং দুটি পদ্ধতির উল্লেখ করছি তবে আমি সেই পদ্ধতিগুলিতে আগ্রহী যেগুলি 1000 ডলারের শিখার পদ্ধতিগুলির (যেমন একটি গ্রিড অনুসন্ধান থেকে) স্কোরের বন্টনকে তুলনা করতে এবং শেষ পর্যন্ত তৈরি করতে আগ্রহী কোন মডেলটি ব্যবহার করবেন সে সম্পর্কে একটি চূড়ান্ত সিদ্ধান্ত। $A$ $B$

cross-validation model-selection

— আমেলিও ভাজকেজ-রেইনা
সূত্র

আমি মনে করি যে এখানে পক্ষপাত-বৈকল্পিক ট্রেড অফ শব্দটি প্রযোজ্য নয়, কারণ আপনি পক্ষপাত এবং বৈকল্পিকতার মধ্যে কোনও গড় স্কোয়ার ত্রুটিটি দ্রবীভূত করছেন না এবং আপনি কোনও অনুমানের পরিবর্তনের কথা বলছেন না তবে স্কোরের বৈচিত্র সম্পর্কে কথা বলছেন না।

— লুকাস

A

$A$

B

$B$

E (P_{A})

$E(P_A)$

E (P_{B})

$E(P_B)$

A

$A$

B

$B$

P_{A}

$P_A$

P_{B}

$P_B$

@ ব্যবহারকারী 815423426 আমি মনে করি তুলনাটি আপনার যে ক্ষতির কাজ রয়েছে তার উপর নির্ভর করে। ডায়াবোল্ড এবং মারিয়ানো (২০০২) আপনার প্রশ্নটি অধ্যয়ন করার জন্য একটি দুর্দান্ত কাগজ রয়েছে। তারা "জেনারালাইজেশন" পারফরম্যান্সের সাথে তুলনা করে কিছু পরিসংখ্যান পরীক্ষার প্রস্তাব করেছিলেন। আমি কীভাবে মন্তব্যে একটি লিঙ্ক সেট আপ করতে জানি না। কাগজটি হলেন: ডায়াবোল্ড, ফ্রান্সিস এক্স, এবং রবার্ট এস মারিয়ানো। "ভবিষ্যদ্বাণীমূলক নির্ভুলতার তুলনা করা।" ব্যবসায় এবং অর্থনৈতিক পরিসংখ্যান জার্নাল 20.1 (2002): 134-144।

— semibruin

যদি দুটি এবং দুটি পদ্ধতি থাকে তবে আমি এ সম্ভাবনাটি গণনা করব যে স্বেচ্ছাসেবী প্রশিক্ষণ / পরীক্ষার পার্টিশনের জন্য মডেল এ এর জন্য ত্রুটি (কিছু উপযুক্ত পারফরম্যান্স মেট্রিক অনুযায়ী) মডেল বিয়ের ত্রুটির চেয়ে কম ছিল যদি এই সম্ভাবনা থাকে 0.5 এর চেয়েও বেশি ছিলাম, আমি মডেল এ এবং অন্যথায় মডেল বি (সিএফ ম্যান-হুইটনি ইউ পরীক্ষা?) বেছে নেব, তবে আমি দৃ suspect়ভাবে সন্দেহ করি যে পারফরম্যান্সের পরিসংখ্যান বিতরণ খুব অযোগ্য না হলে নিম্নতর সাথে মডেলটি বেছে নেওয়া শেষ হবে I -symmetric।

অন্যদিকে গ্রিড অনুসন্ধানের জন্য, পরিস্থিতিটি কিছুটা ভিন্ন কারণ আপনি সত্যিই বিভিন্ন পদ্ধতির তুলনা করছেন না, বরং একই মডেলের (হাইপার-) পরামিতিগুলিকে টিউন করার মাধ্যমে তথ্যের সীমাবদ্ধ নমুনা ফিট করতে পারেন (এই ক্ষেত্রে অপ্রত্যক্ষভাবে ক্রসের মাধ্যমে -validation)। আমি খুঁজে পেয়েছি যে এই ধরণের টিউনিং ওভার-ফিটিংয়ের জন্য খুব প্রবণ হতে পারে, আমার কাগজটি দেখুন see

গ্যাভিন সি। কাওলি, নিকোলা এলসি টালবট, "মডেল সিলেকশনে ওভার-ফিটিং এবং পারফরম্যান্স মূল্যায়ণে পরবর্তী নির্বাচন বায়াস", মেশিন লার্নিং রিসার্চ জার্নাল, ১১ (জুলাই): ২০−৯−২১০7, ২০১০. ( www )

আমার পর্যালোচনাতে একটি কাগজ রয়েছে যা দেখায় যে মডেল নির্বাচনের মানদণ্ডের অতিরিক্ত-ফিটিং এড়াতে কার্নেল মেশিনগুলির জন্য তুলনামূলকভাবে মোটা গ্রিড ব্যবহার করা ভাল (যেমন এসভিএম) সম্ভবত। আরেকটি পদ্ধতির (যা আমি তদন্ত করি নি, তাই ক্যাভেট লেক্টর!) হ'ল গ্রিড অনুসন্ধানে পাওয়া সেরা মডেলের তুলনায় পরিসংখ্যানগতভাবে নিকৃষ্ট নয় এমন সর্বাধিক ত্রুটি সহ এমন মডেলটি বেছে নেওয়া হবে (যদিও এটি সম্ভবত একটি নিরাশাবাদী পদ্ধতির হতে পারে, বিশেষত ছোট ডেটাসেটের জন্য)।

যদিও আসল সমাধানটি সম্ভবত গ্রিড-অনুসন্ধান ব্যবহার করে প্যারামিটারগুলি অনুকূল করতে নয়, তবে কোনও বায়সিয়ান পদ্ধতির মাধ্যমে বা পঠিত পদ্ধতি হিসাবে প্যারামিটারের মানগুলির উপরে গড়। আপনি যদি অনুকূলিত না হন তবে ওভার-ফিট করা আরও কঠিন!

— ডিকরান মার্সুপিয়াল
সূত্র

ধন্যবাদ ডিকরান। আপনি যখন বলছেন "average over the parameter values"আমি কীভাবে এটি একটি এনসেম্বল পদ্ধতিতে (উদাহরণস্বরূপ শ্রেণিবদ্ধ আউটপুটগুলির গড় হিসাবে এনসেম্বল আউটপুট তৈরি করা) এর মাধ্যমে বুঝতে পারি তা বুঝতে পেরেছি তবে বৈষম্যমূলক মডেলের সাথে কাজ করার সময় বায়েশিয়ান পদ্ধতির সাথে এটি কীভাবে করা যায় তা আমি নিশ্চিত নই। আমি একটি সম্পূর্ণ বায়েশিয়ান পদ্ধতির তত্ত্বটি বুঝতে পারি (অর্থাত্ পয়েন্টের প্রাক্কলন এড়াতে, এবং চূড়ান্ত উত্তরোত্তর নির্মাণের জন্য পরামিতিগুলি প্রান্তিককরণ), তবে, পরামিতিগুলিতে আমার পূর্ববর্তীটি একরকম বলে ধরে নিয়েছে, এটি কি গড় গড়কার তৈরির সমতুল্য হবে না? ?

— অ্যামিলিও ওয়াজকেজ-রেইনা

বায়েশিয়ান পদ্ধতির ক্ষেত্রে, মডেলগুলি তাদের প্রান্তিক সম্ভাবনা দ্বারা (যেমন বায়েশিয়ান প্রমাণ) এবং উচ্চতর-পরামিতিগুলির উপরে যে কোনও পূর্বনির্ধারিত বৈশিষ্ট্য দ্বারা ভারিত হবে, সুতরাং এটি মডেলগুলি ওজন করার জন্য একটি বিশেষ পদ্ধতির সাথে একটি পোশাকের উপরে গড়ের একটি বিশেষ ক্ষেত্রে হবে।

— ডিকরান মার্সুপিয়াল