নেস্টেড ক্রস-বৈধকরণের পরে কীভাবে চূড়ান্ত মডেল এবং টিউন সম্ভাব্যতা প্রান্তিকতা তৈরি করবেন?


17

প্রথমত, এমন একটি প্রশ্ন পোস্ট করার জন্য ক্ষমা চাওয়া যা ইতিমধ্যে এখানে , এখানে , এখানে , এখানে , এখানে দীর্ঘ আলোচনা করা হয়েছে, এবং একটি পুরানো বিষয় পুনরায় গরম করার জন্য। আমি জানি @ ডিক্রানমারসুপিয়াল পোস্ট এবং জার্নাল পেপারগুলিতে এই বিষয়টি সম্পর্কে দীর্ঘমেয়াদে লিখেছেন, তবে আমি এখনও বিভ্রান্ত হয়েছি, এবং এখানে অনুরূপ পোস্টগুলির সংখ্যা বিচার করে এটি এখনও এমন কিছু যা অন্যরা বুঝতে সক্ষম হয় না। আমার আরও বলা উচিত যে আমি এই বিষয়টির সাথে পরস্পরবিরোধী হয়েছি যা আমার বিভ্রান্তিকে আরও বাড়িয়ে তুলেছে। আপনার আরও জানা উচিত যে আমি মূলত একজন পদার্থবিজ্ঞানী এবং কোনও পরিসংখ্যানবিদ নই, সুতরাং এখানে আমার ডোমেন দক্ষতা কিছুটা সীমাবদ্ধ। আমি একটি জার্নাল পেপার লিখছি যেখানে আমি আমার চূড়ান্ত মডেল থেকে আশা করতে পারি পারফরম্যান্স অনুমান করতে নেস্টেড সিভি ব্যবহার করতে চাই। আমার ডোমেনে, এটি প্রথম। (আমরা প্রায় কোনওই ব্যবহার করি নাআমার ক্ষেত্রে মজবুত সিভি ফর্ম কিন্তু আনন্দের সাথে স্নায়বিক জাল এবং উত্সাহিত সিদ্ধান্ত গাছ ব্যবহার করে পড়াশুনা ফলাফল সঙ্গে কাগজপত্র পাম্প!) সুতরাং, আমি খুব স্পষ্টভাবে এবং স্পষ্ট বোঝা যাতে আমি স্ক্রু আপ এবং প্রচার না করি খুব গুরুত্বপূর্ণ আমার সম্প্রদায়ের জন্য একটি ভুল পদ্ধতি যা বছরের পর বছর প্রকাশ করতে পারে! ধন্যবাদ! প্রশ্নটি নিয়ে ...

নেস্টেড ক্রস-বৈধকরণের পরে আমি চূড়ান্ত মডেলটি কীভাবে তৈরি করব?

আমি এল 1 এবং এল 2 নিয়মিতকরণের সাথে একটি সাধারণ গ্ল্যামনেট মডেল প্রশিক্ষণ দিচ্ছি। এটি দ্রুত, সহজ এবং ব্যাখ্যাযোগ্য। আমি বৈশিষ্ট্য কেন্দ্রীকরণ, স্কেলিং এবং বক্স-কক্স রূপান্তরগুলি সম্পাদন করি যাতে বৈশিষ্ট্য বিতরণগুলি মধ্যকেন্দ্রিক, মানক এবং কিছুটা গাউসিয়ানের মতো। তথ্য ফাঁস রোধ করতে আমি ক্রস-বৈধতার মধ্যে এই পদক্ষেপটি সম্পাদন করি। বিশুদ্ধরূপে যেহেতু আমার হার্ডওয়্যারটি অবিশ্বাস্যভাবে ধীর এবং আমার আরও সিপিইউ পেশীর অ্যাক্সেস নেই, আমি বৈশিষ্ট্য প্রিপ্রসেসিংয়ের পরে সিভিতেও দ্রুত ফিল্টার-ভিত্তিক বৈশিষ্ট্য নির্বাচন করি। আমি আলফা এবং ল্যাম্বদা হাইপারপ্যারামিটারগুলি বাছতে র্যান্ডম গ্রিড অনুসন্ধান ব্যবহার করছি। আমি বুঝতে পারি যে আমার উচিত ছিল না 'এই অনুমানটি পেতে সিভি লুপ। আমি বুঝতে পারি যে অভ্যন্তরীণ সিভি লুপটি মডেল নির্বাচনের জন্য ব্যবহৃত হয় (এই ক্ষেত্রে, সর্বোত্তম হাইপারপ্যারামিটারগুলি) এবং যে বাইরের লুপটি মডেল মূল্যায়নের জন্য ব্যবহৃত হয় , অর্থাত্ অভ্যন্তরীণ এবং বহিরাগত সিভি দুটি ভিন্ন উদ্দেশ্যে পরিবেশন করে যা প্রায়শই ভুলভ্রান্তভাবে সঙ্কটে থাকে। (আমি এখন পর্যন্ত কীভাবে করছি?)

এখন, আমি যে লিঙ্কগুলি পোস্ট করেছি সেগুলি থেকে বোঝা যায় যে "ক্রস-বৈধকরণের চিন্তাভাবনার উপায়টি কোনও মডেলটির পারফরম্যান্স অনুমানের পরিবর্তে কোনও মডেল তৈরির পদ্ধতি ব্যবহার করে প্রাপ্ত পারফরম্যান্সের অনুমান হিসাবে"। দেওয়া হল, নেস্টেড সিভি পদ্ধতির ফলাফলগুলি কীভাবে ব্যাখ্যা করব?

আমি যে পরামর্শটি পড়েছি তা নিম্নলিখিতগুলি নির্দেশ করে বলে মনে হচ্ছে --- দয়া করে এটি ভুল হলে আমাকে সংশোধন করুন: অভ্যন্তরীণ সিভি হল এমন একটি প্রক্রিয়াটির অংশ যা আমাকে আমার গ্ল্যামনেট মডেলের অনুকূল আলফা এবং ল্যাম্বদা হাইপারপ্যারামিটারগুলি নির্বাচন করতে দেয়। বাইরের সিভি অনুমান আমি চূড়ান্ত মডেল থেকে পেতে যদি আমি পদ্ধতি ঠিক হিসাবে ভেতরের সিভি ব্যবহৃত প্রয়োগ আশা করতে পারেন বলে hyperparameter টিউনিং সহ এবং সমগ্র ডেটা সেটটি ব্যবহার চূড়ান্ত মডেল গড়ে তুলতে। যে, হাইপারপ্যারমিটার টিউনিং "মডেল তৈরির পদ্ধতি" এর অংশ। এটা কি ঠিক? কারণ এটিই আমাকে বিভ্রান্ত করে। অন্য কোথাও আমি দেখেছি যে চূড়ান্ত মডেল স্থাপনের জন্য নির্ধারিত পদ্ধতিতে স্থির মানগুলি ব্যবহার করে পুরো ডেটাসেটের প্রশিক্ষণ জড়িতসিভি ব্যবহার করে বেছে নেওয়া হাইপারপ্যারামিটারগুলির মধ্যে। এখানে, "মডেল তৈরির পদ্ধতি" টিউনিংয়ের অন্তর্ভুক্ত নয়। তো, এটি কোনটি? চূড়ান্ত মডেলটি তৈরি করার জন্য কোনও সময়ে অনুকূল হাইপারপ্যারামিটারগুলি বেছে নেওয়া এবং ঠিক করা হয়! কোথায়? কিভাবে? যদি আমার অভ্যন্তরীণ লুপটি 5-গুণ সিভি হয়, এবং আমার বাইরের লুপটি 5-ভাঁজ সিভি, এবং আমি নির্বাচন করেছি, বলুন, অভ্যন্তরীণ সিভিতে র‌্যান্ডম গ্রিড অনুসন্ধানের অংশ হিসাবে পরীক্ষার জন্য 100 পয়েন্ট, আমি আসলে কতবার গ্ল্যামনেটকে প্রশিক্ষণ দিই? মডেল? (100 * 5 * 5) চূড়ান্ত বিল্ডের জন্য + 1, বা এমন আরও কিছু পদক্ষেপ রয়েছে যা সম্পর্কে আমি অজানা?

মূলত, নেস্টেড সিভি থেকে পারফরম্যান্সের প্রাক্কলনটি কীভাবে ব্যাখ্যা করা যায় এবং চূড়ান্ত মডেলটি কীভাবে তৈরি করা যায় তার একটি খুব স্পষ্ট বর্ণনা আমার দরকার।

আমি আমার চূড়ান্ত গ্ল্যামনেট মডেল থেকে (বাইনারি) শ্রেণির লেবেলে রূপান্তর করার জন্য সম্ভাব্যতা চৌম্বকটি বাছাইয়ের উপযুক্ত পদ্ধতিটি জানতে চাই --- আরও একটি লুপ সিভি দরকার?

উত্তর:


8

নেস্টেড ক্রস বৈধতা বাসা ছাড়াই ব্যাখ্যা করা হয়েছে

এখানে আমি কীভাবে দেখি (নেস্টেড) ক্রস বৈধকরণ এবং মডেল বিল্ডিং। নোট করুন যে আমি রসায়নবিদ এবং যেমন আপনি অ্যাপ্লিকেশন দিক থেকে মডেল বিল্ডিং প্রক্রিয়াটির দিকে তাকান (নীচে দেখুন)। আমার এখানে মূল বক্তব্য আমার দৃষ্টিকোণ থেকে আমার কোনও নিবেদিত নেস্টেড বিভিন্ন ধরণের ক্রস যাচাইকরণের প্রয়োজন নেই। আমার একটি বৈধতা পদ্ধতি (যেমন ক্রস বৈধকরণ) এবং একটি মডেল প্রশিক্ষণের ফাংশন প্রয়োজন:

model = f (training data)

"আমার" মডেল প্রশিক্ষণের জন্য f কোনও হাইপারপ্যারামিটারের প্রয়োজন হয় না কারণ এটি অভ্যন্তরীণভাবে সমস্ত হাইপারপ্যারামিটার টিউনিং করে (যেমন আপনার alpha, lambdaএবং threshold)।

অন্য কথায়, আমার প্রশিক্ষণ ফাংশনটিতে অভ্যন্তরীণ ক্রস বৈধতাগুলি (বা ব্যাগের বাইরে বা কখনও পারফরম্যান্সের অনুমান হিসাবে আমি দরকারী বলে মনে করি) থাকতে পারে। তবে নোট করুন যে পরামিতি এবং হাইপার-প্যারামিটারগুলির মধ্যে পার্থক্যটি হ'ল হাইপারপ্যারামিটারগুলিকে হাতে থাকা ডেটা সেট / অ্যাপ্লিকেশনটির সাথে সুর করা দরকার যখন প্যারামিটারগুলি পরে তা কোনও তথ্যই নির্বিশেষে ফিট করা যায়। সুতরাং একটি নতুন শ্রেণিবদ্ধকরণ অ্যালগরিদমের বিকাশকারী দৃষ্টিকোণ থেকে, কেবলমাত্র "নগ্ন" ফিটিং ফাংশন ( g (training data, hyperparameters)) সরবরাহ করা বুদ্ধিমান হয় না যা যদি ডেটা এবং হাইপারপ্যারামিটার দেওয়া হয় তবে পরামিতিগুলি ফিট করে।

"বহিরাগত" প্রশিক্ষণ ফাংশনটি fহ'ল বিষয়টি হ'ল আপনার ক্রস বৈধকরণ চালানোর পরে, এটি আপনাকে "পুরো ডেটা সেটটিতে" প্রশিক্ষণ দেওয়ার সোজা উপায় দেয়: ক্রস বৈধতা সারোগেট মডেলগুলির f (whole data set)কলের পরিবর্তে কেবল ব্যবহার করুন f (cv split training data)

আপনার উদাহরণস্বরূপ, আপনার কাছে 5 + 1 কল হবে fএবং প্রতিটি কলগুলির মধ্যে fঅবশ্যই 100 * 5 টি কল থাকবে g


সম্ভাবনা প্রান্তিক

আপনি অন্য ক্রস বৈধতা দিয়ে এটি করতে পারার সময়, এটি প্রয়োজনীয় নয়: এটি আপনার ব্যবহারের জন্য প্রস্তুত মডেলটির আরও একটি হাইপারপ্যারামিটার এবং এর ভিতরে অনুমান করা যায় f

আপনাকে এটি ঠিক করার জন্য যা প্রয়োজন তা হিউরিস্টিক যা আপনাকে এই ধরনের একটি দোরগোড়া গণনা করতে দেয়। বিস্তৃত হিউরিস্টিকস রয়েছে (আরওসি থেকে এবং নির্দিষ্ট করে যে ন্যূনতম গ্রহণযোগ্য সংবেদনশীলতা বা সুনির্দিষ্টতা বা পিপিভি বা এনপিভির তুলনায় দু'দিকের প্রবেশদ্বারকে মিথ্যা নেগেটিভের তুলনায় মিথ্যা পজিটিভগুলি এড়ানো কতটা গুরুত্বপূর্ণ তা নির্দিষ্ট করে এবং "অনিশ্চিত" (এনএ) স্তর ইত্যাদি) ) যা বিভিন্ন পরিস্থিতিতে উপযুক্ত - ভাল হিউরিস্টিক্স সাধারণত খুব অ্যাপ্লিকেশন নির্দিষ্ট।

তবে এখানে প্রশ্নের জন্য, আপনি এটি ভিতরে করতে পারেন fএবং উদাহরণস্বরূপ আরওসি গণনা করার জন্য অভ্যন্তরীণ ক্রস বৈধকরণের সময় প্রাপ্ত পূর্বাভাসগুলি ব্যবহার করে এবং সে অনুযায়ী আপনার কার্যকরী বিন্দু / প্রান্তিকের সন্ধান করতে পারেন।


প্রশ্নের অংশগুলিতে নির্দিষ্ট মন্তব্য

আমি বুঝতে পারি যে আমার চূড়ান্ত মডেলটির প্রত্যাশিত পারফরম্যান্সের প্রাক্কলন হিসাবে অনুকূল হাইপারপ্যারামিটারগুলি বেছে নেওয়ার জন্য সিভি থেকে ব্যবহৃত পারফরম্যান্সের প্রতিবেদন করা উচিত নয় (যা অত্যধিক-আশাবাদী হবে) তবে পরিবর্তে এই অনুমানটি পাওয়ার জন্য বাইরের সিভি লুপ অন্তর্ভুক্ত করা উচিত ।

হ্যাঁ. (যদিও অভ্যন্তরীণ অনুমানটি বাইরের অনুমানের সাথে সম্পর্কিত তথ্য বহন করে: যদি এটি বাইরের অনুমানের তুলনায় অনেক বেশি আশাবাদী হয় তবে আপনি সাধারণত উত্সাহী are

আমি বুঝতে পারি যে অভ্যন্তরীণ সিভি লুপটি মডেল নির্বাচনের জন্য ব্যবহৃত হয়

যে কোনও ধরণের ডেটা-চালিত মডেল টিউনিং, সত্যই -> এতে আপনার কাটঅফ-থ্রেশহোল্ড টিউন করা অন্তর্ভুক্ত রয়েছে।

(এই ক্ষেত্রে, সর্বোত্তম হাইপারপ্যারামিটারগুলি) এবং বাইরের লুপটি মডেল মূল্যায়নের জন্য ব্যবহৃত হয়, অর্থাত্ অভ্যন্তরীণ এবং বহিরাগত সিভি দুটি পৃথক উদ্দেশ্যে পরিবেশন করে যা প্রায়শই ভুলভ্রান্তভাবে সঙ্কোচিত হয়।

হ্যাঁ.

যে, হাইপারপ্যারমিটার টিউনিং "মডেল তৈরির পদ্ধতি" এর অংশ is

আমি এটিকেও এইভাবে দেখতে পছন্দ করি: আমি রসায়নবিদ এবং যেমন আপনি অ্যাপ্লিকেশন দিকটি দেখেন: আমার জন্য একটি প্রশিক্ষিত / লাগানো মডেল হাইপারপ্যারামিটারগুলি ছাড়া সম্পূর্ণ হয় না বা আরও স্পষ্টভাবে বলতে গেলে, একটি মডেল এমন কিছু যা আমি সরাসরি ব্যবহার করতে পারি পূর্বাভাস প্রাপ্ত। যদিও আপনি লক্ষ্য করেছেন যে অন্য ব্যক্তির একটি ভিন্ন দৃষ্টিভঙ্গি রয়েছে (হাইপারপ্যারামিটার টিউনিং ছাড়াই)। আমার অভিজ্ঞতায়, প্রায়শই এটি নতুন মডেল বিকাশের লোকদের ক্ষেত্রে হয়: হাইপারপ্যারামিটার টিউনিং তখন একটি "সমাধানিত সমস্যা" এবং বিবেচনা করা হয় না। (পার্শ্ব নোট: বৈধকরণের ক্ষেত্রে ক্রস বৈধকরণ কী করতে পারে সে সম্পর্কে তাদের মতামত অ্যাপ্লিকেশন পক্ষ থেকে ক্রস বৈধকরণ কী করতে পারে তার থেকে কিছুটা আলাদা)।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.