আপনি কী সিভি / বুটস্ট্র্যাপ ব্যবহার করে মেশিন লার্নিং অ্যালগরিদম প্রশিক্ষণ দিয়ে অতিরিক্ত সাজাতে পারেন?


34

এই প্রশ্নটি একটি সুস্পষ্ট উত্তর পেতে খুব খোলামেলা হতে পারে, তবে আশা করি না।

মেশিন লার্নিং অ্যালগরিদম, যেমন এসভিএম, জিবিএম, র‌্যান্ডম ফরেস্ট ইত্যাদি, সাধারণত কিছু ফ্রি প্যারামিটার থাকে যা থাম্ব গাইডেন্সের কিছু নিয়মের বাইরেও প্রতিটি ডেটা সেটে সুর করা দরকার। প্যারামিটারগুলির সেটটি সেরা জেনারেলাইজেশন ত্রুটি প্রদান করে যাতে এটি সাধারণত কোনও ধরণের পুনরায় স্যাম্পলিং কৌশল (বুটস্ট্র্যাপ, সিভি ইত্যাদি) দিয়ে সম্পন্ন হয়।

আমার প্রশ্ন, আপনি কি এখানে খুব দূরে যেতে পারেন? লোকেরা গ্রিড অনুসন্ধানগুলি ততক্ষণে করার বিষয়ে কথা বলে, তবে কেন কেবল এটিকে একটি অপ্টিমাইজেশান সমস্যা হিসাবে বিবেচনা করবে না এবং সর্বোত্তম সম্ভাব্য পরামিতিগুলির মধ্যে ড্রিল করবে না কেন? আমি এই প্রশ্নে এর কয়েকটি যান্ত্রিক সম্পর্কে জিজ্ঞাসা করেছি , তবে এটি তেমন মনোযোগ পাচ্ছে না। হয়তো প্রশ্নটি খারাপভাবে জিজ্ঞাসা করা হয়েছিল, তবে সম্ভবত প্রশ্নটি নিজেই একটি খারাপ পদ্ধতির প্রতিনিধিত্ব করে যা লোকেরা সাধারণত করে না?

আমাকে বিরক্ত করার বিষয়টি নিয়মিতকরণের অভাব। আমি পুনরায় স্যাম্পলিংয়ের মাধ্যমে জানতে পারি যে এই ডেটা সেটের জন্য কোনও জিবিএমে গাছের উত্থানের জন্য সবচেয়ে ভাল সংখ্যক গাছের সংখ্যা 4 টির ইন্টারঅ্যাকশন গভীরতার সাথে 647, তবে আমি কীভাবে নিশ্চিত হতে পারি যে এটি নতুন ডেটার ক্ষেত্রে সত্য হবে (নতুন জনসংখ্যা ধরে নিবেন) প্রশিক্ষণ সেট অনুরূপ)? 'সঙ্কুচিত' - এর (বা আপনি যদি কোনও তথ্যমূলক পূর্বের তথ্য দেবেন না) কোনও যুক্তিসঙ্গত মান না দিয়ে পুনরায় স্যাম্পলিংকে সেরা করার মতো বলে মনে হয়। আমি এই সম্পর্কে কোনও কথা শুনি না, তাই আমি অনুপস্থিত হয়েছি যে আমি এখানে কিছু অনুপস্থিত রয়েছি কিনা।

স্পষ্টতই একটি মডেলের বাইরে থাকা ভবিষ্যদ্বাণীপূর্ণ শক্তির প্রতিটি শেষ বিটকে চেপে ধরার জন্য অনেকগুলি পুনরাবৃত্তি করার সাথে যুক্ত একটি বৃহত গণনা মূলক ব্যয় রয়েছে, সুতরাং স্পষ্টতই এটি এমন কিছু যা আপনার যদি অপটিমাইজেশন এবং প্রতিটি বিট করার সময় / গ্রান্ট পেয়ে থাকে তবে আপনি যা করবেন কর্মক্ষমতা উন্নতি মূল্যবান।


সিভি বিভিন্ন জিনিসের জন্য ব্যবহার করা যেতে পারে। স্পষ্টতই, আপনি যখন 'গ্রিড অনুসন্ধান' বা 'হাইপারপ্যারামিটার টিউনিং' বলবেন, আপনি মডেল নির্বাচনের কথা বলছেন , বৈশিষ্ট্য নির্বাচন নয় , এমনকি শ্রেণিবিন্যাস ত্রুটির অনুমানও করছেন।
স্মি

উত্তর:


30

এই প্রশ্নের একটি সুনির্দিষ্ট উত্তর রয়েছে যা হ্যাঁ "হ্যাঁ, ক্রস-বৈধতা ভিত্তিক মডেল নির্বাচনের মানদণ্ডকে উপস্থাপন করা এবং খারাপভাবে জেনারেট হওয়া মডেলটি শেষ করা সম্ভব! " ! আমার দৃষ্টিতে, এটি ব্যাপকভাবে প্রশংসা করা হয়নি বলে মনে হয়, তবে এটি মেশিন লার্নিং পদ্ধতির প্রয়োগের ক্ষেত্রে যথেষ্ট ক্ষতি এবং এটি আমার বর্তমান গবেষণার মূল ফোকাস; আমি এ পর্যন্ত দুটি বিষয় লিখেছি

জিসি কাওলি এবং এনএলসি টালবট, মডেল নির্বাচনের ওভার-ফিটিং এবং পারফরম্যান্স মূল্যায়নে পরবর্তী নির্বাচনের পক্ষপাত, মেশিন লার্নিং রিসার্চ জার্নাল, ২০১০। গবেষণা, খণ্ড 11, পৃষ্ঠা 2079-2107, জুলাই 2010. ( www )

যা প্রমাণ করে যে মডেল নির্বাচনের ক্ষেত্রে ওভার-ফিটিং মেশিন লার্নিংয়ে যথেষ্ট সমস্যা (এবং পারফরম্যান্স মূল্যায়নের সময় আপনি যদি মডেল নির্বাচনের কোণগুলি কাটেন তবে আপনি গুরুতর পক্ষপাতমূলক পারফরম্যান্স অনুমান করতে পারেন) এবং

জিসি কাওলি এবং এনএলসি টালবোট, হাইপার-প্যারামিটারগুলি বায়সিয়ান নিয়মিতকরণের মাধ্যমে মডেল নির্বাচনের ক্ষেত্রে অতিরিক্ত-ফিটিং প্রতিরোধ করা, মেশিন লার্নিং রিসার্চ জার্নাল, খণ্ড 8, পৃষ্ঠা 841-861, এপ্রিল 2007. ( www )

যেখানে ক্রস-বৈধতা ভিত্তিক মডেল নির্বাচনের মানদণ্ডকে মডেল নির্বাচনের জন্য কম খরচে অতিরিক্ত ফিট করার চেষ্টা করার জন্য নিয়মিত করা হয় (আপনি যদি অনেক হাইপার-পরামিতি সহ কার্নেল ব্যবহার করেন তবে এটি একটি মূল সমস্যা) problem

আমি এই মুহুর্তে গ্রিড-অনুসন্ধান ভিত্তিক মডেল নির্বাচনের উপর একটি কাগজ লিখছি, যা দেখায় যে গ্রিডটি ব্যবহার করা অবশ্যই সম্ভব যেখানে খুব ভাল যেখানে আপনি এমন একটি মডেল শেষ করেন যা পরিসংখ্যানগত দিক থেকে নিকৃষ্টতর মানের দ্বারা নির্বাচিত কোনও মডেলের চেয়ে নিকৃষ্টতর হয় মোটা গ্রিড (এটি স্ট্যাকএক্সচেঞ্জের একটি প্রশ্ন যা আমাকে গ্রিড-অনুসন্ধানে দেখার জন্য অনুপ্রাণিত করেছিল)।

আশাকরি এটা সাহায্য করবে.

পিএস নিরপেক্ষ পারফরম্যান্স মূল্যায়ন এবং নির্ভরযোগ্য মডেল নির্বাচন প্রকৃতপক্ষে গণনামূলকভাবে ব্যয়বহুল হতে পারে, তবে আমার অভিজ্ঞতায় এটি সার্থক। নেস্টেড ক্রস-বৈধকরণ, যেখানে বহিরাগত ক্রস-বৈধতা কর্মক্ষমতা অনুমানের জন্য ব্যবহৃত হয় এবং মডেল নির্বাচনের জন্য অভ্যন্তরীণ ক্রসওলিফিকেশন একটি ভাল বেসিক পদ্ধতির।


পারফেক্ট! দেখে মনে হচ্ছে papers কাগজপত্রগুলি ঠিক আমার পরে ছিল। তার জন্য ধন্যবাদ.
বোগদানোভিস্ট

যদি কাগজপত্র সম্পর্কে আপনার কোনও প্রশ্ন থাকে তবে আমাকে জানান (ইমেলের মাধ্যমে - আমি প্রথম লেখক এবং আমার ইমেল ঠিকানা কাগজে রয়েছে)।
ডিকরান মার্সুপিয়াল

@ ডিক্রানমারসুপিয়াল মডেল নির্বাচনের কারণে ও ট্রেন এবং পরীক্ষার সেটগুলির মধ্যে স্যাম্পলিং মিলের কারণে আপনি কীভাবে ওভারফিটিংকে আলাদা করতে পারেন?
ইমেজ_ডোক্টর

1
নীতিগতভাবে, একটি সিনথেটিক ডেটাসেট ব্যবহার করে যেখানে গ্রাউন্ড সত্য পাওয়া যায়, তবে এটি সরাসরি-সামনের দিকে এগিয়ে যায়, কারণ সেখানে কোনও নমুনা না পাওয়া যায় না; প্রশিক্ষণ সেটটি অন্তর্নিহিত বিতরণ থেকে কেবল একটি এলোমেলো নমুনা এবং সীমাবদ্ধ নমুনার চেয়ে আপনি বিতরণ থেকেই ত্রুটিটি অনুমান করতে পারেন। রিয়েল-ওয়ার্ড ডেটাসেটের জন্য, তবে এএএএফসিএস আপনি পরিচালনা করতে পারেন সেরাটি পুনরায় মডেলিং ব্যবহার করে এবং অনেকগুলি এলোমেলো পরীক্ষা / প্রশিক্ষণের বিভাজনে মডেল নির্বাচনের মানদণ্ডকে অতিরিক্ত ফিট করার প্রভাবগুলি নির্ধারণ করে।
ডিকরান মার্সুপিয়াল

2
দুঃখজনকভাবে এটি প্রত্যাখ্যান করা হয়েছিল, তবে আমি পর্যালোচকদের (খুব দরকারী) মন্তব্যে নেওয়া এবং এটি অন্য জার্নালে পুনরায় জমা দেওয়ার জন্য এটি সংশোধন করব।
ডিকরান মার্শুপিয়াল

7

ক্রস বৈধকরণ এবং বুটস্ট্র্যাপ ত্রুটি হারের প্রাক্কলন দেখানো হয়েছে যা প্রায় পক্ষপাতহীন এবং কিছু ক্ষেত্রে ক্রস-বৈধকরণের ওপরে বুটস্ট্র্যাপ দ্বারা আরও সঠিকভাবে। পুনরায় প্রতিষ্ঠানের মতো অন্যান্য পদ্ধতির সমস্যাটি হ'ল একই ডেটা সেটটিতে ত্রুটিটি নির্ধারণ করে যে আপনি আপনার সাথে শ্রেণিবদ্ধের সাথে ফিট করে ত্রুটি হারকে চূড়ান্তভাবে কম মূল্যায়ন করতে পারেন এবং অ্যালগরিদমের দিকে পরিচালিত হতে পারে যা অনেকগুলি পরামিতিগুলিকে অন্তর্ভুক্ত করে এবং ভবিষ্যতের মানগুলি যথাযথভাবে ভবিষ্যদ্বাণী করবে না একটি অ্যালগোরিদম পরামিতিগুলির একটি ছোট সেট মাপসই। পরিসংখ্যানগত পদ্ধতিগুলির ব্যবহারের মূল চাবিকাঠিটি হ'ল শ্রেণিবদ্ধকারীটি আপনার যে ডেটা ক্লাসিফায়ার করেছেন তা ভবিষ্যতে দেখবেন যেখানে ক্লাসগুলি অনুপস্থিত রয়েছে এবং অবশ্যই শ্রেণিবদ্ধের দ্বারা পূর্বাভাস দিতে হবে। আপনি যদি ভাবেন যে ভবিষ্যতের ডেটাগুলি খুব আলাদা হতে পারে তবে পরিসংখ্যানিক পদ্ধতিগুলি সাহায্য করতে পারে না এবং আমি করি না '


উত্তর করার জন্য ধন্যবাদ. আমি প্রশ্নটি সম্পাদনা করে এটা পরিষ্কার করে দিয়েছি যে আমি ট্রেন এবং পরীক্ষার সেটগুলির মধ্যে জনসংখ্যার পরিবর্তন সম্পর্কে জিজ্ঞাসা করছি না। আমি বুঝতে পারি যে এটি সম্পূর্ণ আলাদা প্রশ্ন যা আমি এই প্রশ্নের জন্য আগ্রহী নই।
বোগদানোভিস্ট

1
+1 এই ক্ষেত্রে নিরপেক্ষতা মূলত অপ্রাসঙ্গিক। ক্রস-বৈধকরণের প্রাক্কলনের প্রাক্কলনের ফলে সমস্যা অনেক বেশি হতে পারে। একটি মডেল নির্বাচনের মানদণ্ডের জন্য আপনার সাধারণীকরণের ত্রুটির (হাইপার-প্যারামিটারগুলির ক্রিয়াকলাপ হিসাবে) সর্বনিম্নভাবে নির্ভরযোগ্যতার নিকটতম মানদণ্ডের ন্যূনতম প্রয়োজন । এটি যদি যথাযথভাবে সঠিক জায়গায় থাকে তবে এটির কোনও ব্যবহার নেই, তবে মিনিমার ফোরার বিভিন্ন তথ্যের সীমাবদ্ধ নমুনাগুলি সমস্ত জায়গাতেই রয়েছে।
ডিকরান মার্সুপিয়াল

1
অবশ্যই নির্ভুলতা পক্ষপাত এবং বৈকল্পিক সংমিশ্রণ এবং একটি বড় বৈকল্পিকের সাথে একটি পক্ষপাতহীন অনুমান একটি ছোট বৈকল্পিকের সাথে সামান্য পক্ষপাতদুষ্ট অনুমানকারী হিসাবে ভাল নয়। ত্রুটি হারের নিয়াভ অনুমানটি পুনঃব্যবস্থাপনা এবং এর একটি বিশাল পক্ষপাত রয়েছে। বুটস্ট্র্যাপ 2৩২ এবং 2৩২+ এত ভালভাবে কাজ করে কারণ তারা বৈষম্যের খুব বেশি বৃদ্ধি ছাড়াই পক্ষপাতের জন্য সামঞ্জস্য করে একটি ভাল কাজ করে। এ কারণেই লিনিয়ার বৈষম্যমূলক ক্রিয়াকলাপ এবং চতুর্ভুজ বৈষম্যমূলক ক্রিয়াকলাপের জন্য তারা ক্রস-বৈধতার ছাড়ার এক-আউট সংস্করণের চেয়ে অনেক বেশি ভাল কাজ করে।
মাইকেল আর চেরনিক

শ্রেণিবদ্ধকরণ ট্রি এনসাম্বলগুলি সহ বুটস্ট্র্যাপ আরও ভাল করার জন্য প্রদর্শিত হয় নি।
মাইকেল আর চেরনিক

1
সম্ভবত একটি অসুবিধা হ'ল অতিরিক্ত ফিট করার অর্থ মেশিন লার্নিং এবং পরিসংখ্যানের বিভিন্ন জিনিস। আমার কাছে মনে হয় পরিসংখ্যানবিদরা কখনও কখনও প্রয়োজনের চেয়ে বেশি পরামিতি সহ একটি মডেলকে বোঝাতে ওভার-ফিটিং ব্যবহার করেন, পর্যবেক্ষণগুলির কাছে খুব কাছাকাছি ফিট হওয়ার চেয়ে (প্রশিক্ষণের মানদণ্ড অনুসারে মাপা)) আমি সেই পরিস্থিতিতে সাধারণত "ওভার-প্যারামিটারাইজড" ব্যবহার করতাম এবং "ওভার-ফিট" ব্যবহার করার অর্থ কোনও মডেলকে সাধারণীকরণের কর্মক্ষমতা ব্যয় করে পর্যবেক্ষণগুলির সাথে খুব বেশি ঘনিষ্ঠভাবে ফিট করা হত। সম্ভবত আমরা এখানেই আন্তঃ-উদ্দেশ্য নিয়ে কথা বলছি?
ডিকরান মার্সুপিয়াল

4

আমি এখানে একটি উত্তর সন্দেহ করি যে, অপ্টিমাইজেশনের প্রসঙ্গে, আপনি যা অনুসন্ধান করার চেষ্টা করছেন তা noisyব্যয় কার্যের একটি বিশ্ব সর্বনিম্ন । সুতরাং আপনার কাছে বহুমাত্রিক বৈশ্বিক আশাবাদী প্লাস ব্যয় কার্যক্রমে যুক্ত স্টোকাস্টিক উপাদানগুলির সমস্ত চ্যালেঞ্জ রয়েছে।

স্থানীয় মিনিমা এবং একটি ব্যয়বহুল অনুসন্ধান স্পেসের চ্যালেঞ্জ মোকাবেলায় অনেকগুলি পদ্ধতির নিজস্ব প্যারামিটার রয়েছে যার জন্য সুর প্রয়োজন, যেমন সিমুলেটেড অ্যানিলিং বা মন্টি কার্লো পদ্ধতিগুলি।

একটি আদর্শ, গণনাতীত সীমাহীন মহাবিশ্বের, আমি সন্দেহ করি যে আপনি ত্রুটি ফাংশনটির অনুমানের পক্ষপাত এবং তারতম্যের উপর যথাযথভাবে সীমাবদ্ধতার সাথে আপনার পরামিতি স্থানের একটি সর্বনিম্ন সন্ধান করার চেষ্টা করতে পারেন suspect আপনি কীভাবে বিজ্ঞাপনের পুনরায় নমুনা করতে পারবেন এই পরিস্থিতিটি নিয়মিতকরণ কোনও সমস্যা হবে না।

বাস্তব বিশ্বে আমি সন্দেহ করি আপনি সহজেই একটি স্থানীয় সর্বনিম্নে নিজেকে খুঁজে পেতে পারেন।

যেমনটি আপনি উল্লেখ করেছেন, এটি একটি পৃথক সমস্যা, তবে এটি আপনার কাছে উপলব্ধ ডেটার সাথে সম্পর্কিত নমুনা সংক্রান্ত সমস্যার কারণে এবং আপনার নমুনা জায়গার প্রকৃত অন্তর্নিহিত বিতরণের সাথে সম্পর্কযুক্ত কারণগুলির কারণে আপনাকে অতিরিক্ত মানিয়ে নিতে উন্মুক্ত করে।


4

এটি দৃ strongly়ভাবে অ্যালগরিদমের উপর নির্ভর করে, তবে আপনি অবশ্যই এটি করতে পারেন - যদিও বেশিরভাগ ক্ষেত্রে এটি কেবল প্রচেষ্টাটির এক সৌম্য বর্জ্য হবে।

(এক্স)এক্সএক্সমনোনীত করা(এক্স)+ +εεএক্সএক্সমনোনীত করাএক্সমনোনীত করা+ +ε

এক্সমনোনীত করাএক্সমনোনীত করাএক্সমনোনীত করা

সুতরাং, ভাল, (ভাল জার্নালে উপস্থিত অনুশীলনের উপর ভিত্তি করে) পূর্ণ, প্যারামিটার নির্বাচনের বাহ্যিক বৈধতা যা আপনাকে কঠোরভাবে করতে হবে তা নয় (বৈশিষ্ট্য নির্বাচনের বৈধতা যাচাইয়ের মত নয়), তবে কেবলমাত্র অপটিমাইজেশন কর্সারি হলে এবং শ্রেণিবদ্ধটি বরং সংবেদনশীল পরামিতি।


4

হ্যাঁ, প্যারামিটারগুলি ক্রসওয়েডেশন বা বুটস্ট্র্যাপিংয়ের সময় প্রশিক্ষণ এবং পরীক্ষার সেটগুলিতে "অতিমাত্রায়িত" হতে পারে। তবে এটি রোধ করার জন্য কিছু পদ্ধতি রয়েছে। প্রথম সহজ পদ্ধতিটি হ'ল, আপনি আপনার ডেটাসেটটি 3 টি পার্টিশনে বিভক্ত করুন, একটি টেস্টিংয়ের জন্য (~ 20%), একটি অপ্টিমাইজড পরামিতি (~ 20%) পরীক্ষার জন্য এবং একটি সেট পরামিতিগুলির সাথে শ্রেণিবদ্ধকরণের জন্য উপযুক্ত। আপনার কাছে যথেষ্ট বড় ডেটাসেট থাকলেই এটি সম্ভব। অন্যান্য ক্ষেত্রে ডাবল ক্রসওয়েডেশন প্রস্তাবিত হয়।

রোমেন ফ্রাঁসোয়া এবং ফ্লোরেন্ট ল্যাংরোগনেট, "মডেল ভিত্তিক শ্রেণিবিন্যাসের জন্য ডাবল ক্রস বৈধকরণ", ২০০

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.