"বুটস্ট্র্যাপ বৈধতা" (ওরফে "পুনরায় মডেল ক্রস-বৈধকরণ") এর পদ্ধতি কী?


15

"বুটস্ট্র্যাপ বৈধতা" / "পুনর্নির্মাণ ক্রস-বৈধকরণ" আমার কাছে নতুন, তবে এই প্রশ্নের উত্তর দিয়ে আলোচনা করা হয়েছিল । আমি সংগ্রহ করি এটিতে 2 ধরণের ডেটা জড়িত থাকে: আসল ডেটা এবং সিমুলেটেড ডেটা, যেখানে সিমুলেটেড ডেটাগুলির একটি সেট সেট রিয়েল রিপ্লেলিং-উইথ রিপ্লেসমেন্টের মাধ্যমে আসল ডেটা থেকে উত্পন্ন হয় যতক্ষণ না সিমুলেটেড ডেটা একই ডেটা একই আকারের হয় has এই জাতীয় ডেটা ধরণের ব্যবহারের জন্য আমি দুটি পদ্ধতির কথা ভাবতে পারি: (1) একবারে মডেলটি ফিট করুন, এটি অনেকগুলি সিমুলেটেড ডেটা সেটগুলিতে বহুবার মূল্যায়ন করুন; (২) অনেকগুলি সিমুলেটেড ডেটা সেট ব্যবহার করে মডেলটিকে অনেক বার ফিট করে প্রতিটি সময় আসল ডেটার বিপরীতে মূল্যায়ন করে। কোনটি (যদি হয়) সেরা?

উত্তর:


20

সংক্ষিপ্ত উত্তর: উভয় বৈধতা কৌশল বিভিন্ন মডেল প্রশিক্ষণ এবং পরীক্ষা জড়িত।

কীভাবে এটি করা যায় সে সম্পর্কে দীর্ঘ উত্তর: এটি অবশ্যই নির্ভর করে। তবে এখানে কিছু ধারণা যা আমি বৈধতা পুনর্নির্মাণের বিষয়ে আমার সিদ্ধান্তগুলিকে গাইড করতে ব্যবহার করি। আমি কেমোমেট্রিশিয়ান, সুতরাং এই কৌশলগুলি এবং পদগুলি বিশ্লেষণী-রাসায়নিক সমস্যার সাথে কমবেশি নিবিড়ভাবে সম্পর্কিত।

আমার চিন্তাভাবনাগুলি কিছুটা ব্যাখ্যা করার জন্য, আমি মডেল গুণমান পরিমাপ হিসাবে বৈধতা এবং মডেল পরামিতিগুলি পরিমাপ হিসাবে প্রশিক্ষণের বিষয়ে ভাবি - এটি প্রতিটি অন্যান্য ধরণের পরিমাপের পক্ষে যথেষ্ট শক্তিশালী উপমা নিয়ে যায়।

বৈধতার বিষয়ে এই পদ্ধতির দুটি ভিন্ন দৃষ্টিভঙ্গি রয়েছে:

  1. পুনরায় মডেলিং বৈধতার জন্য aতিহ্যগত দৃষ্টিকোণটি হ'ল: পুনরায় মডেল করা ডেটা সেট (কখনও কখনও সারোগেট ডেটা সেট বা সাবসেট নামে পরিচিত) ব্যবহারিকভাবে মূল (বাস্তব) ডেটা সেটের সমান।
    অতএব, সারোগেট ডেটা সেটের সাথে মানানসই একটি "সারোগেট মডেল" পুরো বাস্তব ডেটা সেটের সাথে মডেলের ফিট হিসাবে কার্যত একই। তবে কিছু নমুনা সার্গেট ডেটা সেট থেকে বাদ পড়েছে, মডেলগুলি এগুলির থেকে স্বতন্ত্র। সুতরাং, আমি সেইগুলি বাম বা আউট-অফ-বুটস্ট্র্যাপ নমুনাগুলি সারোগেট মডেলের জন্য স্বতন্ত্র বৈধতা সেট হিসাবে গ্রহণ করি এবং ফলাফলটি পুরো-ডেটা-মডেলের সান্নিধ্য হিসাবে ব্যবহার করি।
    তবে সরোগেট মডেল প্রায়শই পুরো ডেটা-মডেলের সাথে সমান হয় না: প্রশিক্ষণের জন্য কম নমুনা ব্যবহৃত হত (এমনকি বুটস্ট্র্যাপের জন্যও, বিভিন্ন নমুনার সংখ্যা কম) is যতক্ষণ শেখার বক্ররেখা বাড়ছে ততক্ষণ সারোগেট মডেল পুরো ডেটা-মডেলের চেয়ে গড়পড়তা কিছুটা খারাপ। এটি পুনর্নির্মাণ বৈধতার সুপরিচিত হতাশাবাদী পক্ষপাতিত্ব (যদি আপনি আশাবাদী পক্ষপাতিত্ব শেষ করেন, তবে এটি সাধারণত একটি সূচক যে বাম-আউট / oob পরীক্ষার সেটটি মডেলের চেয়ে স্বতন্ত্র ছিল না)।

  2. দ্বিতীয় দৃষ্টিকোণটি হ'ল যে পুনরায় মডেল করা ডেটা সেটটি পুরো ডেটা সেটের একটি বিশৃঙ্খল সংস্করণ। কীভাবে সরোগেট মডেলগুলি (বা বাম-আউট / oob নমুনাগুলির জন্য তাদের পূর্বাভাস) পুরো ডেটা-মডেল থেকে আলাদা হয় তা প্রশিক্ষণের তথ্যের সাথে মডেলটির স্থায়িত্ব সম্পর্কে কিছু বলে।
    এই দৃষ্টিকোণ থেকে, সারোগেট মডেলগুলি পুনরাবৃত্ত পরিমাপের মতো কিছু। বলুন আপনার কাজটি আকরিকের পুরো ট্রেনের কিছু খনিজ সামগ্রী পরিমাপ করা। আকরিক একজাতীয় নয়। সুতরাং আপনি বিভিন্ন অবস্থান থেকে শারীরিক নমুনা নেন এবং তারপরে ট্রেন জুড়ে সামগ্রিক সামগ্রী এবং এর প্রকরণটি দেখুন। একইভাবে, আপনি যদি মনে করেন যে আপনার মডেলটি স্থিতিশীল নাও হতে পারে, আপনি সারোগেট মডেলগুলির সামগ্রিক কর্মক্ষমতা এবং তারতম্যের দিকে নজর দিতে পারেন।

এন
আমি সাধারণত কেসগুলি পুনরায় নমুনা করি, যেমন একটি কেস = একজন রোগীর সমস্ত পরিমাপ। তারপরে ব্যাগটি হ'ল সমস্ত রোগী যার প্রশিক্ষণের ডেটাতে কোনও পরিমাপ হয় না। এটি কার্যকর যদি আপনি জানেন যে একটি মামলার পরিমাপ অন্যান্য মামলার পরিমাপের চেয়ে একে অপরের সাথে সমান (তবে কমপক্ষে আপনি এই সম্ভাবনাটি বাদ দিতে পারবেন না)।

পুনর্নির্মাণ বৈধতা আপনাকে অজানা নমুনাগুলির জন্য কর্মক্ষমতা পরিমাপ করতে দেয় Not এছাড়াও আপনি যদি অজানা ভবিষ্যতের নমুনাগুলির (পার্সোনাল ড্রিফট!) পারফরম্যান্সটি পরিমাপ করতে চান , তবে আপনার একটি পরীক্ষার সেট প্রয়োজন যা "ভবিষ্যতে" পরিমাপ করা হয় অর্থাৎ সমস্ত প্রশিক্ষণের নমুনাগুলি পরিমাপ করার পরে একটি নির্দিষ্ট সময় প্রয়োজন। বিশ্লেষণাত্মক রসায়নে এটি প্রয়োজন যেমন উদাহরণস্বরূপ আপনি যদি আপনার সরঞ্জামটির ক্রমাঙ্কন পুনরায় করতে চান তা জানতে চান (প্রতিটি সংকল্পের জন্য, প্রতিদিন, সাপ্তাহিক, মাসিক, ...)

বুটস্ট্র্যাপ বনাম ক্রস বৈধকরণ পরিভাষা :

  • প্রতিস্থাপনের সাথে পুনরায় মডেলিংকে প্রায়শই বুটস্ট্র্যাপ বলা হয়,
  • প্রতিস্থাপন ক্রস-বৈধতা ছাড়াই পুনরায় মডেলিং।

উভয়েরই একরকম স্তরবদ্ধতা থাকতে পারে। Icallyতিহাসিকভাবে, ক্রস বৈধকরণের জন্য বিভাজন (কমপক্ষে কেমোমেট্রিক্সে) প্রায়শই একটি নন-এলোমেলো ফ্যাশনে সম্পন্ন করা হয়েছে, উদাহরণস্বরূপ ক্রমাঙ্ককরণের জন্য abcabc..abc (ডেটা সেট অনুসারে বাছাই করা ফলাফল) এর 3-গুণ ক্রস বৈধতা / যদি আপনার খুব কম কেস (শারীরিক নমুনা) থাকে তবে রিগ্রেশন এবং আপনি নিশ্চিত করতে চান যে আপনার পুরো ডেটা পরিসীমা আচ্ছাদিত।

উভয় কৌশলই সাধারণত বেশ কয়েকবার পুনরাবৃত্তি / পুনরাবৃত্তি হয়। আবার historicalতিহাসিক কারণে এবং কমপক্ষে কেমোমেট্রিক্সে, কে-ফোল্ড ক্রস বৈধকরণের অর্থ প্রায়শই কে মডেলগুলি প্রশিক্ষণ এবং পরীক্ষা করা (প্রতিটি পরীক্ষার সাথে জড়িত ছিল না এমন ডেটাগুলির 1 / kth পরীক্ষা করে)। যদি এ জাতীয় এলোমেলো বিভাজন পুনরাবৃত্তি হয়, লোকেরা এটিকে পুনরাবৃত্তি বা পুনরাবৃত্ত ক্রস বৈধতা বলে।

এনএনএন

  • নোট করুন যে বুটস্ট্র্যাপ এমন কিছু মডেল ফিটিং কৌশলগুলির জন্য উপযুক্ত নয় যা প্রথমে সদৃশ মাপগুলি সরিয়ে দেয়।
  • বুটস্ট্র্যাপের কিছু বৈকল্পিক উপস্থিত রয়েছে, যেমন .632-বুটস্ট্র্যাপ এবং .632 +-বুটস্ট্র্যাপ


দীর্ঘ উত্তরটি দুর্দান্ত।
মোমো

(+1) দুর্দান্ত দৃষ্টিকোণ। আমি নিশ্চিত যে সারোগেট শব্দটি আটকে থাকবে।
স্টিফেন

@ স্টেফেন, ধন্যবাদ আমি কোনওভাবেই এই শব্দটির উদ্ভাবক। আমি মনে করি ইউ ব্রাগা-নেটোর কয়েকটি কাগজে আমি প্রথম সাক্ষাত করেছি (সম্ভবত এটি একটি: ncbi.nlm.nih.gov/pubmed/14960464 ) তবে আমি অবিলম্বে এই শব্দটি সম্পর্কে নিশ্চিত
হয়েছি

সিমুলেটেড ডেটা সম্পর্কে প্রশ্নে মন্তব্য সম্পর্কে। প্রতি সেপ্টেম্বর বুটস্ট্র্যাপ সিমুলেটেড ডেটা জড়িত না। বুলেটস্ট্র্যাপ পদ্ধতিটি কোনও বিশেষ সমস্যার ক্ষেত্রে কাজ করে কিনা তা নির্ধারণের উপায় হিসাবে সিমুলেটেড ডেটা ব্যবহৃত হবে। তবে বুটস্ট্র্যাপ নিজেই বুটস্ট্র্যাপের নমুনার উপর ভিত্তি করে ডেটার পুনরায় ব্যবহার। আসল তথ্য সেট থেকে প্রতিস্থাপনের সাথে এলোমেলোভাবে নির্বাচিত নমুনাগুলি। এর মধ্যে সাধারণত এন রেজাল্ট নেওয়া জড়িত যেখানে এন মূল নমুনার আকার। মন্টি কার্লো কম্পিউটারে বুটস্ট্র্যাপ নমুনা তৈরি করে বুটস্ট্র্যাপ বিতরণ আনুমানিক করার উপায় হিসাবে প্রবেশ করে।
মাইকেল আর চেরনিক

3

আমি "সেরা" (যা সম্ভবত আপনি এটির জন্য ব্যবহার করেন তার উপর নির্ভর করে) সম্পর্কে জানি না, তবে আমি নিম্নলিখিত উপায়ে ত্রুটিটি নির্ধারণ করার জন্য বুটস্ট্র্যাপ বৈধতা ব্যবহার করি (তৃতীয় উপায় যদি আপনি চান):

  1. প্রতিস্থাপনের সাথে মূল ডেটা (আকার এন এর) থেকে এন পর্যবেক্ষণগুলির একটি প্রশিক্ষণ সেট আঁকুন।
  2. প্রশিক্ষণের ডেটাতে মডেলটিকে ফিট করুন।
  3. আউট-অফ-ব্যাগ (oob) নমুনাগুলিতে মডেলটির মূল্যায়ন করুন

ব্যাগের বাইরে যা রয়েছে তা সবসময় পরিষ্কারভাবে সংজ্ঞায়িত হয় না। প্রায়শই এটি সমস্ত পর্যবেক্ষণগুলি যা প্রশিক্ষণ সংস্থার অংশ ছিল না। আরও কঠোর হতে হবে (আমি এটি এইভাবে ব্যবহার করি) কেবলমাত্র oob নমুনায় পর্যবেক্ষণ করতে হবে যা পুরো ভবিষ্যদ্বাণী ভেক্টরকে উপলব্ধি করতে পারে যা প্রশিক্ষণের সংস্থার অংশ নয় (যা আপনার অনেক কারণের সাথে যুক্ত হলে বিশেষত কার্যকর)। এমনকি কঠোরভাবে একটি আউব নমুনা ব্যবহার করা হয় যা কেবলমাত্র সেই পর্যবেক্ষণগুলিতে থাকে যাদের মডেলটিতে নির্বাচিত ভবিষ্যদ্বাণীগুলির উপর ভবিষ্যদ্বাণীকারী পরিবর্তনশীলটির আলাদা উপলব্ধি থাকে (বিশেষত দরকারী যদি মডেলটি কিছু পরিবর্তনশীল নির্বাচন পদ্ধতি যেমন গাছের সাথে পাওয়া যায়)।

তারপরে আমি সাধারণত বেশিরভাগ কে এর পুনরাবৃত্তি করি এবং কে-ভাঁজগুলিতে সামগ্রিক ফলাফল (গড় বা মিডিয়ান বা পরিসংখ্যানগুলি যে কার্যকর)। এই পদ্ধতিতে নির্বাচিত মডেলটি সামগ্রিক ডেটা সেট (আপনার বিকল্প 2 এর মতো) এর সাথে আরও মাপসই করা যাবে যদি অতিরিক্ত ফিট করার প্রবণতা থাকে তবে (পারফরম্যান্সের পরিমাপটি বুটস্ট্র্যাপের নমুনাগুলি থেকে খুব বেশি দূরে নয়)।

আমার কাছে যদি আরও বেশি মডেল বা একটি প্যারামিটার গ্রিড বা অনুরূপ থাকে তবে আমি সেগুলি প্রতিটি প্রশিক্ষণের জন্য উপযুক্ত করে রাখি এবং প্রতিটি oob নমুনায় সেগুলি মূল্যায়ন করি। ট্রেনিং সেটটি দু'বার ব্যবহার করাও সম্ভব নয়, তবে প্রতিটি প্রশিক্ষণের জন্য / মডেল জুড়ানোর জন্য প্রতিটি মডেল বা পরামিতি সমন্বয়ের জন্য para

উদাহরণস্বরূপ , বেঞ্চমার্কিং পরীক্ষাগুলির নকশা এবং বিশ্লেষণ দেখুন ।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.