নিয়মিতকরণ


10

নিয়মিতকরণ করার জন্য অনেকগুলি পদ্ধতি রয়েছে - এল0, এল1, এবং এল2উদাহরণস্বরূপ আদর্শ ভিত্তিক নিয়মিতকরণ। ফ্রেডম্যান হাসেটি এবং তিবশরানির মতে , সেরা নিয়ন্ত্রক সমস্যাটির উপর নির্ভর করে: যথা সত্য টার্গেট ফাংশনের প্রকৃতি, ব্যবহৃত নির্দিষ্ট ভিত্তি, সংকেত-থেকে-শব্দ অনুপাত এবং নমুনার আকার।

বিভিন্ন নিয়মিতকরণ পদ্ধতির কার্যকারিতা এবং পারফরম্যান্সের তুলনা করে কি কোন অভিজ্ঞতাগত গবেষণা রয়েছে?


তিনটি লেখকই স্ট্যানফোর্ডে আছেন। কেন কেবল তাদের একজনকে সরাসরি জিজ্ঞাসা করবেন না। রব তিবশিরানী খুব সহজলভ্য এবং জেরি ফ্রেডম্যানও। নিয়ন্ত্রিত রিগ্রেশন ফ্রিডম্যান অনেকগুলি মূল গবেষণা করেছিলেন। সুতরাং তিনি আরও ভাল পছন্দ হতে পারে।
মাইকেল আর চেরনিক

অবশ্যই আমি বলতে পারি না যে আমি তাকে উত্তর দিয়েছি। তবে প্রশ্নের উত্তরের জন্য তাকে সেরা ব্যক্তির দিকে পরিচালিত করা কেবল একটি সাধারণ মন্তব্যের চেয়ে বেশি মনে হয় যা সাধারণত পরিষ্কার করার চেষ্টা করে। আমি প্রায়শই অবাক হয়েছি কেন লোকেরা যখন উত্সটিতে সরাসরি যেতে পারে তখন কেন সবসময় তাদের প্রশ্নগুলি এখানে জিজ্ঞাসা করে? আমি প্রায় নিশ্চিত যে ফ্রিডম্যান এর উত্তর দিতে পারে এবং উত্সটিতে যাওয়ার জন্য এটি এতটা বোধগম্য হয় বিশেষত যখন এটি তাদের বইতে রচিত কিছু সম্পর্কে প্রশ্ন about আমি উত্সটি উত্তর পেতে এবং তারপর এটি এখানে উপস্থাপন করতে পারে।
মাইকেল আর চেরনিক

1
মানুষ কর্তৃপক্ষ হিসাবে উত্সের মর্যাদায় ভয় পেয়েছে, ধরে নিই উত্সটি তাদের (তাদের মতে) ছোটখাটো এবং গুরুত্বহীন প্রশ্ন মোকাবেলায় অনেক ব্যস্ত, একটি অভদ্রতা পেতে ভয় পায় "কেন আপনি আমাকে এ নিয়ে বিরক্ত করছেন?" উত্তর ... আপনি যদি ক্ষেত্রের মধ্যে, সম্ভবত অন্যান্য জিনিসগুলির জন্য উত্স হন তবে উত্সটিতে যাওয়া আরও সহজ।
জবোম্যান

1
@ জবোম্যান হ্যাঁ আমি বুঝতে পারি যে. তবে আপনি নোট করবেন যে আমি তিবশিরানী এবং ফ্রিডম্যানকে ব্যক্তিগত ভিত্তিতে জানি এবং ওপিকে আশ্বাস দিয়েছিলাম যে এই লেখকগুলির সাথে তাদের ভয় ভিত্তিহীন। আমি
হাসিটির

1
@ সিএইচএল আমি ভাবি না যে আমরা বাস্তবে তাদের সাইটে যোগদানের আশা করতে পারি। ফ্র্যাঙ্ক হ্যারেলের মতো ব্যতিক্রম অধ্যাপক এবং সম্ভবত ছদ্মনাম ব্যবহার করা অন্যদের জন্য এটি ব্যস্ত অধ্যাপকদের জন্য খুব বেশি সময় প্রয়োজন। তবে আমি মনে করি তারা সরাসরি পাঠানো নির্দিষ্ট প্রশ্নের জবাব দিতে সময় নেবে।
মাইকেল আর চেরনিক

উত্তর:


2

একটি দণ্ডিত লিনিয়ার মডেল বিবেচনা করা যাক।

দ্য এল0 পেনাল্টি খুব ব্যবহৃত হয় না এবং প্রায়শই এটি দ্বারা প্রতিস্থাপিত হয় এল1 আদর্শ যে গাণিতিকভাবে আরও নমনীয়।

দ্য এল1নিয়মিতকরণের একটি বিচ্ছিন্ন মডেল তৈরির সম্পত্তি রয়েছে। এর অর্থ হ'ল কেবলমাত্র কয়েকটি ভেরিয়েবলের একটি 0 অ-রিগ্রেশন সহগ থাকবে। এটি বিশেষত ব্যবহৃত হয় যদি আপনি ধরে নেন যে কেবলমাত্র কয়েকটি ভেরিয়েবলের আউটপুট ভেরিয়েবলের উপর সত্যিকারের প্রভাব রয়েছে। যদি খুব পারস্পরিক সম্পর্কযুক্ত ভেরিয়েবল থাকে তবে এর মধ্যে একটি মাত্র 0 টি সহগের সাথে নির্বাচন করা হবে।

দ্য এল2 পেনাল্টি হ'ল যদি আপনি কোনও মান যোগ করেন λইনপুট ম্যাট্রিক্সের তির্যক উপর। এটি উদাহরণস্বরূপ এমন পরিস্থিতিতে ব্যবহার করা যেতে পারে যেখানে নমুনার সংখ্যার চেয়ে ভেরিয়েবলের সংখ্যা বেশি। একটি বর্গ ম্যাট্রিক্স পেতে। সাথেএল2 আদর্শ পেনাল্টি সমস্ত ভেরিয়েবলের শূন্য র্রেশন সহগ থাকে।


1
অতিরিক্ত অবদান হিসাবে, বিশেষত এল0আদর্শ, আমি জানি না যে আমি এটি বলব কারণ এটি "গাণিতিকভাবে নমনীয়" নয়; আমি মনে করি এটি প্রাথমিকভাবে কারণ অপ্টিমাইজেশনটি নিষিদ্ধ ব্যয়বহুল (এটি করার চেষ্টা করার উপায় রয়েছে, তবে আমি মনে করি না যে কোনও কিছুই সম্পূর্ণ সাধারণতার সাথে কাজ করে)। আমি এমন একটি "বিগ-পনির" চিত্র জানি যা ভেরিয়েবল সিলেকশনে কাজ করে যারা বলেছিলেন যে তিনি এটি ব্যবহার করতে পছন্দ করবেনএল0পেনাল্টি এবং সেই গণনাটিই তিনি করেন না doesn't
লোক

1

@ দনবিওর উত্তরে কয়েকটি সংযোজন

1) L0 আদর্শটি সত্য অর্থে আদর্শ নয়। এটি কোনও ভেক্টরের শূন্য নয় এমন এন্ট্রিগুলির সংখ্যা। এই আদর্শটি স্পষ্টভাবে উত্তল আদর্শ নয় এবং প্রকৃত অর্থে এটি কোনও আদর্শ নয়। সুতরাং আপনি L0 'আদর্শ' এর মতো শব্দ দেখতে পাবেন। এটি একটি সংযুক্ত সমস্যা হয়ে ওঠে এবং তাই এনপি হার্ড।

2) এল 1 আদর্শ একটি বিচ্ছিন্ন সমাধান দেয় (লাসোটি দেখুন)। ক্যান্ডস, ডোনহো ইত্যাদি দ্বারা অন্তর্নিহিত ফলাফল রয়েছে যারা দেখায় যে সত্যিকারের সমাধানটি যদি সত্যিই বিস্মৃত হয় তবে এল 1 দণ্ডিত পদ্ধতিগুলি এটি পুনরুদ্ধার করবে। অন্তর্নিহিত সমাধানটি অপ্রয়োজনীয় না হলে p> এন ক্ষেত্রে আপনি অন্তর্নিহিত সমাধান পাবেন না। এখানে দুর্দান্ত ফলাফল রয়েছে যা দেখায় যে লাসো সামঞ্জস্যপূর্ণ।

3) ঝো এবং হাস্টি দ্বারা ইলাস্টিক নেট এর মতো পদ্ধতি রয়েছে যা এল 2 এবং এল 1 দন্ডযুক্ত সমাধানগুলিকে একত্রিত করে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.