লাসোর জন্য সর্বোত্তম জরিমানা নির্বাচন

15

জরিমানা শর্তের গুণফলের অনুকূল পছন্দ সম্পর্কে কোনও বিশ্লেষণমূলক ফলাফল বা পরীক্ষামূলক কাগজপত্র রয়েছে কি ? দ্বারা অনুকূল , আমি একটি প্যারামিটার যে শ্রেষ্ঠ মডেল, বা যে ছোট প্রত্যাশিত হ্রাস নির্বাচন সম্ভাবনা maximizes মানে। আমি জিজ্ঞাসা করছি কারণ প্রায়শই সমস্যাটির বড় সংখ্যার উদাহরণগুলির কারণে বা হাতে থাকা সমস্যার আকারের কারণে ক্রস-বৈধতা বা বুটস্ট্র্যাপ দ্বারা প্যারামিটারটি নির্বাচন করা অবৈধ। শুধুমাত্র ইতিবাচক ফল আমি সতর্ক Candes পরিকল্পনা হল, দ্বারা কাছাকাছি আদর্শ মডেল নির্বাচন কম । $\ell_1$ $\ell_1$

model-selection lasso shrinkage

— ফাটল আছে এমন
সূত্র

2

লাসোর জন্য ধারাবাহিকতার ফলাফল স্থাপনের কাগজপত্র সম্পর্কে আপনি কি সচেতন? নাইট অ্যান্ড ফু (2000), ইউ ও ঝাও (2006) এবং মিনশাউসনের বিভিন্ন কাগজপত্র।

— কার্ডিনাল

হ্যাঁ, তবে আমার প্রশ্নটি অ্যাসিপটোটিক ধারাবাহিকতা সম্পর্কে নয়, যা আপনি উল্লিখিত কাগজগুলির বিষয়।

— gappy

1

এই কাগজগুলি মডেল নির্বাচনের ধারাবাহিকতা সম্পর্কে (প্রাথমিকভাবে) , যা আমি বলব যে আপনি জিজ্ঞাসা করেছেন তার সাথে খুব সম্পর্কিত। :)

— কার্ডিনাল

2

$\|y-\hat{y}(\lambda)\|_2^2$ $\lambda = A \sigma_{\text{noise}} \sqrt{\dfrac{\log p}{n}}$ $A > 2\sqrt{2}$

— dohmatob
সূত্র

এটি পুরোপুরি বিল মাপসই বলে মনে হচ্ছে না যেহেতু এটি প্রয়োজন বুদ্ধিমান । আসলে, এটি ঠিক এই সমস্যাটি বর্গমূলের

σ_{n o i s e}

$\sigma_\mathrm{noise}$

— লাসোকে

5

আমি এটি গ্রহণ করি যে আপনি উদ্ধৃত পেপারে যেমন রিগ্রেশন করতে আগ্রহী, এবং applications স্পেসালটি (গ্রাফিকাল লাসো, বলুন) এর অন্যান্য অ্যাপ্লিকেশন নয় । $\ell_1$

আমি তখন বিশ্বাস করি যে জউ এট আল কর্তৃক লাশোর “স্বাধীনতার ডিগ্রি” তে কাগজে কিছু উত্তর পাওয়া যাবে । সংক্ষেপে, এটি স্বাধীনতার কার্যকর ডিগ্রিগুলির জন্য একটি বিশ্লেষণাত্মক সূত্র দেয় যা স্কোয়ার ত্রুটি ক্ষতির জন্য আপনাকে টাইপ পরিসংখ্যান দ্বারা বিশ্লেষণকারী সিভি প্রতিস্থাপন করতে দেয় , বলুন। $C_p$

দেখার মতো আরও একটি জায়গা ড্যান্টজিগ সিলেক্টারে রয়েছে: পি এর এন এর চেয়ে অনেক বড় হলে পরিসংখ্যানগত অনুমান এবং পরিসংখ্যানগুলির একই সংখ্যাতে আলোচনার কাগজপত্র। আমার বোধগম্যতা হল তারা লসো রিগ্রেশন সম্পর্কিত ঘনিষ্ঠভাবে জড়িত একটি সমস্যা সমাধান করেছে তবে পেনাল্টি সহগের একটি নির্দিষ্ট পছন্দ রয়েছে। তবে দয়া করে আলোচনার কাগজগুলিও একবার দেখুন।

আপনি যদি ভবিষ্যদ্বাণীতে আগ্রহী না হন তবে মডেল নির্বাচনের ক্ষেত্রে আমি অনুরূপ ফলাফল সম্পর্কে অবগত নই। পূর্বাভাস অনুকূল মডেলগুলি প্রায়শই রিগ্রেশন মডেলগুলিতে অনেকগুলি নির্বাচিত ভেরিয়েবলের ফলাফল করে। কাগজে স্টেবিলিটি নির্বাচন Meinshausen এবং Bühlmann উপহার একটি subsampling কৌশল আরো মডেল নির্বাচনের জন্য দরকারী, কিন্তু খুব গণনা আপনার প্রয়োজনের জন্য দাবি করা হতে পারে।

— NRH
সূত্র

(+1) এই তিনটি কাগজই এই বিষয়ে আগ্রহীদের জন্য যত্ন সহকারে পড়া মূল্যবান। ড্যান্টজিগ সিলেক্টর পেপারে খুব সুন্দর কিছু গণিত রয়েছে; যাইহোক, আমি এটি অ্যাপ্লিকেশনগুলিতে খুব বেশি ট্র্যাকশন পেতে দেখিনি, না আমি এটির আশাও করি না। আমি মনে করি, অন্যান্য বিষয়গুলির মধ্যে খুব শোরগোলের নিয়মিতকরণের পথগুলি মানুষকে উদ্বিগ্ন করে তোলে এবং তাই লাসোর উপর কোনও সুস্পষ্ট সুবিধা না পেয়ে এটিকে কঠোর বিক্রয় করে।

— কার্ডিনাল

হুম, নোট করুন যে যদিও নিয়মিতকরণ পরামিতিটির প্রদত্ত মানের জন্য ননজারো সহগের সংখ্যাটি সেই মানটিতে ডওএফ-এর জন্য একটি পক্ষপাতহীন অনুমান, এই অনুমানটি অত্যন্ত উচ্চতর বৈকল্পিক।

— দোহমতেব 1'17

1

যেহেতু এই প্রশ্নটি জিজ্ঞাসা করা হয়েছে, আকর্ষণীয় অগ্রগতি হয়েছে। উদাহরণস্বরূপ, এই কাগজ বিবেচনা করুন

চিচিগনউড, এম।, লেডারার, জে।, এবং ওয়াইনরাইট, এম (২০১ 2016)। অনুকূল গ্যারান্টি সহ লাসো টিউন করার জন্য একটি ব্যবহারিক প্রকল্প এবং দ্রুত অ্যালগরিদম। মেশিন লার্নিং রিসার্চ জার্নাল, 17, 1-17।

তারা মডেল নির্বাচনের জন্য প্রমিত সীমাবদ্ধ নমুনা গ্যারান্টি সহ লাসো টিউনিং প্যারামিটারটি নির্বাচন করার জন্য একটি পদ্ধতির প্রস্তাব দেয়। যেমনটি তারা কাগজে বলেছেন, "স্ট্যান্ডার্ড ক্যালিব্রেশন স্কিমগুলির জন্য, তাদের মধ্যে ক্রস-ভ্যালিডেশন, সাহিত্যে কোনও তুলনামূলক গ্যারান্টি পাওয়া যায় না fact বাস্তবে, আমরা স্ট্যান্ডার্ড ক্যালিব্রেশন স্কিমগুলির জন্য কোনও সীমাবদ্ধ নমুনার গ্যারান্টি সম্পর্কে অবগত নই"।

— user795305
সূত্র

0

এটি আপনার প্রশ্নের উত্তর দেয় না, তবে: একটি বৃহত ডেটা সেটিং-এ ক্রস-ভ্যালিডেশনে (বা বুটস্ট্র্যাপের জন্য আরও 10) বার না করে একক ট্রেন / পরীক্ষার বিভাজন ব্যবহার করে নিয়ামককে টিউন করা ভাল। ডিসেটের জন্য নির্বাচিত নমুনার আকার এবং প্রতিনিধিত্ব সর্বোত্তম নিয়ন্ত্রকের অনুমানের যথার্থতা নির্ধারণ করে।

আমার অভিজ্ঞতায় হোল্ড-আউট লোকসান যথেষ্ট নিয়মিত রেঞ্জের তুলনায় তুলনামূলকভাবে সমতল। আমি নিশ্চিত যে এই সমস্যাটি অন্যান্য সমস্যার জন্য ধরে রাখতে পারে না।

— ব্রেন্ডন ওকনোনর
সূত্র