বৈশিষ্ট্য নির্বাচনের জন্য লসো অস্থির হওয়ার কারণ কী?

Question

সংক্ষিপ্ত , একটি উপপাদ্য গ্যারান্টি রয়েছে যে এর একটি অনন্য স্পারস দ্রবণ সি রয়েছে (আরও তথ্যের জন্য পরিশিষ্ট দেখুন)।

$$\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc$$ $c$

লসোর জন্য কি একই রকম উপপাদ্য রয়েছে? যদি এই ধরনের উপপাদ্য থাকে তবে এটি কেবল লাসোর স্থিতিশীলতার গ্যারান্টি দিবে না, তবে এটি লাসোকে আরও অর্থবহ ব্যাখ্যা সহকারে সরবরাহ করবে:

Lasso উন্মোচন করতে বিক্ষিপ্ত রিগ্রেশন সহগ ভেক্টর $c$ যে প্রতিক্রিয়া উৎপন্ন করতে ব্যবহৃত হয় $y$ দ্বারা $y = Xc$ ।

আমি এই প্রশ্নটি করার দুটি কারণ রয়েছে:

1. আমি মনে করি যে 'লাসো একটি বিচ্ছিন্ন সমাধানের পক্ষে' কেন কোনও বৈশিষ্ট্য নির্বাচনের জন্য লাসো ব্যবহার করার কোনও উত্তর নয় কারণ আমরা যে বৈশিষ্ট্যগুলি নির্বাচন করি তার সুবিধা কী তা আমরা এমনকি বলতে পারি না।

2. আমি শিখেছি লাসো বৈশিষ্ট্য নির্বাচনের জন্য অস্থির হয়ে থাকার জন্য কুখ্যাত। অনুশীলনে, এর স্থায়িত্ব মূল্যায়নের জন্য আমাদের বুটস্ট্র্যাপ নমুনাগুলি চালাতে হবে। এই অস্থিতিশীলতার কারণ সবচেয়ে গুরুত্বপূর্ণ কারণ কী?

---

পরিশিষ্ট:

এক্স_ {এন \ বার দেওয়া হয়েছে এম} = (x_1, \ সিডটস, এক্স_এম)$X_{N \times M} = (x_1, \cdots, x_M)$ । $c$ হ'ল $\Omega$ স্পার্স ভেক্টর ( $\Omega \leqslant M$ )। প্রক্রিয়া $y = Xc$ প্রতিক্রিয়া উত্পন্ন $y$ । যদি $X$ অর্ডারটির এনএসপি (নাল স্পেস প্রপার্টি) থাকে X $\Omega$ এবং এক্সের কোভেরিয়েন্স ম্যাট্রিক্সের $X$শূন্যের কাছাকাছি কোনও ইগ্যালভ্যালু না থাকে, তবে \ পাঠ্য {আরগমিন} t ভার্ট সি \ ভার্ট_1 \ \ পাঠ্য {সাপেক্ষে একটি অনন্য সমাধান হবে } Y = XC

$$\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc$$ যা ঠিক $c$ যে দেয় $y$ ।

এই উপপাদ্যটি যা বলেছে তা হ'ল যদি অর্ডার এনএসপি না থাকে তবে এটি কেবল ।$X$$\Omega$$\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

---

সম্পাদনা করুন:

এই দুর্দান্ত উত্তরগুলি পাওয়ার পরে, আমি বুঝতে পেরেছিলাম যে আমি যখন এই প্রশ্নটি জিজ্ঞাসা করছিলাম তখন আমি বিভ্রান্ত হয়ে পড়েছিলাম।

কেন এই প্রশ্নটি বিভ্রান্তিকর:

আমি একটি গবেষণা কাগজ পড়েছিলাম যেখানে ডিজাইন ম্যাট্রিক্স কতগুলি বৈশিষ্ট্য (কলাম) নিয়ে যাচ্ছে তা নির্ধারণ করতে হবে (প্রাথমিক বৈশিষ্ট্যগুলি থেকে সহায়ক বৈশিষ্ট্য তৈরি করা হয়েছে)। যেহেতু এটি একটি সাধারণ সমস্যা, তাই ভালভাবে নির্মিত হবে বলে আশা করা হচ্ছে যাতে লাসোর সমাধানটি সত্যিকারের বিরল দ্রবণটির একটি ভাল অনুমিতিকরণ হতে পারে।$X_{N \times M}$$n < p$$D$

আমরা এটি তাগ এমন: যুক্তি উপপাদ্য যে আমি পরিশিষ্ট উল্লেখ থেকে তৈরি করা হয় -sparse সমাধান , ভাল হয়েছে আদেশের NSP আছে ।$\Omega$$c$$X$$\Omega$

একটি সাধারণ ম্যাট্রিক্সের জন্য, যদি লঙ্ঘন করা হয়, তবে$N \times M$$N > C \Omega \ln M$

এবং থেকে কোনও স্থিতিশীল এবং মজবুত পুনরুদ্ধার সম্ভব নয়$c$$D$$P$

$D$ সাথে সঙ্গতিপূর্ণ , সাথে সঙ্গতিপূর্ণ$X$$P$$y$

... সম্পর্কের কাছ থেকে প্রত্যাশা অনুযায়ী, বর্ণনাকারীর নির্বাচন আরও অস্থির হয়ে যায়, অর্থাত্, বিভিন্ন প্রশিক্ষণের জন্য, নির্বাচিত বর্ণনাকারী প্রায়শই পৃথক হয় ...$N = C \Omega \ln M$

দ্বিতীয় উক্তিটি সেই অংশ যা আমাকে বিভ্রান্ত করে। আমার কাছে অসম্পূর্ণতা লঙ্ঘিত হলে এটি মনে হয় কেবল সমাধানটি অ-অনন্য (উল্লেখ নেই) নয়, তবে বর্ণনাকারী আরও অস্থির হয়ে উঠবে।

Comments

কেবলমাত্র প্রসঙ্গে, আপনার প্রশ্নটির শুরুতে আপনি যে অপ্টিমাইজেশন সমস্যাটি লিখেছেন তাকে "ভিত্তি অনুসরণ" বলা হয়। যদি আপনি আনুমানিক সমতা (কিছুটা L2 ত্রুটি পর্যন্ত) দ্বারা সমতা প্রতিস্থাপন করেন তবে এটিকে "ভিত্তি " বলা হয়। বেসিস সাধনা ডিনোইজিং গাণিতিকভাবে লাসোর সমতুল্য। $y=Xc$$y\approx Xc$

— অ্যামিবা

স্লাইডগুলির একটি দরকারী সেট (তবে সহজ নয়) এখানে পাওয়া গেছে: পৃষ্ঠাগুলি.ইউ.ইডু / ajডাজমসিডন / রিসার্চ / টাল্কস / ক্লাসো.পিডিএফ এবং নিখরচায় মধ্যাহ্নভিত্তিক ব্যবহারকারীর ব্যবহারকারীদের.সেস.উটেক্সাস.ইডিইউ / সিএমক্রাম / পাবস / XuCaramanisMannor.NFL.pdf

— জাভিয়ের

আপনি যে উপপাদ্যটি উদ্ধৃত করেছেন তা স্বতন্ত্রতার বিষয়ে। আপনার প্রশ্নটি বিভ্রান্তিকর কারণ স্বতন্ত্রতা অগত্যা স্থায়িত্বের সাথে সম্পর্কিত নয়।

— অ্যামিবা

হ্যাঁ আমি বিশ্বাস করি ওপি কিছুটা বিভ্রান্ত এবং প্রশ্নটি পরিষ্কার নয়, অতএব বিভিন্ন সম্ভাব্য উত্তর ... স্বতন্ত্রতা হ'ল একক ডেটা পয়েন্টের জন্য, স্থায়িত্ব ক্রস বৈধকরণ, বা বুটস্ট্র্যাপ, বা নতুন ডেটা পয়েন্টের জন্য প্রযোজ্য

— জ্যাভিয়ের বুরেট সিকোট

Answer 1

হালনাগাদ

আমার উত্তর সম্পর্কে ম্যাকডোনাল্ডের প্রতিক্রিয়া জানার জন্য এই দ্বিতীয় পোস্টটি দেখুন যেখানে ঝুঁকির ধারাবাহিকতার ধারণা স্থায়িত্বের সাথে সম্পর্কিত।

---

1) স্বতন্ত্রতা বনাম স্থায়িত্ব

আপনার প্রশ্নের উত্তর দেওয়া কঠিন কারণ এতে দুটি অত্যন্ত ভিন্ন বিষয়ের উল্লেখ রয়েছে: স্বতন্ত্রতা এবং স্থায়িত্ব ।

• স্বজ্ঞাতভাবে, একটি সমাধান অনন্য, যদি একটি নির্দিষ্ট ডেটা সেট দেওয়া হয়, অ্যালগরিদম সর্বদা একই ফলাফল উত্পন্ন করে। মার্টিনের উত্তর কভারটি দুর্দান্তভাবে এই পয়েন্টটি।

• অন্যদিকে স্থিতিশীলতা স্বজ্ঞাতভাবে একটি হিসাবে বোঝা যায় যার জন্য প্রশিক্ষণের ডেটা সামান্য পরিবর্তিত হয়ে গেলে ভবিষ্যদ্বাণীটি খুব বেশি পরিবর্তন হয় না।

স্থায়িত্ব আপনার প্রশ্নের ক্ষেত্রে প্রযোজ্য কারণ লাসো বৈশিষ্ট্য নির্বাচনটি (প্রায়শই) ক্রস ভ্যালিডেশনের মাধ্যমে করা হয়, সুতরাং লাসো অ্যালগরিদম ডেটা বিভিন্ন ভাঁজগুলিতে সঞ্চালিত হয় এবং প্রতিবার বিভিন্ন ফলাফল পেতে পারে।

স্থিতিশীলতা এবং নিখরচায় দুপুরের খাবারের উপপাদ্য

ইউনিফর্ম স্থায়িত্ব হিসাবে আমরা যদি সংজ্ঞা দিই তবে এখান থেকে সংজ্ঞাটি ব্যবহার করে :

একটি অ্যালগরিদম অভিন্ন স্থায়িত্ব আছে ক্ষয় ফাংশন থেকে সম্মান সঙ্গে যদি নিম্নলিখিত ঝুলিতে:$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

ফাংশন হিসাবে বিবেচিত , শব্দটি হিসাবে লেখা যেতে পারে । বলতে অ্যালগরিদম স্থিতিশীল যখন যেমন কমে যায় ।$m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

তারপরে "নো ফ্রি লাঞ্চের উপপাদ্য, জু ও কারামিস (২০১২)" বলে উল্লেখ করেছে

যদি একটি অ্যালগরিদম বিচ্ছিন্ন হয় , এই অর্থে যে এটি অপ্রয়োজনীয় বৈশিষ্ট্যগুলি চিহ্নিত করে, তবে সেই অ্যালগরিদম স্থিতিশীল নয় (এবং অভিন্ন স্থিতিশীলতায় আবদ্ধ শূন্যে যায় না)। [...] যদি একটি অ্যালগরিদম স্থিতিশীল হয়, তবে আশা করা যায় না যে এটি খুব কম। (পৃষ্ঠা 3 এবং 4)$\beta$

উদাহরণস্বরূপ, নিয়ন্ত্রিত রিগ্রেশন স্থিতিশীল এবং অপ্রয়োজনীয় বৈশিষ্ট্যগুলি সনাক্ত করে না, যখন নিয়ন্ত্রিত রিগ্রেশন (লাসো) অস্থির। $L_2$$L_1$

আপনার প্রশ্নের উত্তর দেওয়ার একটি প্রচেষ্টা

আমি মনে করি যে 'লাসো একটি বিরল সমাধানের পক্ষে' কেন বৈশিষ্ট্য নির্বাচনের জন্য লাসো ব্যবহার করবেন তার কোনও উত্তর নয়

• আমি একমত নই, বৈশিষ্ট্য নির্বাচনের জন্য লাসোর যে কারণটি ব্যবহার করা হয়েছে তা হ'ল এটি একটি বিচ্ছিন্ন সমাধান দেয় এবং আইআরএফ সম্পত্তি, অর্থাত্ রিডানড্যান্ট বৈশিষ্ট্যগুলি সনাক্ত করে।

এই অস্থিতিশীলতার কারণ সবচেয়ে গুরুত্বপূর্ণ কারণটি

• নো ফ্রি লাঞ্চের উপপাদ্য

সামনে যাচ্ছি

এটি ক্রস ভ্যালিডেশন এবং লাসোর সংমিশ্রণটি কার্যকর করে না এমনটি বলার অপেক্ষা রাখে না ... আসলে এটি বিভিন্ন পরিস্থিতিতে বিভিন্ন পরিস্থিতিতে খুব ভালভাবে কাজ করার জন্য পরীক্ষামূলকভাবে (এবং অনেক সমর্থনকারী তত্ত্ব সহ) দেখানো হয়েছে। এখানে মূল কীওয়ার্ডগুলি হ'ল ধারাবাহিকতা , ঝুঁকি, ওরাকল বৈষম্য ইত্যাদি ..

ম্যাকডোনাল্ড এবং হোমগ্রহাউসন (2013) এর নিম্নলিখিত স্লাইডগুলি এবং কাগজগুলি এমন কিছু শর্ত বর্ণনা করেছে যার অধীনে লাসোর বৈশিষ্ট্য নির্বাচনটি ভালভাবে কাজ করে: স্লাইড এবং কাগজ: "লাসো, অধ্যবসায় এবং ক্রস-বৈধকরণ, ম্যাকডোনাল্ড এবং হোমগ্রহাউসেন (2013)" । তিবশিরানী নিজেও অপ্রতুলতা , লিনিয়ার রিগ্রেশন সম্পর্কিত নোটগুলির একটি দুর্দান্ত সেট পোস্ট করেছিলেন

ধারাবাহিকতার জন্য বিভিন্ন শর্ত এবং লাসোর উপর তাদের প্রভাব গবেষণার একটি সক্রিয় বিষয় এবং এটি অবশ্যই একটি তুচ্ছ প্রশ্ন নয়। আমি আপনাকে কিছু গবেষণামূলক প্রবন্ধের দিকে নির্দেশ করতে পারি যা প্রাসঙ্গিক:

• শু-এর কোনও নিখরচায় মধ্যাহ্নভোজী উপপাদ্যে ভিডিও লেকচার
• এইচ এম বেভেলস্টাড এবং সবগুলি, জিন নির্বাচনের জন্য বৈশিষ্ট্য নির্বাচনের পদ্ধতির একটি তুলনা, (2007)
• লাসো, অধ্যবসায় এবং ক্রস-বৈধকরণ, ম্যাকডোনাল্ড এবং হোমগ্রহাউসেন (2013)
• হুয়াং এবং বোভিক, সংক্ষিপ্তসার এবং এর আলোচনা: "স্থিতিশীলতা নির্বাচন"
• লিম এবং ইউ, ক্রস বৈধকরণের সাথে অনুমানের স্থায়িত্ব, (2015)
• পিটার বুহলম্যানের একটি বক্তব্য: উচ্চ-মাত্রিক ডেটা, (২০০৮) এবং তার সাথে থাকা কাগজের জন্য স্থিতিশীলতা নির্বাচন
• ওয়াং, নান এবং সমস্ত, এলোমেলো লাসো, (২০১১)
• স্ট্যাকেক্সচেঞ্জ পোস্ট: বড় , ছোট সমস্যার সাথে ডিল করার সময় মডেল স্থিতিশীলতা$p$$n$
• রবার্টস, নওকাম ক্রস-বৈধকরণের পরিবর্তনশীলতার বিরুদ্ধে লাসোকে স্থিতিশীল করে, (২০১৪) যে যুক্তি দেয় যে "পারসেন্টাইল-লাসো, লাসোর তুলনায় মডেল-নির্বাচন অস্থিরতা এবং মডেল-নির্বাচনের ত্রুটি উভয়ই বড় হ্রাস পেতে পারে"
• স্বল্পতা , লিনিয়ার রিগ্রেশন সম্পর্কিত তিবশিরানী এবং ওয়াসারম্যানের দ্বারা দুর্দান্ত এক নোট set

Comments

আপনার ব্যাপক উত্তরের জন্য আপনাকে ধন্যবাদ! আপনার দেওয়া স্লাইডগুলির সেটটি কেবল দুর্দান্ত!

— meTchaikovsky

স্থিরতার এই সংজ্ঞাটি আমি এখনও প্রক্রিয়া করার চেষ্টা করছি। আমার অনুবাদটি হ'ল "একটি অ্যালগরিদম স্থিতিশীল হয় যদি ত্যাগের ক্ষতি / ক্ষতি-ফাংশনের পরিবর্তে একের বাইরে ছাড়ার ক্রস-বৈধতা থাকে তবে উপরের বাউন্ড যা as হিসাবে হ্রাস পায় " যখন আমরা সংখ্যা বৃদ্ধি করি ভাঁজ / পরীক্ষা সেট "$\beta$$\frac{1}{m}$ , আশা করি আমি যে সঠিক পেয়েছিলাম আমি ভাবছি কেন এটা অর্ডার ভাল Lasso কাজ করার জন্য একটি আকাঙ্খিত সম্পত্তি (অথবা আরো স্পষ্ট করে আমি ভাবছি কিনা এটা একটি প্রয়োজনীয় সম্পত্তি)

— সেক্সটাস Empiricus

হ্যাঁ, মি বাদে ডেটা পয়েন্টের সংখ্যা। একটি সম্ভাব্য বাউন্ডের জন্য এখানে পৃষ্ঠা 7 দেখুন: math.arizona.edu/~hzhang/math574m/Rad/LOOtheory.pdf - বিন্দুটি হ'ল ডেটা সেট আকার বাড়িয়ে টেবিলটির উপর কোনও বাধা নেই, যার অর্থ অ্যালগরিদম লাফিয়ে উঠতে পারে নির্দিষ্ট ডেটা সেটের উপর নির্ভর করে দূরে হাইপোথিসিস ফাংশনগুলি। এই কারণেই বিকল্প শর্তগুলি প্রস্তাব করা হয়েছে, যা অন্তর্নিহিত বিতরণ এবং পারস্পরিক সম্পর্ক কাঠামোর সাথে সম্পর্কিত (আমার মনে হয়) - তবে তাদের আরও পরিষ্কার করে তুলতে সাহায্যের প্রয়োজন হবে

— জাভিয়ের বুরেট সিকোট

আরেকটি গুরুত্বপূর্ণ ধারণাটি এখানে ধারাবাহিকতার যেমন ধারাবাহিকতা রয়েছে উদাহরণস্বরূপ: stat.ethz.ch/~nicolai/stability.pdf - স্থায়িত্ব এবং ধারাবাহিকতা কীভাবে সংযুক্ত রয়েছে তা অস্পষ্ট তবে এটি সক্রিয় গবেষণার বিষয় বলে মনে হয় যেমন cbcl.mit.edu/publications /ps/mukherjee-AmemoOctNov.pdf

— জাভিয়ের

চমৎকার উত্তর! ভবিষ্যতে লিঙ্কগুলি মরে যাওয়ার ক্ষেত্রে আপনি আরও বিশদ বিবরণের সাথে কিছু লিঙ্ক আপডেট করতে পারেন? (আমি ইতিমধ্যে আপনার জন্য একটি করেছি))

— রিচার্ড হার্ডি

Answer 2

ড্যানিয়েল জে ম্যাকডোনাল্ড থেকে মন্তব্য

ইন্ডিয়ানা ইউনিভার্সিটি ব্লুমিংটনের সহকারী অধ্যাপক, জাভিয়ের বুরেট সিকোটের মূল প্রতিক্রিয়াতে উল্লিখিত দুটি গবেষণাপত্রের লেখক ।

আপনার ব্যাখ্যাটি সাধারণত, বেশ সঠিক। আমি কয়েকটি বিষয় উল্লেখ করতে চাই:

1. সিভি এবং লাসো সম্পর্কে কাগজপত্রের সিরিজের আমাদের লক্ষ্যটি প্রমাণ করা ছিল যে "লাসো + ক্রস বৈধকরণ (সিভি)" পাশাপাশি "লাসো + অনুকূল " করে$\lambda$ । বিশেষত, আমরা ভবিষ্যদ্বাণীগুলি পাশাপাশি (মডেল-মুক্ত) দেখাতে চেয়েছিলাম। সহগের সঠিক পুনরুদ্ধার সম্পর্কে বিবৃতি দেওয়ার জন্য (সঠিক অ-দাগযুক্ত লোকগুলি সন্ধান করা) একটি স্বল্পতম সত্য গ্রহণ করতে হবে, যা আমরা করতে চাইনি।

2. অ্যালগরিদমিক স্থিতিশীলতা ঝুঁকিপূর্ণ ধারাবাহিকতা বোঝায় (প্রথমে বোসকেট এবং এলিসিফ দ্বারা প্রমাণিত, আমি বিশ্বাস করি)। ঝুঁকিপূর্ণ ধারাবাহিকতায়, আমি বলতে চাইছিশূন্যে চলে যায় যেখানে f হয় বা শ্রেণীর ভুল বানান থাকলে কোনও শ্রেণীর মধ্যে সেরা ভবিষ্যদ্বাণীকারী। তবে এটি কেবল পর্যাপ্ত শর্ত। আপনি যে স্লাইডগুলিতে লিঙ্ক করেছেন তা মূলত উল্লেখ করা হয়েছে, "সম্ভাব্য প্রমাণ কৌশল যা কাজ করবে না, যেহেতু লাসো স্থিতিশীল নয়"।$||\hat{f}(X) - f(X)||$$E[Y|X]$

3. স্থিতিশীলতা কেবল পর্যাপ্ত তবে প্রয়োজনীয় নয়। আমরা দেখাতে সক্ষম হয়েছি যে কিছু শর্তে "লাসো + সিভি" ভবিষ্যদ্বাণী করার পাশাপাশি "লাসো + অনুকূল- "। আপনি যে কাগজটি উদ্ধৃত করেছেন তা দুর্বলতম অনুমানগুলি দেয় (১ sl স্লাইডে থাকা, যা মঞ্জুরি দেয় ), তবে লাসারগিয়ান সংস্করণের আরও সাধারণ সংস্করণের পরিবর্তে লাসোর সীমাবদ্ধ রূপ ব্যবহার করে। আর একটি কাগজ ( http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html ) ল্যাঙ্গরজিয়ান সংস্করণ ব্যবহার করে। এটি আরও দেখায় যে আরও শক্তিশালী অবস্থার অধীনে, মডেল নির্বাচনও কাজ করবে। অন্য একটি সাম্প্রতিক কাগজ ( https://arxiv.org/abs/1605.02214 ) এই ফলাফলগুলিতে উন্নতি করার দাবি করেছে (আমি এটি সাবধানে পড়িনি)।$\lambda$$p>n$

4. সাধারণভাবে, যেহেতু লাসো (বা কোনও নির্বাচন অ্যালগরিদম) স্থিতিশীল নয়, "আলগোরিদম + সিভি" সঠিক মডেলটি নির্বাচন করবে তা দেখানোর জন্য একজনকে আরও সতর্ক বিশ্লেষণ এবং / অথবা দৃ ass় অনুমানের প্রয়োজন। আমি প্রয়োজনীয় শর্তগুলি সম্পর্কে সচেতন নই, যদিও এটি সাধারণত অত্যন্ত আকর্ষণীয় হবে। এটি দেখানো খুব কঠিন নয় যে স্থির ল্যাম্বডারের জন্য, লাসো প্রেডিক্টর স্থানীয়ভাবে ভেক্টর লিপসিৎজ ছিলেন (আমি বিশ্বাস করি যে রায়ান তিবশিরানীর এক বা একাধিক কাগজপত্র এটি করেছে)। যদি কেউ এই দিতে পারে যে এটি সত্য ধারণ করে তবে এটি এখানে খুব আকর্ষণীয় এবং প্রাসঙ্গিক হবে।$Y$$X_i$

প্রধান takeaway হয় যে, আমি আপনার প্রতিক্রিয়া যোগ হবে: "স্থায়িত্ব" বোঝা "ঝুঁকি দৃঢ়তা" বা "ভবিষ্যদ্বাণী নির্ভুলতা" এছাড়া "প্যারামিটারটি প্রাক্কলন দৃঢ়তা" পরোক্ষভাবে করতে আরো অনুমানের অধীনে কিন্তু কোন ফ্রি লাঞ্চ উপপাদ্য মানে হলো "নির্বাচন"।। "স্থিতিশীল নয়"। লাসো স্থির ল্যাম্বডা দিয়েও স্থিতিশীল নয়। সুতরাং সিভি (যে কোনও প্রকারের) সাথে মিলিত হওয়ার পরে এটি অবশ্যই অস্থির However তবে স্থিরতার অভাব সত্ত্বেও এটি এখনও ঝুঁকির সাথে সামঞ্জস্যপূর্ণ এবং নির্বাচনের সাথে সামঞ্জস্য রেখে বা ছাড়াই সামঞ্জস্যপূর্ণ সিভি। স্বতন্ত্রতা এখানে অবিচ্ছেদ্য।$\rightarrow$

Answer 3

লিজো, রিজ রিগ্রেশন (যেমন হোরেল এবং কেনার্ড, 1970; হ্যাস্টি এট আল।, ২০০৯ দেখুন) এর বিপরীতে সবসময় একটি অনন্য সমাধান হয় না, যদিও এটি সাধারণত রয়েছে। এটি মডেলের পরামিতিগুলির সংখ্যা, ভেরিয়েবলগুলি অবিচ্ছিন্ন বা বিযুক্ত এবং আপনার নকশার ম্যাট্রিক্সের র‌্যাঙ্কের উপর নির্ভর করে। স্বতন্ত্রতার জন্য শর্তাবলী তিবশিরানী (2013) এ পাওয়া যাবে।

তথ্যসূত্র:

হস্টি, টি।, তিবশিরানী, আর। এবং ফ্রেডম্যান, জে। (২০০৯)। পরিসংখ্যানগত শিক্ষার উপাদানগুলি । পরিসংখ্যানগুলিতে স্প্রঞ্জার সিরিজ। স্প্রিংগার, নিউ ইয়র্ক, 11 তম মুদ্রণ, ২ য় সংস্করণ।

হোয়ারেল, এই, এবং কেনার্ড, আরডাব্লু (1970)। রিজ রিগ্রেশন: ননर्थোগোনাল সমস্যার জন্য পক্ষপাতদুষ্ট অনুমান। টেকনোমেট্রিক্স , 12 (1), 55-67।

তিবশিরানী, আরজে (2013)। লাসো সমস্যা এবং স্বতন্ত্রতা। ইলেকট্রনিক জার্নাল অফ স্ট্যাটিস্টিকস , 7, 1456-1490।

Comments

@ ধন্যবাদ! আপনি যে রেফারেন্সগুলি সরবরাহ করেন তার সংক্ষিপ্তসার যোগ করতে পারেন?

— meTchaikovsky

হাসিট এট আল। (২০০৯) এমন একটি বই যা অনেক বিষয়, লাসো এবং রিজ রিগ্রেশনগুলির মধ্যে রয়েছে covers এটি খুব পঠনযোগ্য এবং হ্যাস্টির হোমপেজ থেকে ডাউনলোড করা যেতে পারে: ওয়েব.স্ট্যান্ডফোর্ড.এডু / এ্যাস্টি / এলমেস্ট্যাটলার্ন / ডাউনলড html হোয়ারেল অ্যান্ড কেনার্ড ( ১৯ 1970০) একটি ক্লাসিক রিজ রিগ্রেশন রেফারেন্স এবং সম্ভবত আপনার প্রশ্নের সরাসরি সম্পর্কিত নয়, অন্য রিজ রিগ্রেশন সম্পর্কে পড়ার চেয়ে। তিবশিরানী (২০১৩) কখন লাসোর একটি অনন্য সমাধান রয়েছে (এবং এতে যখন সীমাহীন সমাধান রয়েছে) সম্পর্কিত তথ্য রয়েছে।

— ফিল

Answer 4

অনন্যতার কারণ কী।

ভেক্টরগুলির জন্য (যেখানে একটি চিহ্ন যা এর পরিবর্তন বৃদ্ধি পাবে বা কমবে কিনা তা ), যখনই তারা নির্ভরশীল:$s_ix_i$$s_i$$c_i$$\Vert c \Vert_1$

$$\sum \alpha_i s_i x_i = 0 \qquad \text{and} \qquad \sum \alpha_i =0$$

তারপরে এমন এক সংখ্যক কম্বিনেশন যা সমাধান এবং আদর্শ পরিবর্তন করে না ।$c_i + \gamma\alpha_i$$Xc$$\Vert c\Vert_1$

উদাহরণ স্বরূপ:

$$y = \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 2 & 1 & 0 \\ 1 & 1 & 1 \end{bmatrix} \cdot \begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}= Xc$$

জন্য :$\Vert c \Vert_1 = 1$

$$\begin{bmatrix} c_1 \\ c_2 \\ c_3 \end{bmatrix}= \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix} + \gamma \begin{bmatrix} 1 \\ -2 \\ 1 \end{bmatrix}$$

with সহ$0\leq \gamma \leq \frac{1}{2}$

আমরা ব্যবহার করে ভেক্টর প্রতিস্থাপন করতে পারি$x_2$$x_2 = 0.5 x_1 + 0.5 x_3$

---

এই শর্ত ছাড়াই পরিস্থিতি

তিবশিরানী (ফিলের উত্তর থেকে) এর নিবন্ধে লাসোর অনন্য সমাধানের জন্য তিনটি পর্যাপ্ত শর্ত বর্ণিত হয়েছে।

1. রৈখিকভাবে স্বতন্ত্র যখন নাল স্পেস নাল বা সমতুল্য হয় যখন র‌্যাঙ্ক কলামের সংখ্যার (এম) এর সমান হয়। সেক্ষেত্রে আপনার উপরের মতো লিনিয়ার সংমিশ্রণগুলি নেই।$X$$X$

2. Affinely স্বাধীন যখন কলাম সাধারণ অবস্থানে আছে।$Xs$

   এটি হ'ল কোনও কলামগুলি কোনও মাত্রিক বিমানে পয়েন্ট উপস্থাপন করে । একটি কে -২ মাত্রিক বিমানটি যে কোনও পয়েন্ট দ্বারা with হিসাবে প্যারামিটারাইজ করা যেতে পারে । এই একই বিমানটিতে একটি পয়েন্ট সাথে আপনার শর্তগুলি হবে সাথে$k$$k-2$$k-1$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 1$$k$$s_jx_j$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 0$

   মনে রাখবেন যে উদাহরণে , এবং কলামগুলি একক লাইনে রয়েছে। (এটি যদিও এখানে কিছুটা বিশ্রী কারণ লক্ষণগুলি নেতিবাচক হতে পারে, যেমন ম্যাট্রিক্স ঠিক আছে পাশাপাশি কোনও অনন্য সমাধান)$x_1$$x_2$$x_3$$\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$

3. কলামগুলি যখন অবিচ্ছিন্ন বিতরণ থেকে আসে তখন এটি সম্ভাবনা কম (সম্ভাবনা প্রায় শূন্য) আপনার কলামগুলি সাধারণ অবস্থানে থাকবে না।$X$$X$

   এই বিপরীত, যদি কলাম একটি শ্রেণীগত পরিবর্তনশীল হয় তাহলে এই সম্ভাব্যতা না neccesarily প্রায় শূন্য। অবিচ্ছিন্ন পরিবর্তনশীল হওয়ার সম্ভাবনাটি কয়েকটি সংখ্যার সমান (যেমন, অন্যান্য ভেক্টরগুলির অ্যাফাইন স্প্যানের সাথে সমতল বিমানগুলি) প্রায় 'শূন্য'। তবে, এটি পৃথক ভেরিয়েবলের ক্ষেত্রে নয়।$X$

Comments

+1 তবে আমি মনে করি সাম্প্রতিক আলোচনায় অস্থিরতা বলতে যা বোঝায় তা পারস্পরিক সম্পর্কযুক্ত বৈশিষ্ট্যগুলির উপস্থিতিতে ক্রস বৈধকরণের মাধ্যমে বৈশিষ্ট্য নির্বাচনের সাথে সম্পর্কিত

— জ্যাভিয়ের বুরেট সিকোট

@ জাভিয়ারবৌর্টসাইকোটের অর্থ কি এই যে কোনও অনন্য সমাধানের পরেও সেই অনন্য সমাধানের সন্ধানের ক্ষেত্রে (সংখ্যাসূচক) সমস্যাগুলি যুক্ত করার সাথে সম্পর্কিত বৈশিষ্ট্যগুলির কারণে বাছাই প্রক্রিয়াটি অস্থিতিশীল হতে পারে? এটি কিছুটা বিভ্রান্তিকর কারণ প্রশ্নটি একদিকে স্থিতিশীলতা এবং অন্যদিকে স্বতন্ত্রতা সম্পর্কে জিজ্ঞাসা করে।

— সেক্সটাস এম্পেরিকাস

হ্যাঁ আমি এটাই বলতে চাইছি অগত্যা সংখ্যার অস্থিতিশীলতার কারণে নয় বরং তথ্যগুলির ভাঁজগুলির (সিভি চলাকালীন) সহজাত পার্থক্যের কারণে যা ভাঁজগুলিতে বিভিন্ন মানগুলির জন্য বিভিন্ন সমাধানের দিকে নিয়ে যায়। বুটস্ট্র্যাপিংয়ের সময় আরও খারাপ হতে পারে$\lambda$

— জাভিয়ের বুরেট সিকোট

@ জাভিয়ারবৌর্টসাইকোট কেন এই (বিভিন্ন এবং প্রশিক্ষণের জন্য বিভিন্ন সমাধান ) অস্থির বলে মনে করা হচ্ছে তা সম্পর্কে আমার কাছে কোনও স্পষ্ট স্বজ্ঞাত চিত্র নেই । আমার ধারণা আপনি একটি উত্তর হিসাবে এটি পোস্ট এবং এটি ব্যাখ্যা করতে পারে। $\lambda$

— সেক্সটাস এম্পেরিকাস

@ মার্টিজন ওয়েটারিংস আপনাকে ধন্যবাদ! আমার এখনও তিনটি প্রশ্ন রয়েছে: ১. আমি কীভাবে পূর্ণ নির্ভরতা সনাক্ত করতে পারি? I independent স্বতন্ত্র ( math.stackexchange.com/q/82189 ) কিনা তা আমার খুঁজে পাওয়া উচিত ? ২. অনুশীলনে আমি কীভাবে নির্ধারণ ? ৩. 'সাধারণ অবস্থান' এর অর্থ কী ? $\{v_1 - v_0, v_2 - v_0, \cdots, v_k - v_0\}$$s_i$$X$

— meTchaikovsky