কেন আমরা কেবল

Question

আমি কেবল কৌতূহল বোধ করি কেন সাধারণত কেবলমাত্র $L_1$ এবং $L_2$ নিয়মাবলী নিয়মিত হয়। এগুলি আরও ভাল কেন তার প্রমাণ রয়েছে?

Comments

(+1) আমি এই প্রশ্নটি বিশেষভাবে তদন্ত করি নি, তবে অনুরূপ পরিস্থিতিতে অভিজ্ঞতা থেকে বোঝা যায় যে একটি দুর্দান্ত গুণগত উত্তর থাকতে পারে: উত্সের দ্বিতীয় বিভাজনযোগ্য সমস্ত নিয়ম স্থানীয়ভাবে একে অপরের সমতুল্য হবে, যার মধ্যে $L^2$ আদর্শ মান। অন্যান্য সমস্ত নিয়মগুলি উত্সের সময়ে পৃথক হবে না এবং $L^1$ গুণগতভাবে তাদের আচরণের পুনরুত্পাদন করে। যে গামুট আবরণ। প্রকৃতপক্ষে, $L^1$ এবং $L^2$ আদর্শের একটি লিনিয়ার সংমিশ্রণটি মূলত দ্বিতীয় ক্রমের সাথে কোনও আদর্শের সাথে সমান হয় - এবং এটি বহির্মুখী অবশিষ্টাংশ ব্যতীত নিগ্রহের ক্ষেত্রে সবচেয়ে গুরুত্বপূর্ণ।

— whuber

হ্যাঁ: এটি মূলত টেলরের উপপাদ্য।

— whuber

প্রশ্নের ভিত্তিটি মিথ্যা: অন্যান্য $\ell_p$ নর্মগুলি ব্যবহৃত হয়, যদিও খুব কম সাধারণ।

— ফায়ারব্যাগ

@ শুভর উল্লেখ করে এমন লিনিয়ার সংমিশ্রণটিকে প্রায়শই স্থিতিস্থাপক জাল বলা হয় ।

— লুকা সিটি

এছাড়াও, এলপি নীতিগুলির মধ্যে, $L^\infty$ এছাড়াও প্রচুর মাইলেজ পায়।

— ব্যবহারকারী795305

Answer 1

@ হুবহু মন্তব্য (*) এর পাশাপাশি।

স্পস্টিটির সাথে হাসটি এট আল স্ট্যাটিস্টিকাল লার্নিংয়ের বই এটি নিয়ে আলোচনা করেছে। তারা $L_0$ "আদর্শ" নামে পরিচিত যা ব্যবহার করে (উদ্ধৃতি চিহ্ন কারণ এটি কঠোর গাণিতিক অর্থে (**)) আদর্শ নয়, যা কেবল কোনও ভেক্টরের ননজারো উপাদানগুলির সংখ্যা গণনা করে।

যে অর্থে আদর্শ একসঙ্গে পরিবর্তনশীল নির্বাচনের জন্য ব্যবহার করা হয়, কিন্তু এটি দিয়ে ঠ কুই সঙ্গে নিয়ম কুই < 1 উত্তল না, নিখুত তাই কঠিন। তারা যুক্তি দেয় (সংবেদনশীল সংবেদনে ডোনোহো থেকে আসা একটি যুক্তি) যে এল 1 আদর্শ, যা লাসো হ'ল এল 0 "আদর্শ" ("সর্বোত্তম উপসেট নির্বাচনের নিকটতম উত্তল শিথিলকরণ") এর সেরা উত্তেজক ) সেই বইতে অন্যান্য এল কিউ রীতিনীতিগুলির কিছু ব্যবহারের উল্লেখ রয়েছে । মধ্যে ইউনিট বল ঠ কুই সঙ্গে -norm কুই < 1 ভালো দেখায়$L_0$$l_q$$q<1$$L_1$$L_0$$L_q$$l_q$$q<1$

(উইকিপিডিয়া থেকে চিত্র) লাসো কেন ভেরিয়েবল নির্বাচন প্রদান করতে পারে তার চিত্রগত ব্যাখ্যা হিসাবে

এই চিত্রটি উপরের রেফারেন্সড বই থেকে এসেছে। আপনি দেখতে পাচ্ছেন যে লাসো ক্ষেত্রে (ডায়মন্ড হিসাবে আঁকা ইউনিট বল) এটি অনেক বেশি সম্ভাবনা রয়েছে যে উপবৃত্তাকার (স্কোয়ারের যোগফল) রূপগুলি প্রথমে কোনও এক কোণে হীরাটিকে স্পর্শ করবে। নন-কনভেক্স ক্ষেত্রে (প্রথম ইউনিট বলের চিত্র) এটি আরও বেশি সম্ভাবনা রয়েছে যে উপবৃত্তাকার এবং ইউনিট বলের মধ্যে প্রথম স্পর্শটি কোনও এক কোণে থাকবে, সুতরাং সেই ক্ষেত্রে লাসোর চেয়ে আরও পরিবর্তনশীল নির্বাচনের উপর জোর দেওয়া হবে।

আপনি "অ-উত্তল শাস্তি দিয়ে Lasso" এই চেষ্টা করুন google আপনি করছেন কাগজপত্র অনেক পাবেন Lasso মত মত অ উত্তল শাস্তি সঙ্গে সমস্যা সঙ্গে কুই < 1 ।$l_q$$q < 1$

(*) সম্পূর্ণতার জন্য আমি whuber এর মন্তব্য এখানে অনুলিপি:

আমি এই প্রশ্নটি বিশেষভাবে তদন্ত করি নি, তবে অনুরূপ পরিস্থিতিতে অভিজ্ঞতা থেকে বোঝা যায় যে একটি দুর্দান্ত গুণগত উত্তর থাকতে পারে: উত্সের দ্বিতীয় বিভাজনযোগ্য সমস্ত নিয়ম স্থানীয়ভাবে একে অপরের সমতুল্য হবে, যার মধ্যে আদর্শ আদর্শ। অন্যান্য সমস্ত নিয়মগুলি উত্সের সময়ে পৃথক হবে না এবং এল 1 গুণগতভাবে তাদের আচরণের পুনরুত্পাদন করে। যে গামুট আবরণ। প্রকৃতপক্ষে, এল 1 এবং এল 2 আদর্শের একটি লিনিয়ার সংমিশ্রণটি মূলটির দ্বিতীয় ক্রমের সাথে কোনও আদর্শের সাথে সন্নিবিষ্ট হয় - এবং এটি বহির্মুখী অবশিষ্টাংশ ব্যতীত নিগ্রহের ক্ষেত্রে সবচেয়ে গুরুত্বপূর্ণ।$L_2$$L_1$$L_1$$L_2$

$l_0$$\alpha \ge 0$$\| \alpha x \| = \alpha \| x \|$

Comments

@ Kjetilbhalvorsen আপনার গভীর উত্তরের জন্য আপনাকে ধন্যবাদ। প্রশ্ন এবং শিরোনামের সাথে সামঞ্জস্য রাখতে আমি অস্বাভাবিক সুপারস্প্রিপ্টিং নির্বাচন করি। অবশ্যই আপনি এটি নিজের পছন্দ মতো লিখতে পারেন।

— ফেরদি

@ কেজেটিভালভর্সেন আপনি কি হুবারের মন্তব্যে কিছুটা প্রসারিত করতে পারেন? এটি সুপরিচিত যে আদর্শটি মূল হিসাবে পৃথক নয় ( উদাহরণস্বরূপ বিবেচনা করুন )। নিয়মের 'স্থানীয় সমতা' বলতে কী বোঝায় তা পরিষ্কার নয়। কমপক্ষে বলতে গেলে, তথ্যসূত্র প্রয়োজন। এক্স ↦ | এক্স $L^2$$x \mapsto |x|$

— অলিভিয়ার

@ অলিভিয়ার এই এল -আরোনমটি মূলত পৃথক, আপনি ell_1 সম্পর্কে ভাবছেন । ℓ $\ell_2$$\ell_1$

— ফায়ারব্যাগ

@ ফায়ারব্যাগ নং। আমি 1 মাত্রায় আদর্শ সম্পর্কে ভাবছি , যা সেখানে আদর্শের মতো। আমি কিছু অনুপস্থিত করছি? এল $L^2$$L^1$

— অলিভিয়ার

@ অলিভার ওহ, আপনি আসলেই ঠিক বলেছেন। আমি ভুল বুঝেছিলাম , কারণ স্কোয়ার্ড -Norm আসলে ব্যবহৃত হয় এবং এটি সর্বত্র পৃথক। $\ell_2$

— ফায়ারব্যাগ

Answer 2

আমি মনে করি যে প্রশ্নের উত্তর আপনি "আরও ভাল" কীভাবে সংজ্ঞায়িত করেন তার উপর অনেক বেশি নির্ভর করে। আমি যদি সঠিক ব্যাখ্যা দিচ্ছি তবে আপনি জানতে চান কেন অন্যান্য বিকল্পগুলির তুলনায় এই নিয়মগুলি ঘন ঘন প্রদর্শিত হয়। এই ক্ষেত্রে, উত্তরটি সরলতা। নিয়মিতকরণের পিছনে স্বজ্ঞাততাটি হ'ল আমার কিছু ভেক্টর রয়েছে এবং আমি এই ভেক্টরটি কোনও অর্থে "ছোট" হতে চাই। আপনি কীভাবে কোনও ভেক্টরের আকার বর্ণনা করবেন? ভাল, আপনার পছন্দ আছে:

• $(L_0)$
• $(L_1)$
• $(L_2)$
• $(L_\infty)$

$L_3$

$L_2$$L_2$

$e^x$

অন্যথায়, আদর্শের নির্বাচনের খুব বিষয়গত প্রভাব রয়েছে, এবং কোনও সমস্যা সমাধানের ক্ষেত্রে আপনি কী পছন্দ করেন তা সংজ্ঞায়িত করার জন্য সমস্যাটি বলছেন এমন ব্যক্তি হিসাবে এটি আপনার উপর নির্ভর করে। আপনি কী আরও যত্নবান হন যে আপনার দ্রবণ ভেক্টরের সমস্ত উপাদানগুলির পরিমাণ একই রকম বা বৃহত্তম উপাদানটির আকার যতটা সম্ভব ছোট হবে? এই পছন্দটি আপনি যে নির্দিষ্ট সমস্যার সমাধান করছেন তার উপর নির্ভর করবে।

Answer 3

$L_1$$L_2$$L_1$

$L_2$$n$$\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$$L_2$

$L_0$$L_p$$L_\infty$