রিগ্রেশনে ডেটা কেন্দ্রিং এবং মানককরণের প্রয়োজন

Question

কিছু নিয়মিতকরণের সাথে লিনিয়ার রিগ্রেশন বিবেচনা করুন: উদাহরণস্বরূপ যেটি হ্রাস করুন | | একটি এক্স - বি | | 2 + λ | | এক্স | | $x$$||Ax - b||^2+\lambda||x||_1$

সাধারণত, এ এর ​​কলামগুলিকে শূন্য গড় এবং একক আদর্শ হিসাবে মানক করা হয়, এবং শূন্য গড় হিসাবে কেন্দ্রীভূত হয়। মানককরণ এবং কেন্দ্রীকরণের কারণ সম্পর্কে আমার বোঝাপড়াটি সঠিক কিনা তা আমি নিশ্চিত করতে চাই।$b$

এবং বি শূন্যের কলামগুলির মাধ্যম তৈরি করে আমাদের আর একটি বাধা শব্দটির দরকার নেই। নাহলে উদ্দেশ্য হত | | একটি এক্স - এক্স 0 1 - বি | | 2 + λ | | এক্স | | ঘ । 1 এর সমান কলামগুলির মানগুলি তৈরি করে আমরা একটি কেসের সম্ভাবনাটি সরিয়ে ফেলি যেখানে কেবলমাত্র A এর একটি কলাম খুব উচ্চমানের কারণে এটি x এর একটি কম সহগ হয় , যা আমাদের সেই স্তম্ভের ভুলভাবে উপসংহারে নিয়ে যেতে পারে একটি এক্স "ব্যাখ্যা" করে না$A$$b$$||Ax-x_01-b||^2+\lambda||x||_1$$x$$x$ ভালভাবে ।

এই যুক্তিটি হুবহু কঠোর নয় বরং স্বজ্ঞাতভাবে, এটি কি সঠিকভাবে ভাবা উচিত?

Answer 1

আপনি এবং খ এর কলামগুলির অর্থ শূন্য করার বিষয়ে সঠিক$A$$b$ ।

যাইহোক, এর কলামের নিয়ম সামঞ্জস্য জন্য , বিবেচনা কি হবে যদি আপনি একটি normed সঙ্গে শুরু আউট একটি , এবং সমস্ত উপাদান এক্স মোটামুটিভাবে একই মাত্রার ছিল। তারপরে একটি কলামকে 10 - 6 দিয়ে গুন করি । সংশ্লিষ্ট উপাদান এক্স , একটি unregularized রিগ্রেশনে, একটি গুণক দ্বারা বর্ধিত করা হবে 10 6 । দেখুন নিয়ামককরণের মেয়াদটি কী হবে? নিয়মিতকরণ, সমস্ত ব্যবহারিক উদ্দেশ্যে, কেবলমাত্র একটি সহগের জন্য প্রযোজ্য। $A$$A$$x$$10^{-6}$$x$$10^6$

এর কলাম norming দ্বারা , আমরা intuitively, লেখা, তাদের সব একই স্কেল উপর করা। ফলস্বরূপ, এক্স এর উপাদানের প্রস্থের পার্থক্যগুলি সরাসরি ব্যাখ্যামূলক ফাংশনের "উইগলিটি" ( এ এক্স ) এর সাথে সম্পর্কিত, যা নিয়মিতভাবে নিয়ন্ত্রণ করার চেষ্টা করে যা looseিলে .ালাভাবে বলে speaking এটি ব্যতীত, 10.0 এর অন্য একটি 0.1 এর একটি সহগের মান আপনাকে বলবে, A সম্পর্কে জ্ঞানের অভাবে , কোন গুণফল A x এর "উইগগ্লিউলিটি" সর্বাধিক অবদান রাখছিল সে সম্পর্কে কিছুই বলবে না । (ক রৈখিক ফাংশন জন্য, মত একজন x , "wiggliness" ডেভিয়েশন 0. থেকে সম্পর্কিত হয়)$A$$x$$Ax$$A$$Ax$$Ax$

আপনার ব্যাখ্যা ফিরে আসতে যদি এক কলাম একটি খুব উচ্চ আদর্শ আছে, এবং কিছু কারণে একটি কম সহগ পায় এক্স , আমরা এই উপসংহারে না যে কলাম একটি "ব্যাখ্যা" না এক্স ভাল। A মোটেও x ব্যাখ্যা করে না । $A$$x$$A$$x$$A$$x$

Comments

আপনার মানে $x$ does not ''explain'' $A$ well, এবং মানে x does not ''explain'' $A$ at all? হ'ল ডেটা এবং এক্স এই ক্ষেত্রে মডেল। $A$$x$

— ব্যবহারকারী 3813057

$x$$\beta$$A$$X$$b$$y$$x$$A$