দণ্ডিত লিনিয়ার রিগ্রেশন জ্যামিতিক ব্যাখ্যা

Question

আমি জানি যে লিনিয়ার রিগ্রেশনটিকে "সমস্ত পয়েন্টের সাথে উল্লম্বভাবে সীমাবদ্ধ রেখা" হিসাবে ভাবা যেতে পারে :

এটি দেখার আরও একটি উপায় আছে, কলামের স্থানটি কল্পনা করে, যেমন "সহগ ম্যাট্রিক্সের কলাম দ্বারা বিস্তৃত স্থানটির উপরে প্রক্ষেপণ" :

আমার প্রশ্ন হ'ল: এই দুটি ব্যাখ্যায় আমরা যখন শাস্তিযুক্ত লিনিয়ার রিগ্রেশন, যেমন রিজ রিগ্রেশন এবং ল্যাসো ব্যবহার করি তখন কী ঘটে ? প্রথম ব্যাখ্যায় লাইনের সাথে কী ঘটে? এবং দ্বিতীয় ব্যাখ্যায় প্রক্ষেপণের সাথে কী ঘটে?

আপডেট: @ জনস্মিত মন্তব্যগুলিতে এই বিষয়টি তুলে ধরেছেন যে সহগের স্থানটিতে শাস্তি হয়। এই জায়গাতেও কি কোনও ব্যাখ্যা আছে?

Comments

আমি নিশ্চিত নই যে এ জাতীয় ব্যাখ্যা দিয়ে আসা সম্ভব। কেবল কারণ আপনি যা সরবরাহ করেছেন তা হ'ল বৈশিষ্ট্য এবং প্রতিক্রিয়াগুলির আসল স্থানের চিত্র। এবং জরিমানাযুক্ত প্রতিরোধের সহগের স্থান জড়িত, যা খুব আলাদা।

— দিমিত্রি ল্যাপটভ

"লাইন উল্লম্বভাবে সমস্ত পয়েন্টের নিকটবর্তী"? একটি সাধারণত স্কোয়ারের যোগফল নিয়ে যায় - উইকিপিডিয়া কোয়েটিফিট_এফ_ নির্ধারণের জন্য সুন্দর ছবিটি দেখুন । উল্লম্ব দূরত্বের যোগফলটি এল 1 আদর্শ, যা বিদেশীদের পক্ষে কম সংবেদনশীল তবে অনেক কম সাধারণ।

— ডেনিস

Answer 1

আমার চিত্রকলার দক্ষতার জন্য দুঃখিত, আমি আপনাকে নীচের অনুভূতি দেওয়ার চেষ্টা করব।

$f(\beta)$$\beta$$\beta_1$$\beta_2$

লাল বৃত্তের মাঝখানে এই ফাংশনটির ন্যূনতম রয়েছে। এবং এই সর্বনিম্নটি ​​আমাদের অ-দন্ডিত সমাধান দেয়।

$g(\beta)$$g(\beta) = \lambda (|\beta_1| + |\beta_2|)$$g(\beta) = \lambda (\beta_1^2 + \beta_2^2)$$\lambda$$\lambda$$g(x)$

$f(\beta) + g(\beta)$

বৃহত্তর জরিমানা, "আরও সংকীর্ণ" নীল রূপটি আমরা পাই এবং তারপরে প্লটগুলি একে অপরের সাথে শূন্যের কাছাকাছি পৌঁছে যায়। একটি দ্বিপক্ষীয় বিপরীতে: জরিমানা যত কম হবে, তীরচিহ্নগুলি প্রসারিত হবে এবং নীল এবং লাল প্লটগুলির ছেদটি লাল বৃত্তের কেন্দ্রস্থল (অ-দণ্ডিত সমাধান) এর কাছাকাছি আসে।

$\beta_1 = 0$$\beta_2 = 0$

$0$

আশা করি এটি প্যারামিটারের জায়গাগুলিতে দণ্ডিত রিগ্রেশন কীভাবে কাজ করে সে সম্পর্কে কিছু অন্তর্দৃষ্টি ব্যাখ্যা করবে।

Comments

আমি মনে করি একটি ক্লাসিকাল ছবি দিয়ে শুরু করা, যেমনটি আপনি করেছেন, একটি ভাল শুরু। করতে সত্যিই এই বুঝতে, আমি মনে করি এটি বর্ণনা কিভাবে contours এবং সমস্যা কহা সহায়ক হবে। বিশেষত, আমরা উভয় ক্ষেত্রেই জানি, আমরা যত বেশি ক্ষুদ্রতর হিসাবে আমাদের জরিমানা করি, ততই আমরা ওএলএসের দ্রবণের নিকটে পৌঁছে যাব এবং এটি যত বড় হবে ততই খাঁটি-ইন্টারসেপ্ট মডেলটি আমরা পেয়ে যাব। একটি প্রশ্ন জিজ্ঞাসা করুন: এটি কীভাবে আপনার চিত্রের মধ্যে প্রকাশ পায়?

— কার্ডিনাল

যাইহোক, আপনার চিত্রকলার দক্ষতা ঠিক ঠিক মনে হচ্ছে।

— কার্ডিনাল

আপনার মন্তব্যের জন্য ধন্যবাদ! এখানে সবকিছু স্বজ্ঞাতভাবে সহজ: বৃহত্তর জরিমানা, "আরও সংকীর্ণ" নীল রূপটি আমরা পাই (এবং তারপরে পয়েন্ট দুটি প্লটের মিলন শূন্যের কাছাকাছি আসে)। একটি ভিস-বিপরীত: ক্ষুদ্রতর জরিমানা: লাল বৃত্তের কেন্দ্রের কাছাকাছি প্লটগুলি পূরণ করবে (ওএলএস)।

— দিমিত্রি ল্যাপটভ

$g(x)$$\lambda$

পরিষ্কার চিত্রণ জন্য ধন্যবাদ। আমি অন্য কোথাও পড়েছি যে লক্ষ্যগুলির ন্যূনতম যোগফলটি ঘটে যেখানে তারা একে অপরের সাথে স্পর্শী হয়। আমি পেয়েছি যদি f (a beta) '= -g (a beta)' এর অর্থ হবে যে যোগফলের ডেরিভেটিভ শূন্য যা একটি চূড়ান্ত জন্য প্রয়োজনীয়। এখানেই যখন "দুটি কনট্যুর প্লট একে অপরের সাথে মিলিত হয়" বোঝানো হয়?

— বিজয়বিডি

Answer 2

আমার অন্তর্দৃষ্টিটি নিম্নরূপ: স্বল্প-বর্গক্ষেত্রের ক্ষেত্রে, টুপি ম্যাট্রিক্স একটি অর্থোগোনাল প্রজেকশন এটি আদর্শ আদর্শ। দণ্ডিত ক্ষেত্রে হ্যাট ম্যাট্রিক্স আর আদর্শবান নয়। প্রকৃতপক্ষে, এটি বহুবার অসীম প্রয়োগ করা সহগের সংখ্যাকে সঙ্কুচিত করবে। অন্যদিকে, সহগগণকে এখনও ভবিষ্যদ্বাণীকারীদের ফাঁকে থাকতে হয়, সুতরাং এটি এখনও একটি অভিক্ষেপ, যদিও অরথোগোনাল নয়। পেনালাইজিং ফ্যাক্টরের বিশালতা এবং আদর্শের ধরণটি উত্সের দিকে সংকোচনের দূরত্ব এবং দিক নিয়ন্ত্রণ করে।

Comments

কেন এটি আদর্শহীন নয় তা আমি দেখতে পাচ্ছি না: আমি যদি মহাকাশে ভেক্টরটি প্রজেক্ট করি (যদিও এটি অর্থেগোনাল প্রজেকশন নাও হয়), এবং আমি সহগের মধ্যে একটি সীমাবদ্ধতা রাখি, তবে কেন এই অভিক্ষিপ্ত ভেক্টরের নতুন প্রক্ষেপণ পূর্বের থেকে আলাদা হবে? এক?

— লুকাস রেইস

স্বজ্ঞাতভাবে: বলুন যে আপনি দ্বিতীয়বার স্কোয়ারের জরিমানার পরিমাণকে হ্রাস করছেন। দ্বিতীয় মিনিমাইজেশনে স্কোয়ারের যোগফল প্রথম মিনিমাইজেশনের স্কোয়ারের যোগফলের চেয়ে ছোট। দণ্ডিত সহগের আদর্শের আপেক্ষিক গুরুত্ব বৃদ্ধি পাবে, অর্থাৎ, আরও কিছু গুণাগুণ সঙ্কুচিত করে আরও কিছু অর্জন করা সম্ভব। রিজ রিগ্রেশন একটি ভাল উদাহরণ যার মধ্যে আপনার টুপি ম্যাট্রিক্সের জন্য একটি দুর্দান্ত বদ্ধ ফর্ম রয়েছে এবং আপনি সরাসরি এটি আদর্শপোষী কিনা তা পরীক্ষা করতে পারেন।

— জনরোস