লিনিয়ার রিগ্রেশন কেন নিয়মিতকরণ প্যারামিটারের মানগুলিকেও শাস্তি দেয়?

বর্তমানে রিজ রিগ্রেশন শিখছি এবং আরও জটিল মডেলগুলির শাস্তি (বা আরও জটিল মডেলের সংজ্ঞা) সম্পর্কে আমি কিছুটা বিভ্রান্ত হয়ে পড়েছিলাম।

আমি যা বুঝতে পারি তা থেকে মডেল জটিলতা অগত্যা বহুবর্ষীয় ক্রমের সাথে সম্পর্কিত হতে পারে না। তাই:

2 + 3 + 4 x^{2} + 5 x^{3} + 6 x^{4}

$2 + 3+ 4x^2 + 5x^3 + 6x^4$ এর চেয়ে আরও জটিল মডেল:

5 x^{5}

$5x^5$

এবং আমি জানি যে নিয়ন্ত্রণের বিন্দুটি মডেলটির জটিলতা কম রাখার জন্য, সুতরাং উদাহরণস্বরূপ বলুন যে আমাদের কাছে একটি 5 তম অর্ডার বহুবচন রয়েছে

f (x; w) = w_{0} + w_{1} x + w_{2} x^{2} + w_{3} x^{3} + w_{4} x^{4} + w_{5} x^{5}

$f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5$

আরও পরামিতি যে 0 ভাল হয়।

তবে আমি যা বুঝতে পারি না তা হ'ল, যদি এটি একই ক্রমটির বহুপদী থাকে তবে কেন নিম্ন পরামিতি মানগুলি কম শাস্তি পায়? তাহলে কেন:

2 + 5 x + x^{3}

$2 + 5x + x^3$ কম জটিল মডেল হতে হবে

433 + 342 x + 323 x^{3}

$433+ 342x + 323x^3$ এগুলি উভয়ই একই বহু বহুতোষ ক্রম এবং পরামিতি মানগুলি কেবলমাত্র ডেটার উপর নির্ভর করে।

ধন্যবাদ!

regression regularization hyperparameter

— Physco111
সূত্র

পরামিতি মানগুলি কেবলমাত্র ডেটার উপর নির্ভর করে

এটি আপনার প্রশ্নের মূল অংশ। এখানেই আপনি বিভ্রান্ত হয়ে পড়েছেন।

হ্যাঁ, প্যারামিটার মানগুলি ডেটার উপর নির্ভর করে। আমরা যখন কোনও মডেল ফিট করি তবে ডেটা স্থির হয় । অন্য কথায়, আমরা পর্যবেক্ষণগুলিতে শর্তসাপেক্ষে একটি মডেল ফিট করি । বিভিন্ন ডেটাসেটে লাগানো বিভিন্ন মডেলের জটিলতার সাথে তুলনা করার কোনও অর্থ হয় না ।

এবং একটি নির্দিষ্ট ডেটাসেটের প্রসঙ্গে, একটি মডেল

2 + 5 x + x^{3}

$2 + 5x + x^3$

তুলনায় প্রকৃতপক্ষে সহজতম মডেলের কাছাকাছি, যথা সমতল শূন্য মডেল

433 + 342 x + 323 x^{3},

$433+ 342x + 323x^3,$

এবং এটি আপনার পর্যবেক্ষণের স্কেল নির্বিশেষে ধারণ করে।

ঘটনাচক্রে, বিরতি ( $2$ এবং $433$ আপনার উদাহরণে) ঘন ঘন দণ্ডিত হয় না, উদাহরণস্বরূপ, বেশিরভাগ লাসোর সূত্রগুলিতে, কারণ পর্যবেক্ষণের সামগ্রিক গড় ক্যাপচার করার জন্য আমরা অবাধে এটির পরিবর্তিত হতে দেওয়া ভাল। অন্য কথায়, আমরা পর্যবেক্ষণের গড়ের দিকে মডেলটি সঙ্কুচিত করি, একটি সম্পূর্ণ শূন্য মডেল নয় (যেখানে শূন্যটি প্রায়শই নির্বিচারে হবে)। এই অর্থে, একটি ফ্ল্যাট $2$ এবং একটি ফ্ল্যাট $433$ মডেল সমান জটিল বিবেচিত হবে।

— স্টিফান কোলাসা
সূত্র

নিম্নতর মানের সহগগুলি উচ্চতর সহগের তুলনায় সমতল শূন্য থেকে দূরে? এটি কি টাইপো, নাকি আমি ভুল বোঝাবুঝি কেন দূরে-ধ্রুবক মডেলটিকে ঘনিষ্ঠ থেকে ধ্রুবক মডেলের মতো শাস্তি দেওয়া হয় না?

— আরএম

দুঃখিত, এটি আসলে একটি টাইপ ছিল। আমাকে সম্পাদনা করতে দিন। এই বিষয়টি চিহ্নিত করার জন্য ধন্যবাদ!

— স্টিফান কোলাসা