লাসো / রিজ রিগ্রেশন-এর মানককরণ বনাম সাধারণকরণ


10

আমি অবগত যে রিজ এবং লসো রিগ্রেশন এর বৈশিষ্ট্যগুলিকে মানক করা সাধারণ অনুশীলন, তবে, এই রিগ্রেশন পদ্ধতির জন্য জেড-স্কোর মানককরণের বিকল্প হিসাবে কোনও (0,1) স্কেলের বৈশিষ্ট্যগুলিকে সাধারণকরণ করা কি আরও কার্যকর হবে?

উত্তর:


4

আপনি যদি নরমালাইজেশন প্রয়োগ করেন ([0,1] তে চেপে নিন) আপনার আপেক্ষিক পরিবর্তনশীল গুরুত্বের পরিমাণ হবে তবে এটি আপনার ভেরিয়েবলগুলির স্কেল পরিবর্তন করবে এবং আপনি সমস্ত মডেল ব্যাখ্যা ব্যাখ্যা হারাবেন। মানককরণের সুবিধাটি হ'ল আপনি এখনও অনিয়ন্ত্রিত ওএলএস রিগ্রেশন (যেমন ইতিমধ্যে এখানে উত্তর দেওয়া হয়েছে ) হিসাবে মডেলটি ব্যাখ্যা করতে পারেন ।


3
নিয়মিত মডেলটি সাধারণীকরণের সাথে বা ছাড়াই খুব আলাদাভাবে অভিনয় করছে !! বিশেষত, আমরা যদি বৈশিষ্ট্যগুলিকে নরমালাইজ না করি তবে আমাদের বিভিন্ন বৈশিষ্ট্যগুলির জন্য বিভিন্ন জরিমানা হবে!
হাইটাও দু

1
আমি বিশেষত লাসোর সহগ ব্যাখ্যার কথা বলছিলাম , অনুমান নয়। অনুমানগুলি পরিবর্তিত হবে তা দেওয়া, আমি কীভাবে মডেল ব্যাখ্যার পরিবর্তন করতে পারি তা জানতে আগ্রহী।
ডিজিও

1
আপনার উত্তরে আপনি যে প্রশ্নটির সাথে লিঙ্ক করেছেন সেই প্রশ্নটি আপনি যে পয়েন্টটি করছেন তা সমর্থন করে বলে মনে হয় না। আপনি কী আপনার মূল পোস্টে আরও স্পষ্ট করে বলতে পারেন যে বৈশিষ্ট্যগুলি মানক করা হয় কেবল তখনই এলএস সহগের ব্যাখ্যা কেন লাসো সহগের সাথে একমত হয়? ধন্যবাদ!
ব্যবহারকারী795305

@ বেন, আপনি আমার উত্তরটি ভুল বুঝেছিলেন (সম্ভবত আমার দোষ)। যে উত্তরটির সাথে আমি সংযুক্ত করেছি তার ব্যাখ্যা দেয় যে কীভাবে লাসো এবং সাধারণ রিগ্রেশন (ওএলএস বা অন্যথায়) মডেল সহগগুলি একইভাবে ব্যাখ্যা করা যায় - যে কোনও পরিস্থিতিতে (মানযুক্ত বা না)। সাধারণকরণের সাথে (যে কোনও ধরণের বা প্যারামেট্রিক রিগ্রেশন), আপনি মূল স্কেলটি হারাবেন এবং আপনি ব্যাক-ট্রান্সফর্মিং ছাড়াই সহগের ব্যাখ্যা করতে পারবেন না। মানককরণের সাথে, আপনি মডেলটিকে সাধারণ পদ্ধতিতে ব্যাখ্যা করেন।
ডিজিও

0

নিয়মিতকরণের পদ্ধতির জন্য সাধারণকরণ খুব গুরুত্বপূর্ণ। এটি কারণ ভেরিয়েবলগুলির স্কেল নির্দিষ্ট ভেরিয়েবলের উপর কতটা নিয়মিতকরণ প্রযোজ্য তা প্রভাবিত করে।

উদাহরণস্বরূপ, ধরুন একটি ভেরিয়েবল খুব বড় স্কেলের, বলুন মিলিয়ন মিলিয়ন এবং অন্য ভেরিয়েবল 0 থেকে 1 অবধি। তারপরে, আমরা ভাবতে পারি যে নিয়মিতকরণ প্রথম ভেরিয়েবলের উপর খুব কম প্রভাব ফেলবে।

পাশাপাশি আমরা সাধারণীকরণ করি, এটি 0 থেকে 1 এ স্বাভাবিক করুন বা বৈশিষ্ট্যগুলিকে মানীকৃত করুন এতে খুব বেশি কিছু আসে না।


1
এই উত্তরটি সুস্পষ্টভাবে তুলে ধরেছে। এখানে "নরমালাইজেশন" বলতে বোঝানো হয়েছে [0,1] এর সমস্ত মানকে চেঁচানো, এটি মানকতার জন্য কেবল অন্য শব্দ নয়। প্রশ্নটি মডেল সহগের উপর [0,1] বনাম প্রমিতকরণ ~ N (0,1) এর স্বাভাবিককরণের প্রভাব সম্পর্কে।
ডিজিও

[0,1] এ স্বাভাবিক হওয়ার অর্থ কী? এটি অর্জনের অনেক উপায় আছে। দণ্ডিত প্রতিরোধের জন্য আপনার প্রস্তাবটি ঠিক কী?
ক্যাগডাস ওজজেঙ্ক

1
যেহেতু প্রশ্নটি "একটি (0,1)" স্কেলের বৈশিষ্ট্যগুলিকে সাধারণকরণ করতে বলেছে, যদিও বৈশিষ্ট্য পুনরুদ্ধার আরও ভাল শব্দ, এটি গুণগত অনুমানগুলি তৈরি করার একটি সাধারণ কৌশল যা আপেক্ষিক পরিবর্তনশীল গুরুত্ব (আরএফের বিশুদ্ধতা পরিমাপের অনুরূপ) প্রকাশ করে। হ্যাঁ, এটি অর্জনের অনেকগুলি উপায় রয়েছে এবং এটি দণ্ডিত রিগ্রেশন সম্পর্কিত নির্দিষ্ট কিছু নয় তবে এই প্রশ্নটি লাসোর উপর বৈশিষ্ট্য পুনরুদ্ধারের (মানক নয়) এর প্রভাব সম্পর্কে।
ডিজিও

"এটিকে 0 থেকে 1 এ স্বাভাবিক করুন বা বৈশিষ্ট্যগুলি খুব বেশি গুরুত্ব দেয় না" এর অর্থ কী? কোন অর্থে এটি খুব বেশি গুরুত্ব দেয় না? আপনি এই দাবির জন্য কোনও অন্তর্দৃষ্টি বা রেফারেন্স সরবরাহ করতে পারেন?
ব্যবহারকারী795305
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.