মিথস্ক্রিয়া পদগুলির সাথে লাসো - প্রধান প্রভাবগুলি শূন্যে সঙ্কুচিত হলে এটি ঠিক আছে?


25

লাসো রিগ্রেশন সহগের সংখ্যাগুলি শূন্যের দিকে সঙ্কুচিত করে, এভাবে কার্যকরভাবে মডেল নির্বাচন সরবরাহ করে। আমি বিশ্বাস করি যে আমার ডেটাতে নামমাত্র এবং অবিচ্ছিন্ন সহকারীদের মধ্যে অর্থপূর্ণ মিথস্ক্রিয়া রয়েছে। অগত্যা, তবে সত্যিকারের মডেলটির 'মূল প্রভাবগুলি' অর্থবহ (শূন্য নয়)। সত্যিকারের মডেলটি অজানা বলে অবশ্যই আমি এটি জানি না। আমার উদ্দেশ্যগুলি হ'ল প্রকৃত মডেলটি সন্ধান করা এবং ফলাফলটি যতটা সম্ভব নিকটস্থভাবে পূর্বাভাস দেওয়া।

আমি শিখেছি যে মডেল বিল্ডিংয়ের শাস্ত্রীয় পদ্ধতির একটি মিথস্ক্রিয়া অন্তর্ভুক্ত করার আগে সর্বদা একটি প্রধান প্রভাব অন্তর্ভুক্ত থাকে। এভাবে দুই covariates একটি প্রধান প্রভাব ছাড়া একটি মডেল হতে পারে না এবং জেড যদি covariates একজন মিথস্ক্রিয়া হয় এক্স * টু Z একই মডেল হবে। ফাংশন সাবধানে পরিণামে নির্বাচন মডেল পদ (যেমন অনগ্রসর বা ফরওয়ার্ড এআইসি উপর ভিত্তি করে) এই নিয়মের পালনকারী।এক্সজেডএক্স*জেডstepR

লাসো অন্যরকমভাবে কাজ করছে বলে মনে হচ্ছে। যেহেতু সমস্ত প্যারামিটারগুলিকে শাস্তি দেওয়া হয়েছে তা সন্দেহ ছাড়াই ঘটতে পারে যে একটি প্রধান প্রভাব শূন্যের দিকে সঙ্কুচিত হয়ে গেছে তবে সেরা (যেমন ক্রস-বৈধ) মডেলটির মিথস্ক্রিয়া শূন্য নয়। Rএর glmnetপ্যাকেজটি ব্যবহার করার সময় এটি আমি আমার ডেটাগুলির জন্য বিশেষত খুঁজে পাই ।

আমি উপরে উদ্ধৃত প্রথম নিয়মের ভিত্তিতে সমালোচনা পেয়েছি, অর্থাৎ আমার চূড়ান্ত ক্রস-বৈধতাযুক্ত লসো মডেলটিতে কিছু শূন্য-মিথস্ক্রিয়া সম্পর্কিত মূল প্রভাবের শর্তাদি অন্তর্ভুক্ত নয়। তবে এই নিয়মটি এই প্রসঙ্গে কিছুটা অদ্ভুত বলে মনে হচ্ছে। যা নেমে আসে তা হ'ল আসল মডেলের প্যারামিটারটি শূন্য কিনা। আসুন ধরে নেওয়া যাক তবে এটি মিথস্ক্রিয়াটি শূন্য নয়, তবে লাসো সম্ভবত এটি সনাক্ত করবে, সুতরাং সঠিক মডেলটি সন্ধান করবে। বাস্তবে মনে হয় এই মডেল থেকে ভবিষ্যদ্বাণীগুলি আরও সুনির্দিষ্ট হবে কারণ এই মডেলটিতে সত্য-শূন্য মূল প্রভাব থাকে না, যা কার্যকরভাবে একটি শব্দের পরিবর্তনশীল।

আমি কি এই ভিত্তির উপর ভিত্তি করে সমালোচনা খণ্ডন করতে পারি বা আমি কোনওভাবে পূর্ব-সতর্কতা অবলম্বন করা উচিত যে লাসো ইন্টারঅ্যাকশন শব্দটির আগে প্রধান প্রভাব অন্তর্ভুক্ত করে?


2
কেউ এটিকে অবনমিত করেছেন। আমি আগ্রহী কেন
টমকা

1
আপনার লক্ষ্য ভবিষ্যদ্বাণী, অনুমান, বা অন্য কিছু একসাথে হয়?
অ্যান্ড্রু এম

@ অ্যান্ড্রুএম আমি যথাসম্ভব যথাযথ মডেলটি অনুমান করতে চাই, নির্ভরশীল ভেরিয়েবলগুলির কারণগুলির পরিবর্তনশীলগুলি ব্যাখ্যা করতে এবং পূর্বাভাসিত মানগুলিও ব্যবহার করি।
টোমকা

2
আপনার প্রথম লক্ষের জন্য, নোট করুন যে মডেল নির্বাচনের জন্য ক্রস-বৈধতাটি অসঙ্গতিপূর্ণ। প্রকৃতপক্ষে, এটি প্রদর্শিত হয়েছে যে "সত্য" মডেল যে মডেলটিকে ভবিষ্যদ্বাণীপূর্ণ পারফরম্যান্সের আমাদের অনুমানকে সর্বাধিক করে তোলে তার একটি উপসেট হয়ে থাকে। আপনার দ্বিতীয় লক্ষ্যের জন্য, লক্ষ করুন যে লাসো দৃ strongly়ভাবে পক্ষপাতদুষ্ট অনুমান সরবরাহ করে। সুতরাং আমি মনে করি আপনার প্রাথমিক লক্ষ্যটি কী তা নির্ধারণ করা দরকার এবং দরকারী পরামর্শ দেওয়ার আগে আপনার প্রশ্নটি পরিষ্কার করতে হবে।
অ্যান্ড্রু এম

@ অ্যান্ড্রুএম আমার প্রশ্ন: লাসো ব্যবহার করার সময় মূল প্রভাবটি মডেলটিতে অন্তর্ভুক্ত করা উচিত? এই প্রশ্নের উত্তর আমার উভয় আপত্তিদের জন্য আলাদাভাবে দেওয়া যেতে পারে be আমি মনে করি না যে প্রশ্নটির আরও প্রশংসা দরকার, তবে এই উদ্দেশ্যগুলি উল্লেখ করা গুরুত্বপূর্ণ, প্রথম অনুচ্ছেদে সম্পাদনা দেখুন।
টোমকা

উত্তর:


10

এই প্রশ্নের উত্তর দেওয়ার ক্ষেত্রে একটি অসুবিধা হ'ল বেশিরভাগ বাস্তব-বিশ্বের অ্যাপ্লিকেশনগুলিতে "সত্য" মডেলের ধারণার সাথে লাসোকে পুনর্মিলন করা শক্ত, যার মধ্যে সাধারণত ভবিষ্যদ্বাণী ভেরিয়েবলগুলির মধ্যে আপেক্ষিক সম্পর্ক নেই corre সেক্ষেত্রে যে কোনও পরিবর্তনশীল নির্বাচন কৌশল হিসাবে, লাসো দ্বারা শূন্য-সহগ সহ ফিরে আসা নির্দিষ্ট ভবিষ্যদ্বাণীগুলি অন্তর্নিহিত জনসংখ্যার থেকে নমুনা দেওয়ার অস্পষ্টতার উপর নির্ভর করবে। আপনি একই ডেটা সেট থেকে একাধিক বুটস্ট্র্যাপ নমুনায় লাসো সম্পাদন করে এবং প্রত্যাবর্তক ভেরিয়েবলগুলির সেটগুলির তুলনা করে ফিরে আসতে পারেন।

তদুপরি, @ অ্যান্ড্রুএম যেমন একটি মন্তব্যে উল্লেখ করেছে, লাসো প্রদত্ত অনুমানের পক্ষপাতিত্বের অর্থ হল যে আপনি "যতটা সম্ভব নিবিড়ভাবে ফলাফলগুলি সম্পর্কে ভবিষ্যদ্বাণী করবেন না।" বরং আপনি এমন ফলাফলের পূর্বাভাস দিচ্ছেন যা অনিবার্য পক্ষপাত-বৈকল্পিক ট্রেড অফের একটি নির্দিষ্ট পছন্দের উপর ভিত্তি করে।

সুতরাং এই অসুবিধাগুলি দেওয়া, আমি আশা করি যে আপনি নিজের জন্য জানতে চান, কেবল একটি সমালোচককে সন্তুষ্ট করতে নয়, মিথস্ক্রিয়ায় অবদান রাখে এমন ভেরিয়েবলগুলির মূল প্রভাবগুলির মাত্রা। আর, গ্লিন্টারনেটে একটি প্যাকেজ উপলব্ধ রয়েছে যা আপনাকে যা প্রয়োজন ঠিক তা করতে পারে বলে মনে হয় (যদিও এর সাথে আমার কোনও অভিজ্ঞতা নেই):

গ্রুপ-লাসো ইন্টারঅ্যাকশন-নেট। লিনিয়ার পেয়ারওয়াইস-ইন্টারঅ্যাকশন মডেলগুলি মজবুত করে যা দৃ strong় স্তরক্রমকে মেটায়: যদি কোনও ইন্টারঅ্যাকশন সহগটি নেনজারো হিসাবে অনুমান করা হয়, তবে এর দুটি যুক্ত প্রধান প্রভাবগুলিতেও ননজারো আনুমানিক সহগ রয়েছে। স্তরগুলির ক্রমাগত সংখ্যা, ক্রমাগত ভেরিয়েবল এবং এর সংমিশ্রণ সহ শ্রেণীবদ্ধ ভেরিয়েবল (কারণগুলি) সমন্বিত করে।

বিকল্পভাবে, আপনার যদি খুব বেশি ভবিষ্যদ্বাণী না করে থাকে তবে আপনি এর পরিবর্তে রিজ রিগ্রেশন বিবেচনা করতে পারেন, যা আপনার নির্দিষ্ট ডেটা নমুনার ভ্যাজুরির উপর নির্ভরশীল হতে পারে এমন সমস্ত ভেরিয়েবলের সহগকে ফিরিয়ে দেবে।


9

আমি একটি পার্টির জন্য দেরি করেছি, তবে আপনার সমস্যা সম্পর্কে আমার কিছু ধারণা এখানে রয়েছে।

  1. লাসো তথ্যমূলক যা নির্বাচন করে। স্বল্পতম সংখ্যক বৈশিষ্ট্য সহ সর্বোচ্চ ভবিষ্যদ্বাণীপূর্ণ পারফরম্যান্স পাওয়ার জন্য লাসোকে একটি পদ্ধতি হিসাবে বিবেচনা করি। এটি সম্পূর্ণরূপে ঠিক যে কিছু ক্ষেত্রে, লাসো ইন্টারঅ্যাকশন নির্বাচন করে এবং প্রধান প্রভাবগুলি নয়। এর কেবল অর্থ হল যে প্রধান প্রভাবগুলি তথ্যবহুল নয়, তবে মিথস্ক্রিয়াগুলি।

  2. আপনি কেবল রিপোর্ট করছেন, যা আপনি খুঁজে পেয়েছেন। আপনি কিছু পদ্ধতি ব্যবহার করেছেন এবং এতে কিছু ফলাফল এসেছে। আপনি এটিকে একটি স্বচ্ছ পদ্ধতিতে প্রতিবেদন করেছেন যা পুনরুত্পাদনযোগ্যতার অনুমতি দেয়। আমার মতে আপনার কাজ হয়ে গেছে। ফলাফলগুলি উদ্দেশ্যমূলক, আপনি যা পেয়েছেন তা খুঁজে পেয়েছেন এবং ন্যায়সঙ্গত হওয়া আপনার কাজ নয়, কেন আপনি অন্য কিছু খুঁজে পান নি।

  3. সমস্ত ইউনিট নির্বিচারে হয়। ইন্টারঅ্যাকশনগুলি কেবল একক। বলুন আপনি রঙ অধ্যয়ন করুন। রঙগুলি আপনার মডেলটিতে একটি তরঙ্গ দৈর্ঘ্য, বা লগ ওয়েভ দৈর্ঘ্য, বা 3 আরজিবি ভেরিয়েবল হিসাবে, বা একটি হিউ এবং টিন্টের ইন্টারঅ্যাকশন হিসাবে অন্তর্ভুক্ত করা যেতে পারে। রঙের সহজাতভাবে সঠিক বা ভুল উপস্থাপনা নেই। আপনার সমস্যার জন্য সর্বাধিক বোধগম্য এমন একটিটি আপনি বেছে নেবেন। ইন্টারঅ্যাকশনগুলি কেবলমাত্র ইউনিট যা আপনি নির্বিচারে ব্যবহার করতে পারেন। একটি উইন্ডোর ক্ষেত্রফল, এর উচ্চতা এবং প্রস্থের কেবল মিথস্ক্রিয়া, আপনার মডেলটিতে উইন্ডোর উচ্চতা এবং প্রস্থকে অন্তর্ভুক্ত করা উচিত? বেগ কেবল ভর এবং গতির ইন্টারঅ্যাকশন। এবং গতি হ'ল সময় এবং দূরত্বের মিথস্ক্রিয়া। মনহর্স হ'ল সময় এবং কাজ করা সংখ্যার সাথে কথোপকথন। গাণিতিকভাবে চিকিত্সার ডোজ * বয়স উচ্চতা * প্রস্থের সমান। "আপনাকে সর্বদা প্রধান প্রভাবগুলি অন্তর্ভুক্ত করতে হবে" কথাটি ওভাররেটেড।

  4. লাসো মোটামুটি বাস্তব মডেল নয়, এটি অনুমানের জন্য নয় এবং নির্বাচিত ভেরিয়েবলগুলি অস্থির। আপনি যদি তথ্যমূলক ভবিষ্যদ্বাণী সম্পর্কিত হয়ে থাকেন তবে লসো একটি বেছে বেছে অন্যকে 0 তে ঠেলে দেয়, তাই আপনার মডেল তথ্যবহুল ভেরিয়েবলের উল্লেখযোগ্য অনুপাত বাদ দেবে। এছাড়াও, মন্তব্যে উল্লেখ করা হয়েছে যে, যদি আপনি ক্রসওয়েডিয়ালনে সেরা ল্যাম্বডাকে খুঁজে পান তবে লাসো একটি বাস্তব মডেলের চেয়ে বেশি পরিবর্তনশীল চয়ন করবে। আর একটি বিষয় হ'ল লাসো থেকে নির্বাচনগুলি অস্থির। সুতরাং আপনি যদি জনসংখ্যার থেকে আলাদা কোনও নমুনায় আবার লাসো চালান, আপনি নির্বাচিত ভেরিয়েবলগুলির একটি পৃথক সেট দিয়ে শেষ করবেন। সুতরাং ভেরিয়েবল নির্বাচন করা হয় যার উপর খুব বেশি ওজন রাখবেন না। এছাড়াও, বিটাগুলি পক্ষপাতদুষ্ট এবং তাই শাস্ত্রীয় প্যারামেট্রিক অনুমানের পরীক্ষার জন্য ব্যবহার করা যাবে না cannot তবে এর চারপাশে উপায় রয়েছে (পরের পয়েন্ট)

  5. লাসোর সাথে অনুমান। ভবিষ্যদ্বাণীকারীদের উপর অনুমান করতে লাসো ব্যবহার করা যেতে পারে। সবচেয়ে সহজ উপায় হ'ল এটি বুটস্ট্র্যাপ করুন এবং প্রতিটি চলক কতবার নির্বাচিত হয়েছে তা গণনা করুন, বিভিন্ন সংখ্যার মাধ্যমে ভাগ করে নিন এবং আপনার পি-মান রয়েছে। পি সে ক্ষেত্রে লসো দ্বারা নির্বাচিত ভেরিয়েবলের সম্ভাবনা। আপনি এখনও উল্লেখযোগ্য মিথস্ক্রিয়া প্রভাব এবং তুচ্ছ মূল প্রভাব দিয়ে শেষ করতে পারেন, তবে এটি কোনও সমস্যা নয়, এটি সাধারণ অনুমানের পরীক্ষার মাধ্যমেও ঘটতে পারে। এই বিষয়টির দুর্দান্ত চিকিত্সা হস্টি এট এ in অল। বিনামূল্যে বই: পরিসংখ্যানগত Sparsity শেখা এবং অধ্যায় 6, http://web.stanford.edu/~hastie/StatLearnSparsity/বুটস্ট্র্যাপ ল্যাম্বদা মানগুলির পুরো পরিসীমা জন্য সম্পাদন করা যেতে পারে যার ফলস্বরূপ সমস্ত ভেরিয়েবলের স্থিতিশীলতার পথ তৈরি হবে। পারিবারিকভাবে ত্রুটির জন্য সংশোধনযোগ্য উল্লেখযোগ্য ভেরিয়েবলগুলির একটি সেট খুঁজে পেতে এটি স্থায়িত্ব নির্বাচনের পদ্ধতির সাথে বাড়ানো যেতে পারে। http://onlinelibrary.wiley.com/doi/10.1111/j.1467-9868.2010.00740.x/abstract লাসোর সাথে অনুক্রমের জন্য আরও কিছু পদ্ধতি রয়েছে, এটি কার্যকর হতে পারে। যথা অভিযোজিত লাসো বা তাত্পর্যপূর্ণ লাসো। আর বাস্তবায়নের সাথে পর্যালোচনাটি এখানে ডিওআই: 10.1214 / 15-STS527 বা আইএমও বুহলম্যানমে আরও অ্যাক্সেসযোগ্য ব্যাখ্যা, ভ্যান ডি গির বই: উচ্চ মাত্রিক ডেটা সম্পর্কিত পরিসংখ্যান http://www.springer.com/la/book/9783642201912

  6. সচেতন হওয়ার মতো অন্যান্য লাসো সম্পর্কিত বিষয়। আমি যতদূর জানি রিজ বা ইলাস্টিক নেট লাসোকে ছাড়িয়ে যায়। যদি ভেরিয়েবল সম্পর্কে কোনও ডোমেন জ্ঞান থাকে তবে লাসোকে পৃথক পৃথকভাবে চিকিত্সা করার পরিবর্তে পুরো গ্রুপটিকে রাখার জন্য বা বাতিল করতে লসোকে বাধ্য করার জন্য ব্যবহার করা যেতে পারে (যেমন জিন পাথ, ডামি কোডেড ফ্যাক্টর ভেরিয়েবল)। স্থানিক বা অর্ডার করা ডেটার জন্য ফিউজড লাসো ব্যবহার করা যেতে পারে। উপরে বর্ণিত স্থায়িত্ব নির্বাচনের কাগজে প্রবর্তিত র্যান্ডমাইজড লাসো স্ট্যান্ডার্ড লাসোর মতো একই পারফরম্যান্স সহ স্পার্সার মডেল উত্পাদন করতে ঝোঁক।


1
সত্যই পছন্দ হয়েছে # 3
ব্যবহারকারী 4581

0

আমার একটি অ্যাপ্লিকেশন রয়েছে যেখানে আমি বিশেষত চাই ক্ষুদ্র সংখ্যক প্রধান প্রভাবকে শাস্তি না দেওয়া। Y = X.main বিটা + এক্স. inter বিটা. inter + ইপস আসুন

ক) ফিট.ওয়াই = ওএলএস (এক্স.মাইন, ওয়াই)। টিলডে.ওয়াই = ওয়াই - ভবিষ্যদ্বাণী করা (ফিট.ওয়াই, এক্স.মাইন) খ) ফিট করুন [, জে] = ওএলএস (এক্স.মাইন, এক্স.ইনটার [, জে]) জে = 1 ... কে। Tilde.X.inter [, j] = X.inter [, j] - পূর্বাভাস (Fit.j, X.main) গ) ফিট = লাসো (tilde.X.inter, tilde.y)। মূল প্রভাবের সহগ ফিট হয় Y Y - কোফ (ফিট) * ফিট [, 1: ম্লান (X.inter) [2]]। মিথস্ক্রিয়া প্রভাব উপর সহগ কোফ সমান (ফিট)

পদক্ষেপগুলিতে ক এবং খ, নমুনা বিভাজন করার প্রয়োজন নেই। সেটা আমার জন্য কাজ করে!

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.