সফট-থ্রেশহোল্ডিং বনাম লাসোর শাস্তি

আমি উচ্চ-মাত্রিক ডেটা সেটগুলি দিয়ে মাল্টিভারিয়েট বিশ্লেষণে এখন পর্যন্ত যা বুঝলাম তার সংক্ষিপ্ত করার চেষ্টা করছি এবং আমি এখনও নরম-প্রান্তিকের বনাম লাসো (বা ) সঠিক সংজ্ঞা অর্জনের মাধ্যমে সংগ্রাম করছি । $L_1$

আরও স্পষ্টভাবে, আমি জিনোমিক ডেটা সহ 2-ব্লক ডেটা স্ট্রাকচার বিশ্লেষণ করতে স্পার্স পিএলএস রিগ্রেশন ব্যবহার করেছি ( একক নিউক্লিওটাইড পলিমর্ফিজমস , যেখানে আমরা সংখ্যার পরিবর্তনশীল হিসাবে বিবেচিত {0,1,2 range পরিসরে গৌণ অ্যালিলের ফ্রিকোয়েন্সি বিবেচনা করি) এবং অবিচ্ছিন্ন ফিনোটাইপস (ব্যক্তিত্বের বৈশিষ্ট্য বা সেরিব্রাল অসমমিতি পরিমাণকে স্কোর করার পরিমাণ, এছাড়াও ক্রমাগত ভেরিয়েবল হিসাবে বিবেচিত)। আন্তঃ-স্বতন্ত্র ফেনোটাইপিক বৈচিত্রগুলি ব্যাখ্যা করার জন্য ধারণাটি ছিল সবচেয়ে প্রভাবশালী ভবিষ্যদ্বাণীকারীদের (এখানে, ডিএনএ ক্রমের জিনগত প্রকরণ) olate

আমি প্রথমে মিক্সোমিক্স আর প্যাকেজটি ব্যবহার করেছি (পূর্বে integrOmics) যা দন্ডিত পিএলএস রিগ্রেশন এবং নিয়মিত সিসিএ বৈশিষ্ট্যযুক্ত । আর কোডটি দেখে আমরা দেখতে পেলাম যে ভবিষ্যদ্বাণীকারীদের মধ্যে "স্পারসিটি" কেবলমাত্র তম উপাদানটির উপরের সর্বোচ্চ লোডিং (পরম মানের সাথে) শীর্ষ ভেরিয়েবলগুলি নির্বাচন করে প্ররোচিত হয় , (অ্যালগোরিদম) উপাদানগুলির উপর পুনরাবৃত্তি এবং গণনা ভেরিয়েবল লোডিং , প্রতিটি পুনরাবৃত্তিতে ভবিষ্যদ্বাণীকারীদের ব্লককে বিচ্ছিন্ন করে স্পার্স পিএলএস দেখুন: ওভিউয়ের জন্য ওমিক্সের ডেটা সংহত করার সময় পরিবর্তনশীল নির্বাচন )। বিপরীতে, এসপ্লে প্যাকেজটি এস কেলি দ্বারা সহ-রচিত (দেখুন দেখুন) $k$ $i$ $i=1,\dots, k$ $k$ একযোগে মাত্রা হ্রাস এবং পরিবর্তনশীল নির্বাচনের জন্য স্পার্স আংশিক স্বল্প স্কোয়ারস রিগ্রেশন , এই লেখকদের দ্বারা গৃহীত পদ্ধতির আরও আনুষ্ঠানিক বিবরণের জন্য) পরিবর্তনশীল শাস্তির জন্য -পেনালাইজেশন প্রয়োগ করে । $L_1$

একটি কঠোর "বাইজেকশন" আছে কিনা তা আমার কাছে স্পষ্ট নয়, তাই বলা যায়, সফ্ট- এবং - নিয়মিতকরণের ভিত্তিতে পুনরাবৃত্ত বৈশিষ্ট্য নির্বাচনের মধ্যে । সুতরাং আমার প্রশ্নটি: দুজনের মধ্যে কোনও গাণিতিক সংযোগ আছে কি? $L_1$

তথ্যসূত্র

চুন, এইচ। এবং কেল, এস, এস। (2010), যুগপত মাত্রা হ্রাস এবং পরিবর্তনশীল নির্বাচনের জন্য স্পার্স আংশিক ন্যূনতম স্কোয়ার । রয়্যাল স্ট্যাটিস্টিকাল সোসাইটির জার্নাল: সিরিজ বি , 72 , 3-25।
ওমিক্স ডেটা একীকরণ করার সময় লে কাও, কে.এ.এ, রসো, ডি।, রবার্ট-গ্র্যানি, সি, এবং বেসেস, পি। (২০০৮), একটি স্পার্স পিএলএস । জেনেটিক্স এবং আণবিক জীববিজ্ঞানের পরিসংখ্যানমূলক অ্যাপ্লিকেশন , 7 , অনুচ্ছেদ 35।

— chl
সূত্র

উত্তর:

আমি যা বলব তা প্রতিরোধের পক্ষে, তবে পিএলএসের ক্ষেত্রেও সত্য হওয়া উচিত। সুতরাং এটি একটি bijection না কারণ আপনার কত জোরদার মধ্যে সীমাবদ্ধ উপর depeding , আপনি 'উত্তর' বিভিন্ন দ্বিতীয় সমাধান শুধুমাত্র স্বীকার থাকবে সম্ভাব্য উত্তর (যেখানে ভেরিয়েবল সংখ্যা) <-> আছে 'ট্র্যাঙ্কেশন' গঠনের চেয়ে গঠনে আরও সমাধান । $l1$ $p$ $p$ $l1$

— user603
সূত্র

@ কেওয়াক ওকে, লারস অ্যালগরিদমটি ভেরিয়েবলের গুরুত্বের উপর সহজ থ্রোসোল্ডিংয়ের চেয়ে অনেক বেশি পরিশীলিত বলে মনে হয়, তবে মুল বক্তব্যটি আমি পেনাল্টি প্যারামিটার এবং # ভ্যারিয়েবলের # এর মধ্যে স্পষ্ট সম্পর্ক দেখতে পাই না যা মডেলটিতে রাখতে বলা হয়; আমার কাছে মনে হয় আমরা অগত্যা একটি পেনাল্টি প্যারামিটার খুঁজে পাই না যা ঠিক একটি নির্দিষ্ট # ভেরিয়েবলের ফল দেয় yield

— সিলেট

@ সিএইচএল:> এস-পিএলএস বলতে আপনার কী বোঝায়? (আপনি LARS লিখেছিলেন যা আপনি আলোচনা করেছেন যে কোনও একটি অ্যালগরিদম থেকে আলাদা)। প্রকৃতপক্ষে, পেনাল্টি প্যারামিটার এবং উপাদান # এর মধ্যে একঘেয়ে সম্পর্ক রয়েছে তবে এটি লিনিয়ার রিলেশনশিপ নয় এবং এই সম্পর্কটি কেস ভিত্তিতে প্রতিটি ক্ষেত্রে পৃথক হয় (এটি ডেটাসেট / সমস্যা নির্ভর)।

— ব্যবহারকারী 60

@ Kwak L1- জরিমানা LARS ব্যবহার করে অর্জন করা যেতে পারে, যদি না আমি বিভ্রান্তি না করি। আপনার দ্বিতীয় বিষয়টি আসলে আমার মনে আছে; আপনার এই বিন্দু সম্পর্কে কোন রেফারেন্স আছে?

— chl

@ সিএইচএল:> * এলআরএস ব্যবহার করে এল 1-জরিমানা অর্জন করা যেতে পারে, যদি না আমি বিভ্রান্তি বোধ করি * আমি তা জানতাম না (এবং এটি সন্দেহের মধ্যে রয়েছে)। আপনি একটি রেফারেন্স প্রদান করতে পারেন? ধন্যবাদ। আপনার দ্বিতীয় প্রশ্নের জন্য: লাসো হুই জু, ট্র্যাভর হাস্টি এবং রবার্ট তিবশিরানী সূত্র: আন এর "স্বাধীনতার ডিগ্রি" দেখুন Source পরিসংখ্যানবিৎ। খণ্ড 35, সংখ্যা 5 (2007), 2173-2192। (অনেকগুলি আনগেটেড সংস্করণ রয়েছে)।

— ব্যবহারকারী 60

@ কেওয়াক তিবশিরানীর ওয়েবপেজ, www-stat.stanford.edu/~tibs/lasso.html এবং larsআর প্যাকেজটি দেখুন; অন্যান্য পদ্ধতি বংশদ্ভুত তুল্য (JSS 2010 33 (1 দেখুন), অন্তর্ভুক্ত bit.ly/bDNUFo ), এবং পাইথন scikit.learnপ্যাকেজ, উভয় পন্থা অতিরিক্ত বৈশিষ্ট্যগুলিও উপস্থিত রয়েছে bit.ly/bfhnZz ।

— সিলেট

$L_1$ একটি অপ্টিমাইজেশান সমস্যার অংশ। নরম থ্রেশোল্ডিং একটি অ্যালগরিদমের অংশ। কখনও কখনও শাস্তি নরম থ্রেশহোল্ডিংয়ের দিকে পরিচালিত করে। $L_1$

রিগ্রেশনের জন্য, ম্যাট্রিক্সের কলামগুলি অরথোগোনাল হলে (সারিগুলি বিভিন্ন নমুনার সাথে ) ন্যূনতম প্রান্তিকের (লাসো) দন্ডিত হয়ে থাকে তবে কমপক্ষে হয় (লাসো)আপনি যখন গড় গড় অনুমানের বিশেষ ক্ষেত্রে বিবেচনা করেন তখন এক্সট্রাটিভ স্ট্রেইট-ফরোয়ার্ড যেখানে ম্যাট্রিক্স প্রতিটি সারিতে একক এবং অন্য যে কোনও জায়গায় শূন্য করে। $L_1$ $X$ $X$ $1$

জেনারেল ম্যাট্রিক্সের জন্য, চক্রীয় স্থানাঙ্ক বংশোদ্ভূত ডেস্কের মাধ্যমে লাসো সলিউশনটি গণনা করা আবশ্যকভাবে পুনরাবৃত্তিমূলক নরম-প্রান্তিককরণের ফলস্বরূপ। Http://projecteuclid.org/euclid.aoas/1196438020 দেখুন । $X$

— vqv
সূত্র

(+1) এজন্য ধন্যবাদ, বিশেষত ফ্রেডম্যানের কাগজ।

— chl