বন্ধ-ফর্ম বনাম গ্রেডিয়েন্ট বংশোদ্ভূত মধ্যে রিগ্রেশন পরামিতিগুলির জন্য সমাধান

Question

অ্যান্ড্রু এনগের মেশিন লার্নিং কোর্সে তিনি লিনিয়ার রিগ্রেশন এবং লজিস্টিক রিগ্রেশন প্রবর্তন করেছেন এবং গ্রেডিয়েন্ট বংশোদ্ভূত এবং নিউটনের পদ্ধতি ব্যবহার করে মডেল পরামিতিগুলি কীভাবে ফিট করবেন তা দেখায়।

আমি জানি যে গ্রেডিয়েন্ট বংশোদ্ভূত মেশিন লার্নিংয়ের কয়েকটি অ্যাপ্লিকেশনগুলিতে (যেমন, ব্যাকপ্রোপেশন) দরকারী হতে পারে, তবে আরও সাধারণ ক্ষেত্রে আপনি বদ্ধ আকারে প্যারামিটারগুলির সমাধান না করার কোনও কারণ আছে - অর্থাত্, এর ডেরিভেটিভ গ্রহণ করে ক্যালকুলাসের মাধ্যমে ব্যয় এবং সমাধান?

সাধারণভাবে একটি বদ্ধ-ফর্ম সমাধানের তুলনায় গ্রেডিয়েন্ট বংশদ্ভুতের মতো পুনরাবৃত্ত অ্যালগরিদম ব্যবহারের সুবিধা কী?

Comments

আমি মনে করি না বেশিরভাগ উজ্জ্বল (যেমন লজিস্টিক রিগ্রেশন) -এর রিগ্রেশন প্যারামিটারগুলির এমএলইয়ের জন্য একটি বদ্ধ ফর্ম সমাধান রয়েছে। সাধারণ ত্রুটির সাথে লিনিয়ার রিগ্রেশন একটি ব্যতিক্রম।

— ম্যাক্রো

আকর্ষণীয় ... এর অর্থ কি পৃথক পরিসংখ্যান প্যাকেজগুলি লজিস্টিক রিগ্রেশনটির জন্য বিভিন্ন উত্তর দিতে পারে যেমন, উদাহরণস্বরূপ, প্রাথমিক প্যারামিটার সেটিংস, পুনরাবৃত্তির সংখ্যা, একাধিক স্থানীয় মিনিমা ইত্যাদি - - বা কোনও প্রচলিত পদ্ধতি রয়েছে যা সমস্ত ভাল পরিসংখ্যান প্যাকেজগুলি করবে অনুসরণ? (যদিও আমি নিশ্চিত যে কোনও মতপার্থক্য যদি এগুলির মধ্যে থাকে তবে বেশিরভাগ ক্ষেত্রে তা বেশ কয়েক মিনিটের মধ্যেই)

— জেফ

(+1) আপনার প্রশ্ন এবং আপনার মন্তব্যে, জেফ। ক্যানোনিকাল লিঙ্ক (লজিস্টিক রিগ্রেশনের মতো) ব্যবহার করে জিএলএমগুলি উত্তেজনার দুর্দান্ত বৈশিষ্ট্যগুলি থেকে উপকৃত হয়। এই জাতীয় সমস্যাগুলি সমাধান করার জন্য একাধিক অ্যালগরিদম হতে পারে, তবে এর মূল উত্সাহটি হ'ল (কিছুটা মোটামুটি বিশদ বিবরণ), ভালভাবে প্রয়োগ করা সংখ্যাসূচক অ্যালগোরিদমগুলি তাদের মধ্যে ধারাবাহিক ফলাফল দেবে।

— কার্ডিনাল

আমি ব্যক্তিগতভাবে অ্যান্ড্রু এনগির কোর্সকে অপছন্দ করি কারণ এটি লোকেদের বিশ্বাস করে যে লিনিয়ার রিগ্রেশন "মেশিন লার্নিং" into

— ডিজিও

সম্পর্কিত: লিনিয়ার রিগ্রেশন মডেলটির

— গুণাগুণগুলি

Answer 1

বদ্ধ ফর্ম সমাধান গণনা করা ব্যয়বহুল না হলে এটি উপলব্ধ হলে সাধারণত এটিই যায়। যাহোক,

1. বেশিরভাগ ননলাইনারি রিগ্রেশন সমস্যার জন্য কোনও বন্ধ ফর্ম সমাধান নেই।

2. এমনকি লিনিয়ার রিগ্রেশন (কয়েকটি ক্ষেত্রে যেখানে একটি বদ্ধ ফর্ম সমাধান পাওয়া যায়) এর মধ্যে, এটি সূত্রটি ব্যবহার করা অবৈধ হতে পারে। নিম্নলিখিত উদাহরণটি একটি উপায় দেখায় যাতে এটি ঘটতে পারে।

ফর্মের মডেলটিতে লিনিয়ার রিগ্রেশনের জন্য , যেখানে সম্পূর্ণ কলাম র‌্যাঙ্ক সহ একটি ম্যাট্রিক্স, সর্বনিম্ন স্কোয়ার সমাধান,$y=X\beta$$X$

$\hat{\beta} = \arg \min \| X \beta -y \|_{2}$

দেওয়া হয়

$\hat{\beta}=(X^{T}X)^{-1}X^{T}y$

এখন, কল্পনা করুন যে খুব বড় তবে বিরাট ম্যাট্রিক্স। যেমন 100,000 কলাম এবং 1,000,000 সারি থাকতে পারে, কিন্তু এন্ট্রিগুলির শুধুমাত্র 0.001% অশূন্য হয়। এই জাতীয় বিরল ম্যাট্রিক্সের কেবল ননজারো এন্ট্রিগুলি সংরক্ষণ করার জন্য এখানে বিশেষায়িত ডেটা স্ট্রাকচার রয়েছে। $X$$X$$X$

এও ধারণা করুন যে আমরা দুর্ভাগ্য এবং ননজারো এন্ট্রিগুলির অনেক বেশি শতাংশ সহ মোটামুটি ঘন ম্যাট্রিক্স। by ম্যাট্রিক্সের দ্বারা 100,000 উপাদান দ্বারা একটি ঘন 100,000 সঞ্চয় করার জন্য ভাসমান পয়েন্ট সংখ্যাগুলির প্রয়োজন হবে (প্রতি সংখ্যা 8 বাইটে এটি 80 গিগাবাইটে আসে)) এটি কোনও কিছুর জন্য সংরক্ষণ করা অবৈধ হবে কিন্তু একটি সুপার কম্পিউটার। তদুপরি, এই ম্যাট্রিক্সের বিপরীতটি (বা আরও সাধারণভাবে একটি কোলেস্কি ফ্যাক্টর) বেশিরভাগ ননজারো এন্ট্রিগুলিতে থাকে। $X^{T}X$$X^{T}X$$1 \times 10^{10}$

তবে, ন্যূনতম স্কোয়ার সমস্যা সমাধানের জন্য পুনরাবৃত্তি পদ্ধতি রয়েছে যার জন্য , এবং more এর চেয়ে বেশি স্টোরেজ প্রয়োজন নেই এবং স্পষ্টভাবে ম্যাট্রিক্স পণ্যটি । $X$$y$$\hat{\beta}$$X^{T}X$

এই পরিস্থিতিতে, পুনরাবৃত্ত পদ্ধতিটি ব্যবহার করা কমপক্ষে স্কোয়ার সমস্যার বন্ধ ফর্ম সমাধানটি ব্যবহার করার চেয়ে অনেক বেশি কম্পিউটেশনাল দক্ষ।

এই উদাহরণটি অযৌক্তিকভাবে বড় মনে হতে পারে। যাইহোক, এই আকারের বৃহত স্পারস ন্যূনতম স্কোয়ার সমস্যাগুলি নিয়মিতভাবে সিসমিক টমোগ্রাফি গবেষণায় ডেস্কটপ কম্পিউটারগুলিতে পুনরাবৃত্তি পদ্ধতি দ্বারা সমাধান করা হয়।

Comments

আমার উল্লেখ করা উচিত যে এখানে সংখ্যার যথাযথতা সম্পর্কিত সমস্যাগুলিও রয়েছে যা ন্যূনতম স্কোয়ার সমস্যাটির বদ্ধ ফর্ম সমাধানটি অনাবশ্যক করতে পারে। যাইহোক, এর জন্য অসুস্থ-কন্ডিশনার সম্পর্কিত আলোচনার প্রয়োজন হবে যা মনে হয় মূল পোস্টারের বর্তমান বোঝার বাইরে।

— ব্রায়ান বোর্চার

দয়া করে উত্তর পোস্ট করতে দ্বিধা করবেন না কারণ আপনি ভাবেন না যে আমি এটি বুঝতে পারি। প্রথম - এটি আরও তথ্য সরবরাহ করতে ক্ষতিগ্রস্থ করবে না, এমনকি এটিকে ধরার জন্য আমাকে কিছু গবেষণা নিলে। দ্বিতীয় - স্ট্যাকেক্সচেঞ্জের মডেল ধরে নিয়েছে যে এই প্রশ্নোত্তর ভবিষ্যতে অন্যদের উপকার করবে। অন্য কথায়, ওপি জানে বলে আপনি কতটা ভাবেন তার উপর ভিত্তি করে আপনার উত্তরটি বোকা বানাবেন না, বা আপনি অন্যকে বারণ করবেন।

— জেফ

@ ব্রায়ান, আমার অনুভূতি হ'ল আপনার মন্তব্যটি ইস্যুটির হৃদয়ের খুব কাছে চলে গেছে এবং উত্তরের প্রথম বাক্যটির সাথে কিছুটা দ্বন্দ্ব রয়েছে। আমি মনে করি না কোনও ন্যূনতম-স্কোয়ার সফ্টওয়্যার (তার সঠিক মনে) বদ্ধ-ফর্ম সমাধানটি নিয়োগ করে। :)

— কার্ডিনাল

কার্ডিনাল- অনুশীলনে, ছোট স্কেলের ন্যূনতম স্কোয়ার সমস্যাগুলি সমাধান করার জন্য কিউআর ফ্যাক্টেরাইজেশন বা এসভিডি ব্যবহার করা ভাল। আমি যুক্তি দিয়েছি যে এলএসকিউআর-এর মতো পুনরাবৃত্তি কৌশলটি ব্যবহারের তুলনায় এই অরথোগোনাল ফ্যাক্টরীকরণগুলির মধ্যে একটির ব্যবহার করা একটি সমাধানও "বদ্ধ ফর্ম সমাধান"। আমি আমার উত্তরে এটি আবিষ্কার করিনি কারণ এটি অযথা আমার মূল বক্তব্য থেকে দৃষ্টি আকর্ষণ করে।

— ব্রায়ান বোর্চার্স

মন্দ কন্ডিশনার? পাঠ্যপুস্তক বন্ধ ফর্ম সমাধান? আমি সকালে স্কোয়ার শর্ত সংখ্যা গন্ধ পছন্দ করি। একটি বড় শর্ত নম্বর আছে? কেন এটি বর্গাকার এবং এটি আরও বড় করে তুলবে না? এত বড় শর্তের নম্বর নেই? কেন এটি বর্গক্ষেত্র এবং এটি বড় করতে না।

— মার্ক এল। স্টোন

Answer 2

মেশিন লার্নিং (এমএল) এবং রিগ্রেশন সম্পর্কিত বেশ কয়েকটি পোস্ট রয়েছে। সাধারণ ন্যূনতম স্কোয়ারগুলি (ওএলএস) সমাধানের জন্য এমএল প্রয়োজন হয় না, যেহেতু এটি রৈখিক সমীকরণের সিস্টেমটি সমাধান করার জন্য এক-পদক্ষেপের ম্যাট্রিক্স স্যান্ডউইচিং অপারেশনকে জড়িত - যেমন । সবকিছু লিনিয়ার এই সত্যটি হ'ল সহগের জন্য সমাধানের জন্য কেবল এক-পদক্ষেপ অপারেশন প্রয়োজন। লজিস্টিক রিগ্রেশন সম্ভাবনা ফাংশন সর্বাধিক করার উপর ভিত্তি করে , যা নিউটন-রাফসন, বা অন্যান্য এমএল গ্রেডিয়েন্ট অ্যাসেন্ট পদ্ধতি, মেটাওরিস্টিক্স (পাহাড়ী আরোহণ, জেনেটিক অ্যালগরিদমস, জলাবদ্ধ গোয়েন্দা, পিঁপড়া কলোনী অপ্টিমাইজেশন ইত্যাদি) ব্যবহার করে সমাধান করা যায় । $\boldsymbol{\beta}=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$$L=\prod_i{p_i}$

পার্সিমনি সম্পর্কে, ওএলএসের জন্য এমএল ব্যবহার অপব্যয় কারণ কারণ ওএলএস সমাধানের জন্য পুনরাবৃত্তি শেখা অদক্ষ।

এখন, ডেরাইভেটিভস সম্পর্কিত বনাম এমএল সম্পর্কিত আপনার আসল প্রশ্নের দিকে ফিরে গ্রেডিয়েন্ট-ভিত্তিক সমস্যাগুলি সমাধান করার জন্য appro বিশেষত, লজিস্টিক রিগ্রেশনের জন্য, নিউটন-রাফসনের গ্রেডিয়েন্ট বংশোদ্ভূত (ডেরাইভেটিভ-ভিত্তিক) পদ্ধতির ব্যবহার সাধারণত হয়। নিউটন-র‌্যাফসনের প্রয়োজন হয় যে আপনি উদ্দেশ্যমূলক ফাংশন এবং এর আংশিক ডেরাইভেটিভগুলি প্রতিটি প্যারামিটারকে সীমাবদ্ধ করতে পারেন (সীমাতে অব্যাহত এবং পার্থক্যযোগ্য) know এমএল বেশিরভাগ ক্ষেত্রে ব্যবহৃত হয় যখন উদ্দেশ্যমূলক কার্যটি খুব জটিল ("সংক্ষেপে") হয় এবং আপনি ডেরাইভেটিভগুলি জানেন না। উদাহরণস্বরূপ, কোনও ফাংশন সান্নিধ্যযুক্ত সমস্যা বা তত্ত্বাবধানে শ্রেণিবিন্যাস সমস্যাটি সমাধান করার জন্য কোনও কৃত্রিম নিউরাল নেটওয়ার্ক (এএনএন) ব্যবহার করা যেতে পারে function এই ক্ষেত্রে, এএনএন হ'ল ফাংশন।

লজিস্টিক রিগ্রেশন সমস্যা সমাধানের জন্য এমএল পদ্ধতিগুলি ব্যবহার করার ভুল করবেন না, কেবলমাত্র আপনি এটি করতে পারেন বলে। যৌক্তিকতার জন্য, নিউটন-রাফসন অত্যন্ত দ্রুত এবং সমস্যা সমাধানের উপযুক্ত কৌশল technique এমএল সাধারণত ব্যবহৃত হয় যখন আপনি জানেন না যে ফাংশনটি কী। (যাইহোক, এএনএনগুলি গণ্য বুদ্ধিমত্তার ক্ষেত্র থেকে, এমএল নয়)।