লিনিয়ার রিগ্রেশন মডেলের সহগগুলি খুঁজে পেতে কি আমাদের গ্রেডিয়েন্ট বংশোদ্ভূত দরকার?


31

আমি কোর্সেরা উপাদান ব্যবহার করে মেশিন লার্নিং শেখার চেষ্টা করছিলাম । এই বক্তৃতায় অ্যান্ড্রু এনজি লিনিয়ার রিগ্রেশন মডেলের সহগগুলি খুঁজে পেতে গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদম ব্যবহার করে যা ত্রুটি ফাংশন (ব্যয় ফাংশন) হ্রাস করবে।

লিনিয়ার রিগ্রেশন জন্য, আমাদের কি গ্রেডিয়েন্ট বংশোদ্ভূত দরকার? দেখে মনে হচ্ছে যে আমি ত্রুটিযুক্তভাবে ত্রুটি ফাংশনটিকে আলাদা করতে এবং এটি সহগের জন্য সমাধানের জন্য শূন্যে সেট করতে পারি; এটা কি সঠিক?


3
1700 এর দশক থেকে লিনিয়ার মডেলগুলি বেশ ভালভাবে পরিচালিত হয়েছে। এগুলি পরিচালনা করার জন্য অনেকগুলি উপায় রয়েছে যা গ্রেডিয়েন্ট বংশোদ্ভূত (জিডি) প্রয়োজন হয় না। এমন ননলাইনার মডেল রয়েছে যেখানে এই পদ্ধতিগুলির বেশিরভাগই তাদের মুখের উপর ফ্ল্যাট পড়ে। অ্যান্ড্রু আপনাকে একটি অতি সাধারণ সমস্যার বিরুদ্ধে অপরিচিত তবে খুব দরকারী পদ্ধতিটি ব্যবহার করে তুলছে যাতে আপনি আপনার পদ্ধতির ডিবাগ করতে পারেন। আপনি যখন পদ্ধতির সাথে ভাল হন আপনি অত্যাশ্চর্য ননলাইনার সমস্যায় এটি প্রয়োগ করতে পারেন যার ফলস্বরূপ জিডি হ'ল একমাত্র পদ্ধতি।
এনগ্রিস্টুডেন্ট - মনিকা

10
না, আপনাকে গ্রেডিয়েন্ট বংশদ্ভুতের মতো পন্থাগুলি ব্যবহার করতে হবে না (এটি কোনও ক্ষেত্রেই সর্বোত্তম পদ্ধতি নয়)। আপনি প্রস্তাবিত হিসাবে বিশ্লেষণাত্মকভাবে এটি সমাধান করতে পারেন; আপনি প্রতিটি প্যারামিটারের সাথে সম্মানের সাথে পার্থক্য করেন, যাতে আপনি প্রতিটি প্যারামিটারের জন্য একটি সমীকরণ পান। তবে এটি সহজ উপায়গুলি সমাধান করতে কার্যকর যা অন্যান্য উপায়ে করা যেতে পারে; যদি আপনি উত্তরটি ইতিমধ্যে জানেন তবে আপনি গ্রেডিয়েন্ট বংশোদ্ভূত সঙ্গে সঠিক উত্তর পাওয়ার সময় নিশ্চিত হতে পারেন।
গ্লেন_বি -রিনস্টেট মনিকা

যদি ব্যয় ফাংশনটি স্বাভাবিক চতুষ্কোণ ('দূরত্ব') জরিমানা হয়, তবে একটি বন্ধ ফর্ম সমাধান রয়েছে। তবে গ্রেডিয়েন্ট বংশদ্ভুত সাধারণত খুব দ্রুত হয়, এজন্য এটি সাধারণত ব্যবহৃত হয়।
অ্যাগিনেস্কে

তদ্ব্যতীত, গ্রেডিয়েন্ট বংশোদ্ভূত বিশ্লেষণাত্মকভাবে জটিলতাযুক্ত সমস্যার সংখ্যাগত সমাধানগুলি খুঁজতে ব্যবহার করা যেতে পারে। আমি সন্দেহ করব যে তিনি প্রথমে গ্রেডিয়েন্ট বংশোদ্ভূত ব্যবহার করেন যাতে এটি ব্যবহার করতে পারেন। আমি বিশ্বাস করি তিনি তখন নিউরাল নেট দিয়ে গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করেন। স্নায়বিক নেট পরিস্থিতি আরও জটিল বলে বলাই বাহুল্য। আমি মনে করি একটি পাঠ্যক্রমিক পরিস্থিতি থেকে, লিনিয়ার মডেলগুলির সাথে তাদের আগে দেখেছিলে, নিউরাল নেটগুলির সাথে ব্যবহারের জন্য গ্রেডিয়েন্ট বংশোদ্ভূত আরো যুক্তিসঙ্গত বলে মনে হয়।
অ্যাগিনেস্কে

3
আমি বেশ কয়েকটি দেখেছি আন্দ্রে এনজি ভিডিওতে টিটি লিঙ্ক পোস্ট করার জন্য ধন্যবাদ। আমি ইতিমধ্যে এটি জানতাম, যদিও এই চূড়ান্ত নয়, তবে এটি দেখতে ভয়ঙ্কর যে "সংখ্যাগরিষ্ঠ লোকেরা" শেখার "অপ্টিমাইজেশন কী শিখছে, তাদের মধ্যে কমপক্ষে কিছু পরিসংখ্যানগত কম্পিউটিং সম্পর্কে কী শিখছে তা উল্লেখ না করে। এসভিডি কম্পিউটিং এবং ব্যবহারের পথিকৃৎ জিন গোলব তার স্টানফোর্ড কম্পিউটার সায়েন্স ডিপার্টমেন্টে এখন কী শেখানো হচ্ছে তা যদি তিনি জানতেন তবে তাঁর সমাধিতে ঘুরপাক খাচ্ছিল। "মজার" ভিডিওটি ইউটিউব.ওউচ? বি বিভিসকেমিগি 8 ই , যা সর্বনিম্ন স্কোয়ারের জন্য 2 টি ওয়ার্ল্ড অ্যালগরিদমগুলির প্রস্তাব এবং তুলনা করুন
মার্ক এল স্টোন

উত্তর:


43

লিনিয়ার সর্বনিম্ন স্কোয়ারগুলি এর মাধ্যমে সমাধান করা যায়

0) নিচে বর্ণিত নিরবচ্ছিন্ন রৈখিক ন্যূনতম স্কোয়ারগুলির জন্য, বা নীচে বর্ণিত হিসাবে চৌম্বকীয় প্রোগ্রামিং বা কনিক অপ্টিমাইজেশনের সংস্করণের উপর ভিত্তি করে উচ্চমানের লিনিয়ার সর্বনিম্ন স্কোয়ার্স সলভার ব্যবহার করছেন এই জাতীয় সমাধানকারী প্রাক-ক্যানড, ভারী পরীক্ষা করা হয় এবং যেতে প্রস্তুত - এটি ব্যবহার করুন।

1) এসভিডি, যা সবচেয়ে নির্ভরযোগ্য এবং সংখ্যাগতভাবে সঠিক পদ্ধতি, তবে বিকল্পগুলির চেয়ে আরও বেশি কম্পিউটিং নেয়। ম্যাট্ল্যাব-এ, অসংরক্ষিত লিনিয়ার সর্বনিম্ন স্কোয়ার সমস্যার জন্য এসভিডি দ্রবণ A * X = b হ'ল পিনভ (এ) * বি, যা খুব নির্ভুল এবং বিশ্বাসযোগ্য।

2) কিউআর, যা মোটামুটি নির্ভরযোগ্য এবং সংখ্যাগতভাবে নির্ভুল, তবে এসভিডির চেয়ে বেশি নয়, এবং এসভিডির চেয়ে দ্রুত। ম্যাট্ল্যাব-তে নিয়ন্ত্রিত রৈখিক সর্বনিম্ন স্কোয়ার সমস্যার কিউআর সলিউশন A * X = b হ'ল A \ b, যা মোটামুটি যথাযথ এবং নির্ভরযোগ্য, যখন A অসুস্থ-শর্তযুক্ত ব্যতীত, অর্থাৎ বড় শর্তের সংখ্যা রয়েছে except A \ b পিনভ (এ) * বি এর চেয়ে বেশি গতিযুক্ত, তবে নির্ভরযোগ্য বা নির্ভুল নয়।

3) সাধারণ সমীকরণ গঠন (নির্ভরযোগ্যতা এবং সংখ্যাগত নির্ভুলতার অবস্থান থেকে মারাত্মক, কারণ এটি শর্ত সংখ্যাটি বর্গাকার করে, যা করা খুব খারাপ কাজ) এবং এবং

3 এ) কোলেস্কি ফ্যাক্টরাইজেশন দ্বারা সমাধান করা (ভাল নয়)

3 বি) সুস্পষ্টভাবে উল্টানো ম্যাট্রিক্স (HORRIBLE)

৪) চতুর্ভুজ প্রোগ্রামিং সমস্যা বা দ্বিতীয় আদেশ শঙ্কু সমস্যা হিসাবে সমাধান করা

4 এ) উচ্চ মানের কোয়াড্র্যাটিক প্রোগ্রামিং সফ্টওয়্যার ব্যবহার করে সমাধান করুন। এটি নির্ভরযোগ্য এবং সংখ্যাগতভাবে নির্ভুল, তবে এসভিডি বা কিউআর এর চেয়ে বেশি সময় নেয়। যাইহোক, উদ্দেশ্যমূলক কার্যের সাথে আবদ্ধ বা সাধারণ লিনিয়ার সীমাবদ্ধতা, বা লিনিয়ার বা চতুর্ভুজ (দুটি আদর্শ) জরিমানা বা নিয়মিতকরণের শর্তাদি যুক্ত করা সহজ, এবং এখনও চতুর্ভুজ প্রোগ্রামিং সফ্টওয়্যার ব্যবহার করে সমস্যার সমাধান করা।

4 খ) উচ্চমানের কনিক অপ্টিমাইজেশন সফ্টওয়্যার ব্যবহার করে দ্বিতীয় আদেশ শঙ্কু সমস্যা হিসাবে সমাধান করুন। মন্তব্যগুলি চতুষ্কোণ প্রোগ্রামিং সফ্টওয়্যার হিসাবে একই, তবে আপনি বাধা বা সাধারণ রৈখিক সীমাবদ্ধতা এবং অন্যান্য শঙ্কু প্রতিবন্ধকতা বা উদ্দেশ্য ফাংশন শর্তাদি, যেমন বিভিন্ন নিয়মে জরিমানা বা নিয়মিতকরণ শর্তাদি যুক্ত করতে পারেন।

5) উচ্চ মানের সাধারণ উদ্দেশ্যে ননলাইনার অপ্টিমাইজেশন সফ্টওয়্যার ব্যবহার করে সমাধান করুন। এটি এখনও ভালভাবে কাজ করতে পারে তবে সাধারণত চতুর্ভুজ প্রোগ্রামিং বা কননিক অপ্টিমাইজেশন সফ্টওয়্যার থেকে ধীর হবে এবং সম্ভবত এটি যথেষ্ট নির্ভরযোগ্য নয়। তবে, কেবল আবদ্ধ এবং সাধারণ রৈখিক সীমাবদ্ধতাগুলিকেই অন্তর্ভুক্ত করা সম্ভব হতে পারে তবে ন্যূনতম সীমাবদ্ধতাগুলিও সর্বনিম্ন স্কোয়ার অপ্টিমাইজেশনে অন্তর্ভুক্ত করা যেতে পারে। এছাড়াও, অরৈখিক সর্বনিম্ন স্কোয়ারগুলির জন্য ব্যবহার করা যেতে পারে এবং যদি অন্য অ-লাইন শর্তগুলি উদ্দেশ্যমূলক ফাংশনে যুক্ত করা হয়।

)) লসি সাধারণ উদ্দেশ্যে অরৈখিক অপ্টিমাইজেশন অ্যালগরিদম ব্যবহার করে সমাধান করুন -> এটি কখনও করবেন না।

)) সর্বাধিক পজিবল সাধারণ উদ্দেশ্যে অবিচ্ছিন্ন অপ্টিমাইজেশন অ্যালগরিদম ব্যবহার করে সমাধান করুন, যেমন গ্রেডিয়েন্ট বংশোদ্ভূত। সমাধানের পদ্ধতিটি কীভাবে খারাপ এবং অবিশ্বাস্য হতে পারে তা যদি আপনি দেখতে চান তবে কেউ যদি লিনিয়ার সর্বনিম্ন স্কোয়ার সমস্যাগুলি সমাধান করার জন্য গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করতে বলেন তবে এটি ব্যবহার করুন

I i) যে কেউ এ সম্পর্কে কিছু জানে তার কাছ থেকে পরিসংখ্যানগত কম্পিউটিং সম্পর্কে শিখুন

I ii) যে কেউ এ সম্পর্কে কিছু জানে তার কাছ থেকে অপ্টিমাইজেশন শিখুন।


দুর্দান্ত পোস্ট, আপনার সিস্টেমটি পিডি থাকলেও কেন আপনি মনে করেন যে কোলেস্কি ভাল নয় ? (এবং একটি হাস্যকর শর্তের নম্বর সহ নয়) বিটিডাব্লু, আমি মনে করি আপনি "এসভিডি" বা "স্পষ্টত বিপরীত" বিন্দুতে সাধারণীকরণের বিপরীত (বেশিরভাগই শিক্ষামূলক উদ্দেশ্যে ব্যবহারযোগ্য) ধারণাটি বলতে চান (বা যুক্ত) করতে চান।
usεr11852

2
বিটিডাব্লু, এটি খুব হাস্যকর যে ঘন ঘন উচ্চ শর্তের সংখ্যার সাথে ম্যাট্রিকগুলি কীভাবে উত্পন্ন হয়, বিশেষত ধোয়া না হওয়া জনগণের দ্বারা (যেমন, বেশিরভাগ লোকেরা লিনিয়ার ন্যূনতম স্কোয়ারগুলি করেন, বিশেষত অ্যাক্সেসে গণতন্ত্রকরণ দেওয়া হয়), যারা এতে স্বীকৃত নয়।
মার্ক এল স্টোন

1
mldivide, অর্থাত্। ব্যাকস্ল্যাশ, অর্থাৎ, Q কিউআর ব্যবহার করে যখন এম m = এন (ন্যূনতম স্কোয়ার), যেমন আমি উপরে আমার অনুচ্ছেদের (২) দ্বিতীয় বাক্যে বলেছি। আপনি অবাক হবেন যে ম্যাটল্যাবে যদিও কতটা বকাঝকা রয়েছে - কেবলমাত্র সরঞ্জাম বাক্সগুলিতে নয়, এর কয়েকটি একেবারে ভয়াবহ, তবে কিছু কিছু মূল কার্যক্রমেও কিছুটা কম।
মার্ক এল স্টোন

1
@ মার্কএল.স্টোন, দুর্দান্ত উত্তর! আপনি যদি দয়া করে কমপক্ষে বর্গক্ষেত্রের সমাধানের জন্য গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করার পরামর্শ দেন না কেন আপনি আরও কিছুটা ব্যাখ্যা করতে পারেন! (আমার বোঝার ক্ষেত্রে এটি অন্যের তুলনায় কেবলমাত্র একটি পুনরাবৃত্তি পদ্ধতি (দিকনির্দেশ সমাধানের দিকে এগিয়ে আসছে) যা আপনি উপরে উল্লিখিত করেছেন)। তদুপরি, আপনি কি সমস্যাটি সম্পর্কে মন্তব্য করতে পারেন: "যদি আমার কোনও সমস্যার জন্য n> = 30,000 বৈশিষ্ট্য থাকে তবে সাধারণ সমীকরণ পদ্ধতিটি খুব ধীর হবে কারণ এনভার্ট করা এন * এন ম্যাট্রিক্সটি ভয়ানক হবে! অন্যদিকে, জিডি এতে কাজ করবে কেস সুন্দর! এসভিডি এবং কিউআর কীভাবে সম্পাদন করবে সে সম্পর্কে কোনও চিন্তাভাবনা "। কোন পরামর্শ সহায়ক হবে।
আনু

1
@ আনু কেবলমাত্র সর্বশেষ অবলম্বন হিসাবে গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করুন। এবং কেবল তখনই যদি সমস্যাটি খুব বড় হয় এসভিডি বা কিউআর দ্বারা সমাধান করা যায় না। সাধারণ সমীকরণগুলি কখনই গঠন করবেন না, সাধারণ সমীকরণগুলি সমাধান করার জন্য ম্যাট্রিক্সকে স্পষ্টভাবে একাকী করা যাক, কখনও নয়। 30,000 বৈশিষ্ট্য আজকালকার মতো খুব বেশি লাগে না।
মার্ক এল। স্টোন

0

রৈখিক মডেলের সহগ খুঁজে বের করাই প্রযুক্তিগতভাবে লিনিয়ার সমীকরণের একটি সেট সমাধান সমাধান করার প্রক্রিয়া ।

এই জাতীয় সমাধানগুলির গণনার জন্য, অনেকগুলি optimization techniquesবিকাশ করা হয়েছে এবং সেগুলির Gradient Descentমধ্যে একটি।
সুতরাং, গ্রেডিয়েন্ট বংশদ্ভুত এটি করার একমাত্র উপায় নয়

অ্যান্ড্রু এনজি কোর্সে এটি ব্যবহার করেছে কারণ এটি উন্নত রৈখিক বীজগণিত এবং সংখ্যাসূচক কম্পিউটিংয়ের সাথে কাজ না করে বোঝা সহজ


ভুল না হলেও আমি মনে করি আপনার উত্তরটি একটি অ-মানক ক্ষেত্রে ফোকাস করে বড় চিত্রটিকে মিস করে। বেশীরভাগ রৈখিক রিগ্রেশনের মডেলের কিউ পচানি একটি বদ্ধ ফর্ম সমাধান নিযুক্ত ব্যবহার করে লাগানো হয়। GD-গ্রেডিয়েন্ট শালীন- আরও উন্নত পদ্ধতি (উদাহরণস্বরূপ SGD- স্টোকাস্টিক GD) প্রবর্তনের জন্য উদাহরণ হিসাবে ব্যবহৃত হয় ।
usεr11852 বলছেন

আপনি কিউআর পচে যাওয়াটি কী ব্যাখ্যা করতে পারেন?
ভিক্টর

3
আপনি সমাধান করতে চান । প্রদত্ত যেখানে উপরের ত্রিদলীয় এবং লম্ব হয়, অনগ্রসর প্রতিকল্পন দ্বারা সমাধান করা যেতে পারে যা (অর্থাৎ। ফাস্ট) নামে ত্রিদলীয় এবং । জন্য খুব বড় ম্যাট্রিক্স (এন্ট্রি লক্ষ লক্ষ) এই একটি পুনরাবৃত্ত সমাধানকারী যেমন বেশী ব্যয়বহুল হতে পারে। । যেহেতু বেশিরভাগ লোকের কাছে খুব বড় ম্যাট্রিক থাকে না তাই কিউআর পচন আরও ভাল। সাধারণভাবে কিউআর পচে যাওয়া সংখ্যার জগতকে আকার দিয়েছে; সিয়াম এটিকে 20 শতকের শীর্ষ 10 অ্যালগরিদমগুলির মধ্যে একটি হিসাবে বেছে নিয়েছে। A = Q R R Q A x = b Q R x = b R x = Q T b R Q T Q = IAx=bA=QRRQAx=bQRx=bRx=QTbRQTQ=ISGD
usεr11852 বলেছেন

@ usεr11852 হ্যাঁ অবশ্যই। কারণ, আমি উত্তরটি সহজ রাখতে চেয়েছিলাম, যাতে এনআর এর কোর্স স্তরের ডোমেনের সাথে প্রাসঙ্গিক থাকা, কিউআর ডিকম্পোসেশন-এর মতো ধারণা এড়ানো যায়।
বিকাশ রাতুরি

3
কিউআর 20 তম শতাব্দীর শীর্ষ 10 অ্যালগরিদমগুলির মধ্যে একটি। তবে সময় মার্চ করে, এবং এসভিডি গণনার ক্ষেত্রে কার্যকর অ্যালগরিদম যদিও 1960-এর দশকের, তবে আপনাকে প্রয়োগের ক্ষেত্রগুলির গুরুত্বটি দেখতে হবে। সুতরাং আমি বিশ্বাস করি এসভিডি হ'ল একবিংশ শতাব্দীর শীর্ষ অ্যালগরিদম। একদম সত্যি বলতে কি আপনি কি কখনও কিউআর সিনেমার সুপারিশ করার জন্য ব্যবহার করা শুনেছেন? না, এসভিডি সেই সমালোচক অ্যাপ্লিকেশনটির জন্য ব্যবহৃত হয়। এসভিডি স্পষ্টতই পছন্দের অ্যালগরিদম যখন টুইটারটি রক্ষণশীল পুরাতন গিজারগুলিকে কোন কিশোর সেলিব্রিটিদের অনুসরণ করা উচিত সে বিষয়ে অযাচিত সুপারিশগুলি প্রেরণ করে। আসুন কিউআর দেখতে দিন !!!
মার্ক এল স্টোন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.