স্থানাঙ্ক বনাম গ্রেডিয়েন্ট বংশোদ্ভূত

Question

আমি ভাবছিলাম কি ভিন্ন ব্যবহারের ক্ষেত্রে দুই আলগোরিদিম, হয় স্থানাঙ্ক বংশদ্ভুত এবং গ্রেডিয়েন্ট বংশদ্ভুত ।

আমি জানি যে স্থানাঙ্ক বংশোদ্ভূত নন-স্মুথ ফাংশনগুলির সাথে সমস্যা রয়েছে তবে এটি এসভিএম এবং লাসো এর মতো জনপ্রিয় অ্যালগরিদমে ব্যবহৃত হয়।

গ্রেডিয়েন্ট বংশোদ্ভূত যদিও আমি মনে করি বিশেষত এএনএনগুলির পুনরুত্থানের সাথে এবং আরও অনেকগুলি মেশিন লার্নিংয়ের কাজের জন্য আরও বিস্তৃতভাবে ব্যবহৃত হয়েছে।

আমার প্রশ্নটি: কোন ধরণের সমস্যাগুলি একের তুলনায় অন্যটির সাথে খাপ খায় না এবং সে ক্ষেত্রে কী কী এসভিএম এবং ল্যাসোকে সমন্বিত বংশোদ্ভূত ফিটিং করে, তবে এএনএনগুলির জন্য গ্রেডিয়েন্ট বংশোদ্ভূত ফিটিং করে?

অপ্টিমাইজেশন অ্যালগরিদম বাছাই করার সময় দুজনের মধ্যে কীভাবে বেছে নেওয়া উচিত?

Answer 1

আমি মনে করি এটি সাধারণত ফাংশনের মসৃণ অংশের গ্রেডিয়েন্ট এবং / অথবা জরিমানার প্রক্সিমাল অপারেটরের কাজ করা কত সহজ / সহজ easy

কখনও কখনও, একক ভেরিয়েবল (বা একটি ব্লক বা ভেরিয়েবল) দিয়ে ক্ষেত্রে সমস্যাটির সঠিক সমাধান খুঁজে পাওয়া অনেক সহজ, অন্যান্য সময়ে পৃথক ডেরাইভেটিভসের তুলনায় গ্রেডিয়েন্টটি গণনা করা খুব ব্যয়বহুল। এছাড়াও, স্থানাঙ্ক বংশোদ্ভূত রূপান্তরটি ইস্টা, এর সমান $1/k^2$, যেখানে $k$ পুনরাবৃত্তির সংখ্যা, তবে এটি কখনও কখনও আইএসটিএ এবং ফিস্টা উভয়ের তুলনায় আরও ভাল পারফরম্যান্স করতে পারে, যেমন দেখুন http: //statweb.stanford ford edu / ~ tibs / তুলনা . txt ।

উদাহরণস্বরূপ, এই জাতীয় জিনিসগুলি স্থানাঙ্ক বংশোদ্ভূত বনাম ISTA / FISA এর পছন্দকে প্রভাবিত করবে।

Comments

তাহলে কোন্ কোন্ ক্ষেত্রে স্থায়ী বংশদ্ভুত (সিডি) দ্রুততর হবে? কোন সিডিতে আরও ভাল প্রার্থী হবে এমন কিছু নির্দিষ্ট ধরণের ফাংশন রয়েছে?

— বার

আমি বলতে পারি না যে নির্দিষ্ট পদ্ধতির ফাংশনগুলি সিডির সাথে অন্যান্য পদ্ধতির তুলনায় দ্রুততর হবে, যেমন: ফিস্তা। যতদূর আমি জানি এটি আপনার ফাংশনের উপর নির্ভর করে এবং গ্রেডিয়েন্ট এবং এর মতো জিনিসগুলি মূল্যায়ন করা কত ব্যয়বহুল। আমার অভিজ্ঞতা থেকে, মডেলটিতে কয়েকটি ভেরিয়েবল (স্মরণ রাখবেন না, তবে কয়েক হাজারের চেয়ে কম) লসো সমস্যার উপরে সিডি ফিস্টার চেয়ে দ্রুত। মনে রাখবেন যে আমি কেবল সিডিটি এখানে আইএসটিএ এবং ফিস্টার সাথে তুলনা করছি, অন্যান্য অ্যালগরিদম (যেমন নিউটন বা সিউডো-নিউটন) সম্ভবত দ্রুততর হবে; তবে এটি সম্পূর্ণরূপে হাতের সমস্যার উপর নির্ভর করে।

— টমি এল

সিডি কীভাবে জিডির চেয়ে দ্রুত হয়? এটা পাল্টা যুক্তি মনে হচ্ছে।

— রয়ি

Answer 2

বংশদ্ভুত আপডেট স্থানাঙ্ক এক একটি সময়ে প্যারামিটার হয়, একবারে সকল প্যারামিটার আপডেট করতে যখন গ্রেডিয়েন্ট বংশদ্ভুত প্রচেষ্টা করা হয়েছে।

এটা উল্লেখ করা কঠিন ঠিক যখন কেউ অ্যালগরিদম অন্য চেয়ে ভাল করতে হবে। উদাহরণস্বরূপ, আমি জানতে পেরে অত্যন্ত হতবাক হয়েছি যে স্থানাঙ্কা বংশোদ্ভূত ছিল লাসোর পক্ষে শিল্পের রাজ্য। আর আমি একাই ছিলাম না; দেখতে স্লাইড 17 ।

এই বলে যে, কিছু বৈশিষ্ট্য রয়েছে যা বংশদ্ভুত সমন্বয় করতে সমস্যাটিকে আরও সংশোধনযোগ্য করে তুলতে পারে:

(1) দ্রুত শর্তসাপেক্ষ আপডেট। যদি কোনও কারণে সমস্যাটি পৃথকভাবে প্যারামিটারগুলিকে খুব দ্রুত অপ্টিমাইজ করতে দেয় তবে সমন্বিত বংশোদ্ভূত এটি ব্যবহার করতে পারে। উদাহরণস্বরূপ, কেউ এই ডেটাগুলির কেবলমাত্র একটি উপসেট ব্যবহার করে নির্দিষ্ট পরামিতিগুলি আপডেট করতে সক্ষম হতে পারে, এই আপডেটগুলির গণ্যমূল্য ব্যয়কে হ্রাস করে। অন্য কেসটি হ'ল যদি কোনও পৃথক প্যারামিটারের জন্য কোনও বন্ধ ফর্ম সমাধান থাকে, অন্য সমস্ত পরামিতির মানগুলিতে শর্তযুক্ত।

(2) পরামিতিগুলির জন্য তুলনামূলকভাবে স্বাধীন মোড। যদি কোনও প্যারামিটারের সর্বোত্তম মান অন্যান্য প্যারামিটারের মানগুলির তুলনায় সম্পূর্ণ স্বতন্ত্র থাকে, তবে এক রাউন্ডের সমন্বিত বংশোদ্ভূত সমাধানের দিকে নিয়ে যায় (ধরে নেওয়া হয় যে প্রতিটি সমন্বিত আপডেট বর্তমান মোডটি সন্ধান করে)। অন্যদিকে, যদি প্রদত্ত প্যারামিটারের মোডটি অন্যান্য প্যারামিটার মানগুলির উপর খুব নির্ভরশীল হয় তবে প্রতিটি রাউন্ডে খুব ছোট আপডেটের সাথে সমন্বিত বংশোদ্ভূত অংশটি ইঞ্চি হওয়ার সম্ভাবনা থাকে।

দুর্ভাগ্যক্রমে, বেশিরভাগ সমস্যার জন্য, (২) ধরে রাখে না, সুতরাং এটি বিরল যে সমন্বয় বংশোদ্ভূত বিকল্প অ্যালগরিদমকে তুলনা করে। আমি বিশ্বাস করি যে এটি লাসোর পক্ষে ভাল সম্পাদন করার কারণ হ'ল শর্ত আরোপ করার জন্য অনেকে ব্যবহার করতে পারেন এমন কৌশলগুলি (1)।

$\alpha$

Answer 3

আমি বুঝতে পারি যে এটি একটি পুরানো প্রশ্ন এবং এর খুব ভাল উত্তর রয়েছে। আমি কিছু ব্যবহারিক ব্যক্তিগত অভিজ্ঞতা শেয়ার করতে চাই।

$k$

• সমস্ত সম্ভাবনা অবশ্যই ইতিবাচক হতে হবে।
• সম্ভাব্যতার সেটগুলির সমস্ত উপাদানগুলির একটি যোগ করতে হবে

এটি আসলে অনেক জিজ্ঞাসা করছে। গ্রেডিয়েন্ট বংশোদ্ভূত সাথে একজন সাধারণত পেনাল্টি ফাংশনের মাধ্যমে বাধা নিয়ে কাজ করে deals এখানে এটি কাজ করবে না। যত তাড়াতাড়ি একটি মান এই প্রতিবন্ধকতাগুলির একটি লঙ্ঘন করে, আপনার কোড সাধারণত বিভিন্ন ধরণের সংখ্যার ত্রুটি বাড়িয়ে তুলবে। সুতরাং একটিকে অবশ্যই কখনও কখনও অপ্টিমাইজেশন অ্যালগরিদমকে এটিকে অতিক্রম করতে না দিয়ে প্রতিবন্ধকতাগুলি মোকাবেলা করতে হবে।

গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য সীমাবদ্ধতাগুলি পূরণ করতে আপনি আপনার সমস্যার জন্য প্রয়োগ করতে পারেন এমন অসংখ্য রূপান্তর রয়েছে। তবে, আপনি যদি এটি বাস্তবায়নের সবচেয়ে সহজ এবং সর্বাধিক অলস উপায়ের সন্ধান করে থাকেন তবে স্থানাঙ্কিত বংশোদ্ভূত পথটি হ'ল:

$p_i$

• $p_i^{k+1} = p_i^{k} - \eta \frac{\partial J}{\partial p_i}$
• $p_i = \min(\max(p_i,0),1)$
• $\mathbf{P}^{j+1} = \mathbf{P}^j \cdot \frac{1}{\sum_{i=1}^n p_i}$

পাইথনে কাজ করা আমার মতো কারও পক্ষে এটির সাধারণত অর্থ হয় যে আমাকে অতিরিক্ত অতিরিক্ত লুপ ব্যবহার করতে হবে যা পারফরম্যান্সকে বেশ নেতিবাচকভাবে প্রভাবিত করে। গ্রেডিয়েন্ট বংশোদ্ভূত আমাকে নম্পি ব্যবহার করতে দেয় যা পারফরম্যান্স অনুকূলিত হয়েছে। এটির সাথে একজন খুব ভাল গতি পেতে পারে তবে এটি সমন্বিত বংশোদ্ভূত সাথে অর্জনযোগ্য নয় তাই আমি সাধারণত কিছু রূপান্তর কৌশল ব্যবহার করি।

সুতরাং উপসংহারটি সত্যই যে পয়সন বিতরণে রেট প্যারামিটারের মতো খুব কঠোর বাধাগুলির সাথে মোকাবিলা করার জন্য স্থায়ী বংশদ্ভুত সহজ বিকল্প। যদি এটি নেতিবাচক হয়ে যায়, আপনি কোড ইত্যাদি অভিযোগ করেন code

আমি আশা করি এটি কিছুটা অন্তর্দৃষ্টি যোগ করেছে।