স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত আবিষ্কার কে?

Question

আমি গ্রেডিয়েন্ট বংশোদ্ভূত ইতিহাস এবং স্টোকাস্টিক গ্রেডিয়েন্ট বংশদ্ভুত ইতিহাস বোঝার চেষ্টা করছি । গ্রেডিয়েন্ট বংশদ্ভুত আবিষ্কৃত হয়েছিল কোশি 1847 সালে পদ্ধতি générale ঢালা লা রেজল্যুশন দেস Systemes d'সমীকরণ simultanées । পিপি। 536–538 এটি সম্পর্কে আরও তথ্যের জন্য এখানে দেখুন ।

সেই থেকে গ্রেডিয়েন্ট বংশদ্ভুত পদ্ধতিগুলি বিকাশ করে চলেছে এবং আমি তাদের ইতিহাসের সাথে পরিচিত নই। বিশেষত আমি স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত উদ্ভাবনে আগ্রহী।

একটি রেফারেন্স যা একাডেমিক পেপারে স্বাগত হওয়ার চেয়েও বেশি ব্যবহার করা যেতে পারে।

Comments

আমি মেশিন শেখার আগে এসজিডি সম্পর্কে জানতে পেরেছিলাম, সুতরাং এটি অবশ্যই এই পুরো জিনিসটির আগে হওয়া উচিত

— আকসাকাল

ঠিক আছে, মেশিন লার্নিংয়ের আগে অবশ্যই কাচি জিডি আবিষ্কার করেছিলেন যাতে এসজিসি এর আগেও আবিষ্কার হয়েছিল আমি অবাক হব না won't

— ডএল

গ্রেডিয়েন্টের জন্য সরাসরি "সিমুলেটিং" না করেই কেইফার-ওল্ফোউইটস স্টোকাস্টিক অ্যাডেক্সিমাইজেশন en.wikedia.org/wiki/Stochastic_approximation বেশিরভাগ পথ।

— মার্ক এল স্টোন

এমএল থেকে "স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত" উত্তল অপ্টিমাইজেশান থেকে "স্টোকাস্টিক সাবগ্রেডিয়েন্ট পদ্ধতি" এর সমান। এবং সাবগ্রেডিয়েন্টস পদ্ধতিগুলি মস্কোর ইউএসএসআরে 1960-1970 এর সময় আবিষ্কার করা হয়েছিল। সম্ভবত মার্কিন যুক্তরাষ্ট্রেও। আমি একটি ভিডিও দেখেছি যেখানে বোরিস পলিয়াক (তিনি ভারী বলের পদ্ধতির লেখক) বলেছিলেন যে তিনি (এবং সমস্ত লোক) ১৯ 1970০ সালে সাবগ্রেডিয়েন্ট পদ্ধতি সম্পর্কে চিন্তাভাবনা শুরু করেছিলেন। ( youtube.com/watch?v=2PcidcPxvyk&t=1963s ) ...

— বুড়িউজ

Answer 1

স্টোচাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার আগে রোকস এবং মনোর তাদের কাগজে একটি স্টোকাস্টিক অ্যাজেক্সিমেশন মেথডে প্রথম বর্ণিত হিসাবে স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত হয় । কিফার এবং ওল্ফউইটস পরবর্তীকালে তাদের কাগজ প্রকাশ করে, স্ট্রোকাস্টিক এস্টিমেশন অফ ম্যাক্সিমিয়াম অফ রিগ্রেশন ফাংশনমন্তব্যগুলিতে মার্ক স্টোন দ্বারা নির্দেশিত হিসাবে স্টোকাস্টিক অ্যাজেক্সিমেশন (অর্থাত্ স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত) এর এমএল রূপের সাথে পরিচিত লোকদের কাছে এটি আরও স্বীকৃত। 60 এর দশকে সেই শিরা বরাবর প্রচুর গবেষণা হয়েছে - ডভোরেটজকি, পাওয়েল, ব্লাম সমস্ত প্রকাশিত ফলাফল যা আমরা আজ মঞ্জুর করি। রব্বিনস এবং মনরো পদ্ধতি থেকে কেফার ওল্ফোউইটজ পদ্ধতিতে পৌঁছনো এবং তুলনামূলকভাবে স্টোচাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য (রিগ্রেশন সমস্যার জন্য) সমস্যার সমাধানের বিষয়টি তুলনামূলকভাবে সামান্য লাফ। উপরোক্ত কাগজপত্রগুলিকে স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত বলে উল্লেখ করা হয়েছে, যেমন নোসেডাল, বোটো এবং কার্টিসের এই পর্যালোচনা গবেষণাপত্রে উল্লেখ করা হয়েছে , যা একটি মেশিন লার্নিং দৃষ্টিকোণ থেকে একটি সংক্ষিপ্ত historical তিহাসিক দৃষ্টিভঙ্গি সরবরাহ করে।

আমি বিশ্বাস করি যে কুশনার এবং ইয়িন তাদের বই স্টোকাস্টিক অ্যাক্সিমাইমেশন অ্যান্ড রিকার্সিভ অ্যালগরিদমস এবং অ্যাপ্লিকেশনগুলিতে এই ধারণা দেয় যে ধারণাটি চল্লিশের দশকের অনেক আগে থেকেই নিয়ন্ত্রণ তত্ত্বে ব্যবহৃত হয়েছিল, তবে আমি মনে করতে পারি না যে তাদের কাছে এটির প্রশংসাপত্র ছিল কিনা বা তা ছিল কিনা উপাখ্যানীয় নয়, এটি নিশ্চিত করার জন্য তাদের বইতে আমার অ্যাক্সেস নেই।

হারবার্ট রবিনস এবং সাটন মনরো একটি স্টোকাস্টিক আনুমানিক পদ্ধতি পদ্ধতি অংক এর গাণিতিক পরিসংখ্যান, খণ্ড। 22, নং 3. (সেপ্টেম্বর, 1951), পৃষ্ঠা 400-407।

জে কেিফার এবং জে। ওল্ফোউইটস স্টোকাস্টিকের সর্বাধিক পরিমাণে একটি রিগ্রেশন ফাংশন অনুমান Ann ম্যাথ। পরিসংখ্যানবিৎ। খণ্ড 23, সংখ্যা 3 (1952), 462-466

বড়-স্কেল মেশিন লার্নিংয়ের জন্য লিওন বোটো এবং ফ্র্যাঙ্ক ই কার্টিস এবং জর্জি নোসেডাল অপ্টিমাইজেশন পদ্ধতি , প্রযুক্তিগত প্রতিবেদন, আর্শিভ: 1606.04838

Comments

আপনি সঠিক রেফারেন্স দিতে পারেন? এবং এসজিডি আবিষ্কারের জন্য, এটি চল্লিশের দশকের মধ্যে রয়েছে বলে মনে হচ্ছে তবে কে এবং কোথায় তা পরিষ্কার নয়?

— দাওল

অবশ্যই এটি 1951 সালে স্টোকাস্টিক অ্যাসোসিমেশন আলগোরিদিম সহ রবিনস এবং মনরো হিসাবে ব্যাপকভাবে বিশ্বাস করা হয় । আমি শুনেছি যে চল্লিশের দশকে নিয়ন্ত্রণ তত্ত্বের সাহিত্যে অনুরূপ কিছু প্রকাশিত হয়েছিল (যেমন আমি বলেছিলাম, আমি কুশনার এবং ইয়িনের কাছ থেকে মনে করি তবে আমার কাছে সেই বইটি খুব সহজ নয়) তবে সেই জায়গা থেকে আলাদা করে সবাই রবিনকে উদ্ধৃত করে বলে মনে হয় এবং নোসেডাল এট আল সহ মনরো। রেফারেন্স আমি সংযুক্ত।

— ডেভিড কোজাক

সুতরাং আমাদের শীর্ষস্থানীয় প্রার্থী হলেন এইচ। রবিনস এবং এস মনরো। একটি স্টোকাস্টিক আনুমানিক পদ্ধতি od গাণিতিক পরিসংখ্যানগুলির অ্যানালিস, 22 (3): 400–407, 1951., পিডিএফএস.সামেন্টিকস স্কলার অরগ

— 34

আমি তাই এটি এসজিডি এর উত্স হিসাবে উল্লেখ করা হয় তবে সংক্ষেপে (প্রকৃতপক্ষে আজকের পদগুলিতে বিমূর্ত) লিখিত আছে "এম (এক্স) তাকে এক্স এর একঘেয়ে ফাংশন হিসাবে ধরে নিয়েছে তবে পরীক্ষকের কাছে এটি অজানা is vn, এবং এটি থিম সমীকরণের এম (x) = ক এর সমাধান x = 0 সমাধান সন্ধান করতে ইচ্ছুক, যেখানে একটি প্রদত্ত ধ্রুবক। " যদি এম (এক্স) অজানা, কেউ এটিকে আবিষ্কার করতে পারে না। এটা কি আর এক প্রাচীন পূর্বপুরুষ?

— ডএল

একমত, এক অর্থে। কিফার ওল্ফোউইটস তাদের গবেষণাপত্রটি সামনে এনে এর বিশ্লেষণ ব্যবহার করে যা আমরা আজ যে ফর্মটিতে দেখতে পাই তা আরও স্বীকৃত। উপরে মার্ক স্টোন দ্বারা উল্লিখিত। তাদের কাগজগুলি এখানে পাওয়া যাবে: projecteuclid.org/download/pdf_1/euclid.aoms/1177729392 ।

— ডেভিড কোজাক

Answer 2

দেখ

রোজেনব্ল্যাট এফ। পার্সসেপট্রন: মস্তিষ্কে তথ্য সঞ্চয় এবং সংস্থার জন্য একটি সম্ভাব্য মডেল। মানসিক পর্যালোচনা। 1958 নভেম্বর; 65 (6): 386।

আমি নিশ্চিত নই যে এর আগে অপ্টিমাইজেশন সাহিত্যে এসজিডি উদ্ভাবিত হয়েছিল — সম্ভবত ছিল — তবে এখানে আমি বিশ্বাস করি যে তিনি পার্সপিট্রনকে প্রশিক্ষণ দেওয়ার জন্য এসজিডি প্রয়োগের বর্ণনা দিয়েছেন।

যদি সিস্টেমটি ইতিবাচক শক্তিবৃদ্ধির অবস্থার অধীনে থাকে, তবে "অন" প্রতিক্রিয়াগুলির উত্স-সেটগুলিতে সমস্ত সক্রিয় এ-ইউনিটের মানগুলিতে একটি ইতিবাচক এভি যুক্ত করা হয়, অন্যদিকে উত্সের সক্রিয় ইউনিটগুলিতে একটি নেতিবাচক এভি যুক্ত করা হয় - "অফ" প্রতিক্রিয়াগুলির সেট।

তিনি এটিকে "দুই ধরণের শক্তিবৃদ্ধি" বলেছেন।

তিনি এই "দ্বিখণ্ডিত সিস্টেম" এর সাথে আরও একটি বইয়ের উল্লেখ করেছেন।

রোজেনব্ল্যাট এফ। পার্সেসেপট্রন: জ্ঞানীয় সিস্টেমে পরিসংখ্যানগত পৃথকীকরণের একটি তত্ত্ব (প্রকল্প প্যারা)। কর্নেল অ্যারোনটিকাল ল্যাবরেটরি; 1958।

Comments

এগিয়ে একটি ভাল পদক্ষেপ, ধন্যবাদ! আমি এখানে অনলাইনে প্রথম রেফারেন্সটি পাই citeseerx.ist.psu.edu/viewdoc/… আমি এটিতে যাব। যাইহোক, আমি আলগোরিদিম আরও স্পষ্ট এবং আনুষ্ঠানিক খুঁজে পেতে আশা করি।

— ডএল

অপ্টিমাইজেশন সম্পর্কে মন্তব্য করার জন্য +1। যেহেতু এটি মেশিন লার্নিংয়ে অপ্টিমাইজেশন করতে ব্যবহৃত হয়েছে এবং যেহেতু এমএল এর 40 বা 50 বছর আগে অপ্টিমাইজেশন একটি বড় ব্যাপার হয়ে দাঁড়িয়েছিল - এবং কম্পিউটারগুলি একই সময়ের প্রায়শই ছবিতে প্রবেশ করেছিল - এটি একটি ভাল নেতৃত্বের মতো বলে মনে হয়।

— ওয়েইন

আমি বুঝতে পারছি না আপনি কেন বলেন যে এই উক্তিটি এসজিডি বর্ণনা করে।

— অ্যামিবা বলছে মনিকাকে

@ আমেবা আশা করি আমি কোনও ভুল করছি না, কেবল কাগজটি স্কিম করছিলাম, তবে আমি যদিও সে পার্সেপ্রেটনের আপডেটটি বর্ণনা করছিলাম যা ধীরে ধীরে শেখার হারের সাথে এসজিডি মাত্র।

— ব্যবহারকারী 0

সেটা ঠিক. আমি কেবল বলছি যে স্টকাস্টিক দিকটি আপনার দ্বারা নির্বাচিত উক্তিটি থেকে স্পষ্ট নয়। আমি বলতে চাইছি, "স্টোকাস্টিক" জিডি এর সহজ অর্থ হ'ল আপডেটগুলি একবারে একটি প্রশিক্ষণ নমুনা সম্পন্ন হয় (সমস্ত উপলব্ধ প্রশিক্ষণের নমুনাগুলি ব্যবহার করে গ্রেডিয়েন্টের পরিবর্তে)। এন.ইউইকিপিডিয়া.আর / উইকি / পারসেপ্ট্রন # স্টেপসে প্রদত্ত অ্যালগরিদম এই "স্টোকাস্টিক" দিকটি # 2 পদক্ষেপে তাত্ক্ষণিকভাবে পরিষ্কার করে তুলেছে ।

— অ্যামিবা বলছেন মনিকাকে