মেশিন শেখার কৌশলগুলি কি "আনুমানিক আলগোরিদম"?

Question

সম্প্রতি সিস্টি স্টেকেক্সচেঞ্জের উপর একটি এমএল-জাতীয় প্রশ্ন ছিল এবং আমি পাওলের পদ্ধতি, গ্রেডিয়েন্ট বংশোদ্ভূত, জেনেটিক অ্যালগরিদম বা অন্য "আনুমানিক অ্যালগরিদম" এর প্রস্তাব দিয়ে একটি উত্তর পোস্ট করেছি । একটি মন্তব্য কেউ আমাকে বলেছিল এই পদ্ধতি "হিউরিস্টিক" এবং ছিল না "পড়তা আলগোরিদিম" এবং ঘন ঘন তাত্ত্বিক সর্বোত্তম পাসে আসে না (কারণ তাদের "ঘন ঘন আঞ্চলিক মিনিমা আটকে")।

অন্যরা কি এর সাথে একমত? এছাড়াও, আমার কাছে মনে হয় এমন একটি ধারণা রয়েছে যার মধ্যে তাত্ত্বিক অপ্টিমের কাছাকাছি যদি অনুসন্ধানের জায়গার একটি বড় অংশ অনুসন্ধান করার জন্য সেট আপ করা হয় (উদাহরণস্বরূপ পরামিতি / পদক্ষেপের আকার ছোট) তবে আমি বেঁচে নেই এটি একটি কাগজে দেখা যায় না। এটি কি কোনও কাগজে প্রদর্শিত বা প্রমাণিত হয়েছে কিনা জানেন? (যদি অ্যালগোরিদমের বড় শ্রেণীর জন্য না হয় তবে একটি ছোট শ্রেণীর জন্য এনএন বলতে পারেন))

Comments

এই প্রশ্নে আরও চিন্তাভাবনা করার পরে এটি মনে হয় গবেষণার সম্পর্কিত / প্রাসঙ্গিক ক্ষেত্রটিকে স্থানীয় ধরণের অ্যালগরিদমের শীর্ষে যেমন বৈশ্বিক অপ্টিমাইজেশন পদ্ধতি / রূপগুলি বলা হয় যেমন গ্রেডিয়েন্ট বংশোদ্ভূত ...

— vzn

উদাহরণস্বরূপ "

— শিউর

Answer 1

আমি মনে করি আপনি একাধিক গুরুত্বপূর্ণ ধারণা মিশ্রিত করছেন। আমাকে কয়েকটি বিষয় পরিষ্কার করার চেষ্টা করা যাক:

• মেটাহিউরিস্টিক পদ্ধতি রয়েছে, যা এমন পদ্ধতি যা পুনরায় প্রার্থী সমাধানকে উন্নত করার চেষ্টা করে। এর উদাহরণগুলি হ'ল ট্যাবু অনুসন্ধান, সিমুলেটেড অ্যানিলিং, জেনেটিক অ্যালগরিদম ইত্যাদি Ob লক্ষ করুন যে এই পদ্ধতিগুলি দুর্দান্তভাবে কাজ করে এমন অনেকগুলি ক্ষেত্রেই থাকতে পারে, কখন এই পদ্ধতিগুলি কাজ করে এবং কখন তা ব্যবহার করে না সে সম্পর্কে গভীর ধারণা পাওয়া যায় না। এবং আরও গুরুত্বপূর্ণ বিষয় যখন তারা সমাধান না পান, আমরা এ থেকে নির্বিচারে দূরে থাকতে পারি। মেটাওউরিস্টিক পদ্ধতিতে সমাধান হওয়া সমস্যাগুলি প্রকৃতিতে আলাদা হতে থাকে কারণ অবিচ্ছিন্ন সমস্যাগুলি পরিচালনা করার জন্য আরও অনেক ভাল সরঞ্জাম রয়েছে। তবে প্রতিবার এবং পরে আপনি অবিচ্ছিন্ন সমস্যার জন্য মেটাহিউরিস্টিকগুলিও দেখতে পান।

• সংখ্যামূলক অপ্টিমাইজেশন পদ্ধতি রয়েছে, এই সম্প্রদায়ের লোকেরা অনুকূলিত হওয়ার জন্য কীভাবে কাজ করবে তার প্রকৃতি এবং সমাধানের সীমাবদ্ধতাগুলি (উত্তল অপ্টিমাইজেশন, চতুর্ভুজ প্রোগ্রামিং, লিনিয়ার প্রোগ্রামিং ইত্যাদির মতো গোষ্ঠীতে) এবং দেখানো হয়েছে এমন আলগোরিদিম প্রয়োগ করে এই ধরণের ফাংশন এবং সেই ধরণের বিধিনিষেধের জন্য কাজ করতে। এই অঞ্চলের লোকেরা যখন "কাজের জন্য দেখানো হয়" বলে তখন তাদের প্রমাণের অর্থ। পরিস্থিতি হ'ল এই ধরণের পদ্ধতি অবিচ্ছিন্ন সমস্যাগুলিতে কাজ করে। তবে যখন আপনার সমস্যাটি এই বিভাগে চলে আসে, এটি অবশ্যই ব্যবহারের সরঞ্জাম।

• স্বতন্ত্র অপ্টিমাইজেশন পদ্ধতি রয়েছে, যা প্রকৃতির ক্ষেত্রে স্বতন্ত্রভাবে অ্যালগরিদমের সাথে সংযুক্ত থাকে যা বিভিন্ন সমস্যার সাথে যুক্ত হয়: যেমন সবচেয়ে ছোট পথ, সর্বাধিক প্রবাহ ইত্যাদি area এই অঞ্চলের লোকেরাও যত্নশীল যে তাদের অ্যালগোরিদমগুলি সত্যই কাজ করে (প্রমাণ)। এই গোষ্ঠীতে এমন একটি জনগোষ্ঠী রয়েছে যা সত্যই কঠিন সমস্যাগুলি অধ্যয়ন করে যার জন্য কোনও দ্রুত অ্যালগরিদমের উপস্থিতি আশা করা যায় না। এরপরে তারা আনুমানিক অ্যালগরিদমগুলি অধ্যয়ন করে, যা দ্রুত অ্যালগরিদম যার জন্য তারা দেখায় সক্ষম হয় যে তাদের সমাধানটি সত্য অনুকূলের একটি ধ্রুবক ফ্যাক্টরের মধ্যে রয়েছে। একে "আনুমানিক অ্যালগরিদম" বলা হয়। এই লোকেরা তাদের ফলাফলকে প্রমাণ হিসাবেও দেখায়।

সুতরাং ... আপনার প্রশ্নের উত্তর দেওয়ার জন্য, আমি মনে করি না যে মেটাওরিস্টিক্সগুলি আনুমানিক অ্যালগরিদম। এটি আমার কাছে মতামতের সাথে সংযুক্ত কিছু হিসাবে মনে হয় না, এটি কেবল সত্য।

Comments

পুনরায় "সংখ্যাগত অপ্টিমাইজেশন পদ্ধতি", "স্বতন্ত্র অপ্টিমাইজেশন পদ্ধতি", মনে হচ্ছে অনেকগুলি এমএল কৌশলগুলি যদি তাদের "প্রাথমিক অনুসন্ধানের স্থান" বড় হতে বাধ্য হয় তবে সত্যিকারের সর্বোত্তমের একটি ধ্রুবক ফ্যাক্টরের মধ্যে থাকা প্রমাণিত হতে পারে, তবে আমি একটি রেফারেন্স দেখতে পাইনি ইহার উপর.

আমি একমত না * সংখ্যাগত অপ্টিমাইজেশনের জন্য আপনি স্থানীয় সর্বনিম্নে প্রবেশ করতে পারেন (অবশ্যই আপনি এই পদ্ধতিটিকে অপ্রকাশ্য করে তোলে এমন পদ্ধতিও প্রয়োগ করতে পারেন)। * একইটি নিউরাল নেটওয়ার্কগুলির জন্য (কমপক্ষে এটি পেরসেপ্ট্রন প্রশিক্ষণের সময় ঘটতে পারে)। * জেনেটিক অ্যালগরিদমগুলি স্থানীয় সর্বনিম্নেও যেতে পারে, তদুপরি আপনি যদি বড় পরিব্যক্তি রেট বেছে নেন আপনি কোনও বুদ্ধিমান বিবর্তন পাবেন না! II এছাড়াও দৃ strongly়ভাবে সন্দেহ করে যে এমন কিছু ডেটাসেট রয়েছে যা নির্দিষ্ট মডেলগুলিকে সর্বদা ইচ্ছামতই বড় ত্রুটি করে তোলে।

— জেবি।

@vzn অনেক লোক এমন মডেল পছন্দ করেন যার জন্য অনুকূল সমাধানটি পাওয়া যায়। এটি এসভিএমগুলি যেমন ব্যবহার উত্তল ক্ষতি ফাংশনগুলির কারণ হয়। এখানে সত্যিকারের সর্বোত্তম সন্ধানের অর্থ "আপনার অনুসন্ধানের স্থানে অনুকূল সমাধান সন্ধান করা", যাতে অনুসন্ধানের স্থানটি কেমন দেখাচ্ছে তার সাথে কিছুই করার নেই। জেবি যেমন বলেছে, সাধারণ ক্ষতির জন্য, প্রকৃত সর্বোত্তম সন্ধান করা সাধারণত অসম্ভব / অক্ষম।

— Andreas Mueller

বর্তমান উত্তর এবং অ্যাপ্লিকেশনগুলির সাধারণ বিভাগের বিবরণ হিসাবে এই উত্তরটি স্বীকার করে তবে এখনও মনে করেন যে কিছু সেতু থেমে রয়েছে যা পৃথক ক্ষেত্রগুলিকে সংযুক্ত করে প্রমাণিত রয়েছে। প্রমাণ যে NNs যে কোনও ধরণের গাণিতিক fn যথাযথতার ডিগ্রী করতে বা "আনুমানিক" মডেল করতে পারে তার সাথে নিবিড়ভাবে সম্পর্কিত ... অর্থাৎ kolmogorovs thm

— vzn

Answer 2

মেশিন লার্নিং প্রায়শই একটি ফাংশনটির অপ্টিমাইজেশনের সাথে সম্পর্কিত হয় যার অনেকগুলি স্থানীয় মিনিমা রয়েছে। লুকানো ইউনিটগুলির সাথে ফিডফর্ডার নিউরাল নেটওয়ার্কগুলি একটি ভাল উদাহরণ। এই ফাংশনগুলি স্বতন্ত্র বা অবিচ্ছিন্ন হোক না কেন, এমন কোনও পদ্ধতি নেই যা বৈশ্বিক ন্যূনতম অর্জন করে এবং থামবে। এটি প্রমাণ করা সহজ যে এটি একটি মাত্রিক এবং মসৃণ হলেও (অবিচ্ছিন্নভাবে অনেকগুলি ডেরাইভেটিভস রয়েছে) এমনকী একটি অবিচ্ছিন্ন ক্রিয়াকলাপের সর্বনিম্ন সর্বনিম্ন সন্ধানের জন্য কোনও সাধারণ অ্যালগরিদম নেই। অনুশীলনে, স্নায়ুবিক নেটওয়ার্ক শেখার জন্য সমস্ত অ্যালগরিদম স্থানীয় সর্বনিম্নে আটকে যায়। এটি যাচাই করা সহজ: একটি এলোমেলো নিউরাল নেটওয়ার্ক তৈরি করুন, এলোমেলো ইনপুটগুলিতে এর প্রতিক্রিয়াগুলির একটি বড় সেট তৈরি করুন, তারপরে প্রতিক্রিয়াগুলি অনুলিপি করার জন্য একই আর্কিটেকচার সহ আরও একটি নিউরাল নেটওয়ার্ক শিখার চেষ্টা করুন। নিখুঁত সমাধান বিদ্যমান থাকাকালীন, কোনও ব্যাকপ্রসারণই অন্য কোনও শেখার অ্যালগরিদম এটি আবিষ্কার করতে সক্ষম হবে না,

কিছু শিখার পদ্ধতি যেমন সিমুলেটেড অ্যানিলিং বা জেনেটিক অ্যালগরিদমগুলি অনেকগুলি স্থানীয় মিনিমা অন্বেষণ করে। অবিচ্ছিন্ন ক্রিয়াকলাপগুলির জন্য গ্রেডিয়েন্ট বংশোদ্ভূত জাতীয় পদ্ধতি রয়েছে যা নিকটতম স্থানীয় ন্যূনতম সন্ধান করে। এগুলি অনেক দ্রুত, কেন তারা অনুশীলনে ব্যাপকভাবে ব্যবহৃত হয় ts তবে পর্যাপ্ত সময় দেওয়ার পরে, পূর্বের পদ্ধতিগুলির প্রশিক্ষণটি ত্রুটির ক্ষেত্রে ত্রুটির ক্ষেত্রে পরে ছাড়িয়ে যায়। কিন্তু বাস্তব বিশ্বের সমস্যার জন্য যুক্তিসঙ্গত সময়ের সীমাবদ্ধতার সাথে, পরবর্তী দলগুলি সাধারণত আরও ভাল।

কিছু মডেলগুলির জন্য, লজিস্টিক রিগ্রেশনগুলির মতো, স্থানীয় এক সর্বনিম্ন থাকে, ফাংশনটি উত্তল, মিনিমাইজেশনটি সর্বনিম্নে রূপান্তরিত করে তবে মডেলগুলি নিজেরাই সরল।

তিক্ত সত্য।

আরও মনে রাখবেন যে অভিব্যক্তির প্রমাণ এবং সর্বোত্তম সমাধানে রূপান্তরের প্রমাণ দুটি পৃথক বিষয়। কে-মানে অ্যালগরিদম এটির একটি উদাহরণ।

শেষ অবধি, কিছু মডেলের জন্য আমরা কীভাবে শিখতে জানি না। উদাহরণস্বরূপ, যদি আউটপুটটি ইনপুটগুলির একটি স্বেচ্ছামূলক গণনাযোগ্য ফাংশন হয় তবে আমরা ভাল অ্যালগরিদম জানি না যা যুক্তিসঙ্গত সময়ে এই ফাংশনটি বাস্তবায়নের জন্য একটি টুরিং বা সমতুল্য মেশিন খুঁজে পায়। উদাহরণস্বরূপ, যদি চ (1) = 2, চ (2) = 3, চ (3) = 5, চ (4) = 7, ..., চ (10) = 29 (দশ প্রথম প্রাইম) 'শিখার কোন অ্যালগরিদম জানি না যা যুক্তিসঙ্গত সময়ে ভবিষ্যদ্বাণী করতে সক্ষম হবে যে f (11) = 31, যদি না এটি ইতিমধ্যে সংখ্যার ধারণাটি জেনে থাকে।