মেশিন লার্নিং এ শক্তি মিনিমাইজেশন কী?

আমি কম্পিউটার দৃষ্টিভঙ্গিতে একটি অসুস্থ পোজযুক্ত সমস্যার জন্য অপ্টিমাইজেশন সম্পর্কে পড়ছিলাম এবং উইকিপিডিয়ায় অপ্টিমাইজেশান সম্পর্কে নীচের ব্যাখ্যাটি পেয়েছিলাম। আমি যা বুঝতে পারি না তা হ'ল তারা কেন এই অপ্টিমাইজেশনটিকে কম্পিউটার ভিশনে " এনার্জি মিনিমাইজেশন " বলে?

একটি অপ্টিমাইজেশন সমস্যা নিম্নলিখিত উপায়ে উপস্থাপন করা যেতে পারে:

প্রদত্ত: একটি ফাংশন কিছু সেট থেকে আসল সংখ্যায় $f: A \to R$ $A$

চেয়েছিলেন একটি উপাদান মধ্যে যেমন যে সবার জন্য মধ্যে ( "কম") বা যেমন যে সবার জন্য মধ্যে ( " বৃহদায়ন ")। $x_0$ $A$ $f(x_0) ≤ f(x)$ $x$ $A$ $f(x_0) ≥ f(x)$ $x$ $A$

এই ধরনের গঠনের একটি অপ্টিমাইজেশন সমস্যা বা গাণিতিক প্রোগ্রামিং সমস্যা বলা হয় (কম্পিউটার প্রোগ্রামিংয়ের সাথে সরাসরি সম্পর্কিত নয় এমন একটি শব্দ, তবে এখনও লিনিয়ার প্রোগ্রামিংয়ে ব্যবহৃত হয় - নীচের ইতিহাস দেখুন)। অনেক বাস্তব-জগত এবং তাত্ত্বিক সমস্যাগুলি এই সাধারণ কাঠামোর মধ্যে মডেল করা যেতে পারে। সমস্যা পদার্থবিদ্যা এবং কম্পিউটার ভিশন ক্ষেত্র এই প্রযুক্তিটি ব্যবহার শক্তি কম হিসাবে কৌশল উল্লেখ করতে পারে, ফাংশনের মান ভাষী প্রণয়ন অনুকরণে হচ্ছে সিস্টেমের শক্তি প্রতিনিধিত্ব। $f$

machine-learning optimization computer-vision

— iamprem
সূত্র

উত্তর:

শক্তি-ভিত্তিক মডেলগুলি অনেকগুলি মেশিন লার্নিং অ্যালগরিদমগুলিকে উপস্থাপনের জন্য একীভূত কাঠামো। তারা শক্তি কার্যকারিতা হ্রাস এবং ক্ষতির কার্যকরী হ্রাস হিসাবে শেখার হিসাবে অনুমানকে ব্যাখ্যা করে।

শক্তি ফাংশন সুপ্ত পরিবর্তনশীলগুলির কনফিগারেশন এবং উদাহরণ হিসাবে প্রদত্ত ইনপুটগুলির কনফিগারেশনের একটি ফাংশন। অনুমানের অর্থ হ'ল কম শক্তি কনফিগারেশন সন্ধান করা বা সম্ভাব্য কনফিগারেশন থেকে নমুনা তৈরি করা যাতে প্রদত্ত কনফিগারেশন চয়ন করার সম্ভাবনাটি গীবস বিতরণ is

ক্ষতির কার্যকারিতা অনেকগুলি উদাহরণ দেওয়া মডেল পরামিতিগুলির একটি ফাংশন। উদাহরণস্বরূপ, একটি তত্ত্বাবধানে শেখার সমস্যাটিতে আপনার ক্ষতি হ'ল লক্ষ্যগুলিতে মোট ত্রুটি। একে কখনও কখনও "ফাংশনাল" বলা হয় কারণ এটি (প্যারামেট্রাইজড) ফাংশনের একটি ফাংশন যা মডেল গঠন করে।

প্রধান কাগজ:

ওয়াই লেকান, এস.চোপাড়া, আর। হ্যাডসেল, এম। রঞ্জাতো এবং এফজে হুয়াং, "শক্তির উপর ভিত্তি করে শেখার উপর একটি টিউটোরিয়াল", স্ট্রাকচার্ড ডেটা, এমআইটি প্রেস, 2006 এর পূর্বাভাসে।

আরও দেখুন:

লেকান, ওয়াই, এবং হুয়াং, এফজে (2005)। শক্তি-ভিত্তিক মডেলগুলির বৈষম্যমূলক প্রশিক্ষণের জন্য হ্রাস কার্যাবলী। কৃত্রিম বুদ্ধিমত্তা ও পরিসংখ্যান সম্পর্কিত 10 তম আন্তর্জাতিক কর্মশালার কার্যক্রমে (AIStats'05)। Http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf থেকে প্রাপ্ত

রঞ্জাতো, এম।, বোরিউ, ওয়াই.এল., চোপড়া, এস, এবং লেকুন, ওয়াই (2007)। আনসপারভাইসড লার্নিংয়ের জন্য একটি ইউনিফাইড এনার্জি-ভিত্তিক ফ্রেমওয়ার্ক। Proc। এআই এবং পরিসংখ্যান সম্পর্কিত সম্মেলন (এআই-পরিসংখ্যান)। Http://dblp.uni-trier.de/db/journals/jMLr/jMLrp2.html#RanzatoBCL07 থেকে প্রাপ্ত

— নীল জি
সূত্র

"তারা শক্তি ফাংশন হ্রাস এবং ক্ষতির ফাংশন হ্রাসকরণ হিসাবে শেখার" অর্থ কী যার উপর আপনি প্রসারিত করতে পারেন? ক্ষতির ক্রিয়াকলাপের চেয়ে কীভাবে শক্তির কার্যকারিতা আলাদা?

— ক্লিফ এবি

আপনি কি দয়া করে আপনার উত্তরটি বিস্তারিতভাবে বর্ণনা করতে পারেন

— আইম্প্রেম

@ ক্লিফ্যাব আশা করি এটি পরিষ্কার?

— নিল জি

@ নীলজি: সত্যি বলতে, আমি এখনও কিছুটা বিভ্রান্ত আমার কাছে মনে হচ্ছে "শক্তি ফাংশন" মূলত পরিসংখ্যানগুলির সম্ভাবনা ফাংশন হিসাবে একই জিনিস। এটি কি যুক্তিসঙ্গত ব্যাখ্যা বা আমি আরও সূক্ষ্ম কিছু অনুভব করছি?

— ক্লিফ এবি

@ ক্লিফ্যাব: জ্বালানি কার্যকারিতা লগ-সম্ভাবনা হতে পারে যার ক্ষেত্রে মোট ক্ষতিকারক শক্তি এক হয়। যাইহোক, এটি এমনকি প্রয়োজনীয় নয়: অ-সম্ভাব্য শক্তি ভিত্তিক মডেলগুলি এই স্বাভাবিককরণ সম্পর্কে চিন্তা করবেন না, যা তাদের সম্ভাব্য মডেলগুলির তুলনায় আরও বেশি দক্ষ করে তুলতে পারে। এটি কনফিগারেশনের জায়গার চেয়ে ব্যয়বহুল ইন্টিগ্রালের মূল্যায়ন এড়াতে কারণ এটি।

— নিল জি

$x_t$

ই = Σ {এক্স}_{টি}^{2}

$E = \Sigma x_t^2$

কিছু বৈশিষ্ট্য x থেকে কিছু প্রতিক্রিয়া y এর পূর্বাভাস দেওয়ার সময়, এগিয়ে যাওয়ার খুব সাধারণ এবং সহজ উপায় হল স্কোয়ার ত্রুটির যোগফলকে হ্রাস করা

এস এস ই = Σ (Y - \hat{Y})^{2}

$SSE= \Sigma (y-\hat{y})^2$ কোথায়

\hat{y}

$\hat{y}$ লাগানো প্রতিক্রিয়া। মিল লক্ষ্য করুন? এসএসই শক্তি। এই শক্তিটি লাগানো পরামিতিগুলি দ্বারা ন্যূনতম করা হয়।

— স্ট্যান
সূত্র

আমি মনে করি আপনি এনার্জি দিয়ে লোকসানটি বিভ্রান্ত করছেন

— নীল জি

আমি সিগন্যাল প্রক্রিয়াজাতকরণ থেকে শক্তির মানক সংজ্ঞাটি ব্যবহার করছি । আমার ধারণা, কম্পিউটার বিজ্ঞান / মেশিন লার্নিং লোকেরা পদকে নতুন করে সংজ্ঞায়িত করে to আমি পরিসংখ্যান এবং সংকেত প্রক্রিয়াকরণ ব্যাকগ্রাউন্ড থেকে এসেছি

— stan

আপনার প্রথম সূত্রটি একটি শক্তি ফাংশন। দ্বিতীয় সূত্রটি হ'ল লোকস ফাংশন, কারণ এটি কনফিগারেশনের কোনও কাজ নয়।

— নিল জি

@ নীল আমি নিশ্চিত যে আপনি যে কাগজপত্রের উদ্ধৃত করেছেন তাতে সংজ্ঞায়িত হিসাবে আপনি পরিভাষাটি সঠিকভাবে ব্যবহার করছেন। এটা কি আমি কোথায় ব্যবহার করছি মাত্র একটি ভিন্ন পরিভাষা SSE শক্তি

— স্ট্যান