একটি গোলমাল ফাংশন গাণিতিক অপ্টিমাইজেশন

Question

আসুন a এমন একটি ফাংশন যা মোটামুটি সুন্দর (যেমন, ধারাবাহিক, পার্থক্যযোগ্য, খুব বেশি স্থানীয় ম্যাক্সিমার নয়, সম্ভবত অবতল ইত্যাদি)। আমি একটি ম্যাক্সিমা সন্ধান করতে চাই : একটি মান যা কে যতটা সম্ভব বড় করে তোলে । f x ∈ R d f ( x $f:\mathbb{R}^d \to \mathbb{R}$$f$$x \in \mathbb{R}^d$$f(x)$

আমার পছন্দের যে কোনও ইনপুটটিতে আমার যদি অবিকল মূল্যায়ন করার পদ্ধতি ছিল , আমি স্ট্যান্ডার্ড গাণিতিক অপ্টিমাইজেশন কৌশলগুলি ব্যবহার করতে পারতাম : হিলি-ক্লাইম্বিং, গ্রেডিয়েন্ট ডেসেন্ট (ভাল, গ্রেডিয়েন্ট অ্যাসেন্ট) ইত্যাদি However তবে, আমার অ্যাপ্লিকেশনটিতে আমার কাছে নেই ঠিক মূল্যায়নের উপায় । পরিবর্তে, আমার কাছে এর মান অনুমান করার একটি উপায় রয়েছে ।$f$f ( x $f(x)$$f(x)$

বিশেষত, কোনও এবং কোনও , আমার কাছে একটি ওরাকল রয়েছে যা অনুমান করে এবং যার প্রত্যাশিত ত্রুটি প্রায় । । এই ওরাকল অনুরোধের চলমান সময়টি সমানুপাতিক । (এটি এক ধরণের সিমুলেশন দ্বারা প্রয়োগ করা হয়; পরীক্ষার সংখ্যার বর্গমূলের সাথে সিমুলেশনের যথার্থতা বৃদ্ধি পায় এবং আমি কতগুলি ট্রায়াল চালাতে পারি তা বেছে নিতে পারি, তাই আমি পছন্দসই নির্ভুলতাটি বেছে নিতে পারি)) সুতরাং এটি আমাকে একটি দেয় আমি যে কোনও নির্ভুলতার ইচ্ছা অনুমান করার উপায়, তবে অনুমানটি যত বেশি সঠিক হতে চাই, তত বেশি সময় আমাকে গ্রহণ করবে।ε f ( x ) ε 1 / ε $x$$\varepsilon$$f(x)$$\varepsilon$$1/\varepsilon^2$

এই সশব্দ ওরাকল দেওয়া , সেখানে একটি ম্যাক্সিমা কম্পিউটিং জন্য কোন কৌশল আছে দক্ষতার যতটা সম্ভব? (বা আরও সুনির্দিষ্টভাবে, একটি আনুমানিক ম্যাক্সিমা সন্ধান করা)) এই মডেলটির মধ্যে কি পাহাড়ী-আরোহণ, গ্রেডিয়েন্ট বংশোদ্ভূত ইত্যাদি বিভিন্ন রূপ রয়েছে?$f$$f$

অবশ্যই, আমি খুব ছোট মানটি ঠিক করতে পেরেছিলাম এবং একই জুড়ে রেখে এই ওরাকলটি দিয়ে পাহাড়ী-আরোহী বা গ্রেডিয়েন্ট প্রয়োগ করতে পারি । তবে এটি অপ্রয়োজনীয়ভাবে অদক্ষ হতে পারে: শুরুতে আমাদের কাছে এ জাতীয় নির্ভুল অনুমানের দরকার পড়তে পারে না, তবে আপনি যখন সমাধানের দিকে শূন্য করছেন তখন শেষের কাছাকাছি নির্ভুলতা আরও গুরুত্বপূর্ণ। সুতরাং গতিযুক্তভাবে আমার অনুমানের যথার্থতা নিয়ন্ত্রণ করার, অপ্টিমাইজেশন প্রক্রিয়াটিকে আরও দক্ষ করার জন্য আমার ক্ষমতার সুযোগ নেওয়ার কোনও উপায় আছে কি? এই ধরণের সমস্যা আগেও অধ্যয়ন করা হয়েছে?$\varepsilon$$\varepsilon$

Comments

এটি নিজের স্টাডির নিজস্ব ক্ষেত্রের ওয়ারেন্ট দেওয়ার জন্য খুব হারের অপ্টিমাইজেশান সমস্যার মতো মনে হচ্ছে। সিমুলেটেড অ্যানিলিং সম্পর্কে কী? রূপান্তর সম্ভাবনা এবং তাপমাত্রার সময়সূচী - আপনি কি সেখান থেকে ধারণাগুলি মানিয়ে নিতে পারেন? সেখানে একটি সংযোগ রয়েছে - আপনি যখন তাপমাত্রা হ্রাসের সাথে এগিয়ে যান, এবং আপনার ক্ষেত্রে আপনি চান ড্রপ। $\epsilon$

— র্যান্ডমসুরফার_২৩

সাইবার সিনক্রোনসিটি, সম্প্রতি একটি জিএ প্রোগ্রামে ঠিক এই ক্ষেত্রে দেখা গেছে। উপরের আরএসের সাথে সম্মত যে অনুকরণযুক্ত অ্যানিলিং যেখানে ফাংশন মূল্যায়নের যথার্থতা তাপমাত্রা হ্রাসের সাথে প্রায় কাজ করে কাজ করা উচিত matches অন্য ধারণাটি হ'ল প্রতিটি বিন্দুতে কেবলমাত্র নির্দিষ্ট # নমুনাগুলি করা এবং গড় হিসাবে অনুমান হিসাবে নেওয়া। আরও উন্নত তত্ত্ব কেবল আপনাকে বলতে পারে যে আপনি কিছুই না পেয়ে কিছু পান না এবং মূল্যায়নের কোনও শর্টকাট নেই যা অপ্টিমাইজেশনের উন্নতি করে।

— vzn

Answer 1

যে কেউ শব্দ ফাংশন এর শোরগোল ফাংশন দ্বারা প্রতিস্থাপন করতে পারে , যেখানে একটি কৃত্রিম প্যারামিটার যা শব্দের নির্ভরতা বর্ণনা করতে ব্যবহৃত হয় যেমন এবং শব্দ আছে।f ( x + Δ x , p + Δ p ) p Δ x Δ $f(x,p)$$f(x+\Delta x, p + \Delta p)$$p$$\Delta x$$\Delta p$

• স্টোকাস্টিক অপ্টিমাইজেশন এবং শক্তিশালী অপ্টিমাইজেশনে ব্যবহৃত কিছু কৌশলগুলি প্রযোজ্য হতে পারে।
• কারণ ম্যাক্সিমার কাছে , dangerous চেয়ে কম বিপজ্জনক ।ΔxΔ$\frac{\partial f}{\partial x}\approx 0$$\Delta x$$\Delta p$
• কখনও কখনও মূল্যায়নের সময় নির্ভুলভাবে অনুমান করা যায় । প্রায়শই এটি তাত্ত্বিক ক্ষেত্রেই সত্য, কারণ এটি বাস্তবায়িত হয় না এবং কিছু অংশের বিশেষ যত্ন প্রয়োজন।চ( ˜ x , ˜ পি$\frac{\partial f}{\partial x}(\tilde{x}, \tilde{p})$$f(\tilde{x}, \tilde{p})$
• (এবং ) এর পছন্দসই "ক্ষুদ্রতা" একটি "শেষ ব্যবহারকারী" সিদ্ধান্ত। এটি নিয়ন্ত্রণের জন্য কেউ হিউরিস্টিক্স সরবরাহ করতে পারে তবে সম্পূর্ণরূপে স্বয়ংক্রিয় নির্ভুলতা পরিচালনার জন্য সমানুপাতিক রানটাইম খুব ধীর।Δ এক্স 1 / ϵ $\Delta p$$\Delta x$$1/\epsilon^2$
• প্রদত্ত আওয়াজ বনাম রানটাইম ট্রেডঅফ হ'ল এই সমস্যাটি আরও ভাল অধ্যয়নিত সমস্যাগুলি বাদ দেয়। সমস্যাগুলি ছিল গোলমাল কেবল অনিবার্য এবং আরও সাধারণ এবং আরও ভাল অধ্যয়ন করা হয়।

Comments

ধারনাটির জন্য তোমাকে ধন্যবাদ। এই প্রতিস্থাপনটির অর্থ কী হবে এবং এটি কীভাবে সহায়তা করে তা বুঝতে আমি কিছুটা লড়াই করছি। এটি কি দ্বারা প্রতিস্থাপনের সমান ? আমি কীভাবে অর্থ বোধ করবেন তা নিশ্চিত নই : আমি যদি আপনার প্রস্তাবটি সঠিকভাবে বুঝতে পারি তবে এটি স্থির হয়ে যাবে এবং এটি আমি বেছে নিতে পারি এমন কিছু হবে না (সুতরাং সাধারণতার ক্ষতি ছাড়াই আমরা সেট করতে পারি এবং এর সংজ্ঞায় কোনও নির্ভরতা শুষে নিন )। স্টোচাস্টিক অপ্টিমাইজেশন এবং শক্তিশালী অপ্টিমাইজেশানটি আমি বাছাই করা ধরণের জিনিসগুলি কমবেশি শোনাচ্ছে, তাই এটি খুব সহায়ক। ধন্যবাদ. f ∗ ( x + Δ x , Δ p ) p p = 0 f $f(x,p)$$f^*(x+\Delta x,\Delta p)$$p$$p=0$$f^*$

— ডিডাব্লিউ

@ ডিডব্লিউ হ্যাঁ, আপনি সেট করতে পারেন । তারপরে এর শোরগোলের সংস্করণটি হল । যেমনটি বলা হয়েছে, এবং শব্দ রয়েছে। আরও স্পষ্টভাবে, তারা কেবল শব্দটি ধারণ করে না, তারা হ'ল শব্দ। f ( x , 0 ) f ( x + Δ x , Δ p ) Δ x Δ $p=0$$f(x,0)$$f(x+\Delta x, \Delta p)$$\Delta x$$\Delta p$

— টমাস ক্লিম্পেল