অপ্টিমাইজেশনে নিউটন ভিত্তিক পদ্ধতি বনাম ননলাইনারি সমীকরণের সিস্টেমগুলি সমাধান করে

Question

আমি মিনিপ্যাক সম্পর্কে সাম্প্রতিক প্রশ্ন সম্পর্কে স্পষ্টতা চেয়েছিলাম , এবং নিম্নলিখিত মন্তব্যটি পেয়েছি:

যে কোনও সমীকরণের সিস্টেম একটি অপ্টিমাইজেশান সমস্যার সমতুল্য, এজন্যই অপ্টিমাইজেশনে নিউটন ভিত্তিক পদ্ধতিগুলি অনেকগুলি ননলাইনারি সমীকরণের সিস্টেমগুলি সমাধান করার জন্য নিউটন-ভিত্তিক পদ্ধতির মতো দেখায়।

কি এই মন্তব্য সম্পর্কে আমাকে বিভ্রান্ত করে (এবং মিনপ্যাকের মতো বিশেষায়িত ননলাইনার ন্যূনতম স্কোয়ার সলভারগুলির সম্পর্কে সম্পর্কিত নেতিবাচক মতামত ) কনজুগেট গ্রেডিয়েন্ট পদ্ধতির উদাহরণে সর্বোত্তমভাবে ব্যাখ্যা করা যেতে পারে । এই পদ্ধতিটি সিস্টেমে প্রযোজ্য $Ax=b$ সাথে প্রতিসম ধনাত্মক নির্দিষ্ট ম্যাট্রিক্স $A$ । এটি ন্যূনতম স্কোয়ার সমস্যা সমাধানের জন্যও ব্যবহার করা যেতে পারে মিনিট x | | একটি এক্স - বি | | $\operatorname{min}_x||Ax-b||^2$ একটি অবাধ ম্যাট্রিক্স জন্য $A$, তবে এটি করার পরামর্শ দেওয়া হয় না। আমাদের কেন এটি করা উচিত নয় তার একটি ব্যাখ্যা হ'ল সিস্টেমের শর্ত সংখ্যা উল্লেখযোগ্যভাবে বৃদ্ধি পাবে।

তবে যদি সমীকরণের একটি সিস্টেমকে অপ্টিমাইজেশনের সমস্যায় রূপান্তর করা এমনকি লিনিয়ার ক্ষেত্রেও সমস্যাযুক্ত হিসাবে বিবেচিত হয় তবে সাধারণ ক্ষেত্রে এটি কেন কম সমস্যাযুক্ত হবে? এটি কিছুটা বয়স্ক ননলাইনারের সর্বনিম্ন স্কোয়ার সলভার ব্যবহারের পরিবর্তে আর্ট অপ্টিমাইজেশনের অ্যালগরিদমের স্টেট ব্যবহারের সাথে সম্পর্কিত বলে মনে হচ্ছে। তবে তথ্যগুলি ফেলে দেওয়া এবং বাস্তবে ব্যবহৃত অপটিমাইজেশন অ্যালগরিদমের তুলনায় অপেক্ষাকৃত স্বতন্ত্রভাবে সিস্টেমের শর্ত সংখ্যা বৃদ্ধি সম্পর্কিত সমস্যাগুলি কি নয়?

Answer 1

যেহেতু আমার উত্তরগুলির একটি উদ্ধৃত হয়েছে, তাই আমি কেন স্পষ্ট করার চেষ্টা করব আমি কেন এমআইএনপ্যাকের পরিবর্তে আইপোপটি ব্যবহার করার পরামর্শ দিয়েছি।

MINPACK ব্যবহার করার বিষয়ে আমার আপত্তিগুলির সাথে MINPACK যে অ্যালগরিদমগুলি ব্যবহার করে এবং তাদের প্রয়োগের সাথে করার জন্য কিছুই করার নেই nothing আমার মূল আপত্তিটি হ'ল এই সফ্টওয়্যারটি ১৯৮০ সালের, এবং সর্বশেষে ১৯৯৯ সালে আপডেট হয়েছিল J জর্জি মোর অবসরপ্রাপ্ত; আমি সন্দেহ করি যে তিনি বা সফ্টওয়্যারটির অন্য কোনও লেখক এটিতে আর ট্যাব রাখেন এবং সক্রিয়ভাবে সমর্থন করার মতো কোনও দল নেই। সফ্টওয়্যারটিতে আমি কেবলমাত্র ডকুমেন্টেশন খুঁজে পেতে পারি সেটি হ'ল জর্জি মোরি এবং অন্যান্য মিনপ্যাক লেখক দ্বারা রচিত মূল 1980 এর আর্গোন্ন প্রযুক্তিগত প্রতিবেদন। (অধ্যায়গুলি 1-3 পাওয়া যাবে এবং চতুর্থ অধ্যায়টি এখানে পাওয়া যাবে।) MINPACK উত্স কোডটি অনুসন্ধান করার পরে এবং ডকুমেন্টেশনগুলি বোঝার পরে (পিডিএফগুলি চিত্রগুলি স্ক্যান করা হয়, এবং এটি অনুসন্ধান করা যায় না), সীমাবদ্ধতাগুলিকে সামঞ্জস্য করার কোনও বিকল্প আমি দেখতে পাচ্ছি না। যেহেতু অ-রেখাযুক্ত সর্বনিম্ন-স্কোয়ার সমস্যার মূল পোস্টারটি একটি সীমাবদ্ধ ননলাইনার ন্যূনতম-স্কোয়ার সমস্যা সমাধান করতে চেয়েছিল, তাই এমআইএনপ্যাক এমনকি এই সমস্যাটি সমাধান করবে না।

আইপিওপিটি মেইলিং তালিকার দিকে নজর দিলে কিছু ব্যবহারকারী ইঙ্গিত দেয় যে ননলাইনার সর্বনিম্ন স্কোয়ার (এনএলএস) সমস্যার উপর প্যাকেজটির পারফরম্যান্স লেভেনবার্গ-মার্কুয়ার্ড অ্যালগরিদম এবং আরও বিশেষায়িত এনএলএস অ্যালগরিদমগুলির সাথে মিলিত হয়েছে (দেখুন এখানে , এখানে এবং এখানে )। এনএলএস অ্যালগরিদমের সাথে সম্পর্কিত আইপোপটিটির কার্য সম্পাদন অবশ্যই সমস্যা নির্ভর। সেই ব্যবহারকারীর প্রতিক্রিয়া দেওয়া, আইপিওপিটি এনএলএস অ্যালগরিদমের সাথে তুলনামূলক যুক্তিসঙ্গত সুপারিশ বলে মনে হচ্ছে।

তবে, আপনি একটি ভাল বক্তব্য রেখেছেন যে এনএলএস অ্যালগরিদমগুলি তদন্ত করা উচিত। আমি রাজী. আমি কেবল মনে করি যে এমআইএনপ্যাকের চেয়ে আরও বেশি আধুনিক একটি প্যাকেজ ব্যবহার করা উচিত কারণ আমি বিশ্বাস করি এটি আরও ভাল সম্পাদন করবে, আরও ব্যবহারযোগ্য হবে এবং সমর্থিত হবে। সেরেসকে আকর্ষণীয় প্রার্থী প্যাকেজের মতো মনে হচ্ছে তবে এটি এখনই সীমাবদ্ধ সমস্যাগুলি পরিচালনা করতে পারে না। টিএওবাক্স-সীমাবদ্ধ ন্যূনতম স্কোয়ার সমস্যাগুলিতে কাজ করবে, যদিও এটি ক্লাসিক লেভেনবার্গ-মারকোয়ার্ডকে বাস্তবায়িত করে না, পরিবর্তে একটি ডেরাইভেটিভ-মুক্ত অ্যালগরিদম প্রয়োগ করে। একটি ডেরাইভেটিভ-মুক্ত অ্যালগরিদম সম্ভবত বড় আকারের সমস্যার জন্য খুব ভাল কাজ করবে তবে আমি এটি ছোট আকারের সমস্যার জন্য ব্যবহার করব না। আমি অন্য কোনও প্যাকেজ খুঁজে পেল না যা তাদের সফ্টওয়্যার ইঞ্জিনিয়ারিংয়ের উপর প্রচুর আত্মবিশ্বাস নিয়েছিল। উদাহরণস্বরূপ, গালাহাড প্রথম নজরে সংস্করণ নিয়ন্ত্রণ বা কোনও স্বয়ংক্রিয় পরীক্ষার ব্যবহার করে বলে মনে হচ্ছে না। মিনপ্যাক এই জিনিসগুলি করায় বলে মনে হয় না। আপনার যদি MINPACK বা আরও ভাল সফ্টওয়্যার সম্পর্কিত সুপারিশের অভিজ্ঞতা থাকে তবে আমি সকলেই কান।

এই সব মনে রেখে, আমার মন্তব্যের উদ্ধৃতি ফিরে:

যে কোনও সমীকরণের সিস্টেম একটি অপ্টিমাইজেশান সমস্যার সমতুল্য, এজন্যই অপ্টিমাইজেশনে নিউটন ভিত্তিক পদ্ধতিগুলি অনেকগুলি ননলাইনারি সমীকরণের সিস্টেমগুলি সমাধান করার জন্য নিউটন-ভিত্তিক পদ্ধতির মতো দেখায়।

একটি ভাল মন্তব্য সম্ভবত এর প্রভাব কিছু:

$n$$n$$g(x) = 0$

এই বিবৃতিটি এমনকি সীমাবদ্ধতার অধীনে সমীকরণের সিস্টেমগুলি সমাধান করার জন্য ধারণ করে। ভেরিয়েবলের ক্ষেত্রে বাধা রয়েছে এমন ক্ষেত্রে "সমীকরণ সমাধানকারী" হিসাবে বিবেচিত এমন কোনও অ্যালগোরিদম আমি জানি না। আমি যে সাধারণ পদ্ধতির কথা জানি, সম্ভবত একটি অপ্টিমাইজেশন কোর্স এবং এক অপ্টিমাইজেশন ল্যাবে গবেষণার বিভিন্ন সেমিস্টারের দ্বারা জন্ডিস হয়ে থাকে, সেটি হল সমীকরণের সিস্টেমে থাকা সীমাবদ্ধতাগুলিকে অপ্টিমাইজেশন সূত্রের মধ্যে অন্তর্ভুক্ত করা। যদি আপনি সমীকরণ সমাধানের জন্য নিউটন-র‌্যাফসন-জাতীয় স্কিমের সীমাবদ্ধতাগুলি ব্যবহার করার চেষ্টা করে থাকেন তবে আপনি সম্ভবত একটি অনুমিত গ্রেডিয়েন্ট বা প্রত্যাশিত বিশ্বাস-অঞ্চল পদ্ধতিটি শেষ করতে চাইবেন, অনেকটা সীমিত অপটিমাইজেশনে ব্যবহৃত পদ্ধতিগুলির মতো।

Comments

MINPACK এর সাথে আমার অভিজ্ঞতা আছে। স্থানীয় পদ্ধতি হিসাবে এটি যথেষ্ট ভাল। আমি পছন্দ করি যে এটি টুইটগুলি ছাড়াই মানদণ্ডের কাজ বন্ধ করে দিচ্ছে। আমি জানি যে প্রতিবন্ধকতাগুলির সাথে জিনিসটি বিরক্তিকর হতে পারে, বিশেষত যেহেতু এটি নিজেই অ্যালগরিদমে কোনও বড় পরিবর্তন হবে না। এমনকি আমি এলএম বাস্তবায়নগুলিও জানি যা ভেরিয়েবল এবং সাধারণ লিনিয়ার সীমাবদ্ধতার সীমাবদ্ধতা দেয় তবে এগুলি বাস্তবায়নগুলি নিজেই এমআইএনপ্যাকের চেয়ে খুব কম নয় এবং আমি সেগুলি মূল্যায়ণ করতে কোন মাথা ঘামাইনি।

— টমাস ক্লিম্পেল

$g(x)=0$$\lVert g(x) \rVert^2$

@ জেডব্রাউন: আমার চারপাশে ভাষা পরিবর্তন করা উচিত। আমার মতে, ডেরাইভেটিভ-ফ্রি অপ্টিমাইজেশন (ডিএফও) কেবল তখনই পছন্দনীয় যখন ফাংশন মূল্যায়ন খুব ব্যয়বহুল হয়। কোনও কারণে, মনে মনে যে সেমিনাল কেসটি মনে আসে যখন উদ্দেশ্যটি কোনও পিডিই সমাধানের সাথে জড়িত থাকে, সে কারণেই আমি বলেছিলাম "বৃহত আকারের" (অবশ্যই আমার জন্য, অপ্টিমাইজেশনে, "বৃহত আকারের পিডিই" এর অর্থ ভিন্ন কিছু) আপনার জন্য, যিনি পিডিইগুলি নিয়মিতভাবে সমান্তরালে সমাধান করেন)। যখন আমি "সীমাবদ্ধতাগুলির সাথে সমীকরণগুলি সমাধান করার" কথা ভাবি, তখন আমার মনে যে সমস্যাটি রয়েছে তা হ'ল । (cont'd)$g(x) = 0, x \in S, S \subset \mathbb{R}^{n}, S \neq \mathbb{R}^{n}$

— জেফ অক্সবেরি

@ জেডব্রাউন: এই সমস্যাটি মোকাবেলার একটি স্ট্যান্ডার্ড উপায় সমাধান করা । অন্য উপায় হতে পারে, কিন্তু আমি কোন কিছুই জানি না। আমি প্রস্তাব দিচ্ছি না যে একটি বাতিল ; ননজারো অবজেক্টিভ ফাংশন মানগুলির সাথে মিনিমা পরিষ্কারভাবে সমাধান করা সমীকরণের সিস্টেমকে সমাধান করে না। ননকনভেক্স ক্ষেত্রে, সমাধানের অস্তিত্ব বা অস্তিত্ব প্রমাণ করার জন্য বৈশ্বিক অপ্টিমাইজেশন পদ্ধতিগুলি প্রয়োজনীয়। বৈকল্পিক বৈষম্য নিয়ে আমার প্রচুর অভিজ্ঞতা নেই, তাই আমার কাছে তাৎক্ষণিকভাবে স্পষ্ট হয় না যে ষষ্ঠটি এখানে খেলায় আসে, বিশেষত যেহেতু অগত্যা কোনও শঙ্কু নয়। $\min_{x \in S} \|g(x)\|^2$$g(x) = 0$$S$

— জেফ অক্সবেরি

সুতরাং আপনার এখনও এর সীমানায় অবস্থিত একটি সমাধান দ্বারা আপনার অর্থ কী তা সুনির্দিষ্টভাবে সংজ্ঞায়িত করতে সক্ষম হতে হবে । ষষ্ঠগুলি, প্রায়শই পরিপূরক সূত্র হিসাবে লেখা, ঠিক এটি করে। ডেরাইভেটিভ-মুক্ত সম্পর্কে আমার বিপরীত মতামত রয়েছে, বিশেষত যখন ডিজাইনের স্থানটি বড় হয়। যদি উদ্দেশ্যটির সাথে একটি ব্যয়বহুল PDE সমাধান জড়িত থাকে তবে আমি দেখি যে আমাদের প্রয়োজন হিসাবে একটি স্থগিতাদেশ রয়েছে যাতে আমরা নকশার স্থানটি অন্বেষণ করতে গ্রেডিয়েন্টগুলি ব্যবহার করতে পারি। একটি পিডিই স্থগিত স্থানের মাত্রা ব্যতীত একটি ফরোয়ার্ড সমাধানের জন্য কেবলমাত্র একটি ছোট একাধিক ব্যয় করে। এটি মডেল মসৃণতার উপর অতিরিক্ত প্রয়োজনীয়তা রাখে। $S$

— জেড ব্রাউন

Answer 2

যদি কোনও প্রদত্ত ননলাইনার সিস্টেমটি কোনও অপ্টিমাইজেশান সমস্যার জন্য প্রথম অর্ডার অনুকূলকরণের শর্ত হয়, তবে আমরা প্রায়শই সেই তথ্যটি ব্যবহার করে আরও শক্তিশালী অ্যালগরিদম তৈরি করতে পারি। উদাহরণস্বরূপ, সমীকরণটি বিবেচনা করুন

$$f(x) = x^2 - \exp\big(-4(x-2)^2 \big) \qquad \text{[click for Wolfram Alpha]}$$

এটির স্পষ্টভাবে একটি অনন্য ন্যূনতম রয়েছে এবং আমরা আমাদের অপ্টিমাইজেশন পদ্ধতিটি এটি শুরু করার পয়েন্ট নির্বিশেষে এটি খুঁজে পাওয়ার আশা করি। কিন্তু আমরা যদি শুধুমাত্র প্রথম অর্ডার optimality অবস্থার তাকান, আমরা জন্য একটি সমাধান খুঁজছি হয় এর [উল্ফর্যাম আলফা]$x$$\nabla f(x) = 0$

যার একটি অনন্য সমাধান রয়েছে তবে অনেকগুলি রুটফাইন্ডিং পদ্ধতি স্থানীয় সর্বনিম্নে আটকে যেতে পারে।

আমরা একটি নতুন অপ্টিমাইজেশান সমস্যা সূত্রবদ্ধ যদি কমান গ্রেডিয়েন্টের আদর্শ ছক, তখন আমরা একটি বিশ্বব্যাপী ন্যূনতম খুঁজছি হয় এর [উল্ফর্যাম আলফা] একাধিক আঞ্চলিক মিনিমা রয়েছে।$x$$\lVert\nabla f(x)\rVert^2$

সংক্ষিপ্তসার হিসাবে, আমরা একটি অপ্টিমাইজেশান সমস্যাটি দিয়ে শুরু করি যার একটি অনন্য সমাধান রয়েছে যা আমরা গ্যারান্টি দিতে পারি যে কোনও পদ্ধতি এটি খুঁজে পাবে। আমরা একটি অ-রৈখিক রুট অনুসন্ধান সমস্যা হিসাবে সংস্কার করেছি যার একটি অনন্য সমাধান ছিল যা আমরা স্থানীয়ভাবে সনাক্ত করতে পারি, তবে রুটফাইন্ডিং পদ্ধতি (নিউটনের মতো) এটি পৌঁছানোর আগেই স্থির হয়ে যেতে পারে। এরপরে আমরা রুট সন্ধানের সমস্যাটিকে একটি অপ্টিমাইজেশন সমস্যা হিসাবে সংশোধন করেছিলাম যার একাধিক স্থানীয় সমাধান রয়েছে (কোনও স্থানীয় পরিমাপ আমরা বিশ্বব্যাপী সর্বনিম্ন নই তা সনাক্ত করতে ব্যবহার করা যাবে না)।

সাধারণভাবে, প্রতিবার আমরা যখনই কোনও সমস্যাটিকে অপ্টিমাইজেশন থেকে রুটফাইন্ডিং বা তদ্বিপরীত থেকে রূপান্তর করি তখন আমরা উপলভ্য পদ্ধতিগুলি এবং এর সাথে সম্পর্কিত রূপান্তরকে দুর্বল করে তোলে। পদ্ধতির প্রকৃত যান্ত্রিকতা প্রায়শই একই রকম হয় তাই ননলাইনার সলভার এবং অপ্টিমাইজেশনের মধ্যে প্রচুর কোড পুনরায় ব্যবহার করা সম্ভব।

Comments

তবে, এই ডাব্লুএর লিঙ্কগুলি আপনি যা বলছেন তা তেমনভাবে যায় না। ইউআরএল এ প্রথম বন্ধনী উপেক্ষা করা হচ্ছে বা ভুলভাবে পাস করা হচ্ছে।

— বিল বার্থ

আজব, লিঙ্কগুলি আমার পক্ষে কাজ করে। এটি কি ওয়েব ব্রাউজারের উপর নির্ভর করতে পারে? এটি উপস্থাপনের বিকল্প উপায়ের জন্য কোনও পরামর্শ?

— জেড ব্রাউন

নিশ্চিত না. পুনরায় ফর্ম্যাট করা লিঙ্কটি একটি ট্যাব থেকে পরের দিকে কাটা এবং আটকানো এর ফলে ডাব্লুএ'র কাছে এটি আবার স্ক্রুতে স্ক্রু তৈরি করে!

— বিল বার্থ

লিঙ্কগুলি নিয়ে অন্য কারও সমস্যা হচ্ছে? আমি একাধিক ব্রাউজারে চেষ্টা করেছি এবং এটি প্রতিটি ক্ষেত্রেই ভাল কাজ করে।

— জেড ব্রাউন

এটি একটি দুর্দান্ত উত্তর। তবে আমি পরিবর্তে জেফ অক্সবেরির উত্তরটি গ্রহণ করার সিদ্ধান্ত নিয়েছি, কারণ আমি যা বোঝার চেষ্টা করছিলাম তার একটি অংশ হল প্রশ্ন সম্পর্কিত "বাস্তব বিশ্বের" বিষয়গুলি issues এর মধ্যে রয়েছে যে আমার মতো লোকেরা তার ত্রুটিগুলি সম্পর্কে জানার পরেও এমআইএনপ্যাক ব্যবহার এবং সুপারিশ করে এবং অন্যান্য ব্যক্তিরা "তুচ্ছ ছোট" অ-লিনিয়ার সিস্টেমগুলি সমাধান করার বিষয়ে পরামর্শ চান, তবে তিন মাসের মধ্যে একটি একক সমাধানকারীকে পরীক্ষা করার ব্যবস্থাও করেন না সময় ফ্রেম

— টমাস ক্লিম্পেল