ব্যারোডেল-রবার্টস-অ্যালগোরিদম ব্যবহার করে স্বল্পতম নিখুঁত বিচ্যুতির সমাধান: অকাল সমাপ্তি?

দীর্ঘ প্রশ্নটি ক্ষমা করুন, আসল সমস্যাটিতে নামার জন্য এটির কিছু ব্যাখ্যা দরকার। উল্লিখিত অ্যালগরিদমের সাথে পরিচিত যারা সম্ভবত প্রথম সিমপ্লেক্স তবলায় সরাসরি লাফিয়ে উঠতে পারেন।

সর্বনিম্ন পরম বিচ্যুতি সমস্যাগুলি সমাধান করতে (ওরফে) $L_1$ -প্রটিমাইজেশন), ব্যারোডেল-রবার্টস-অ্যালগরিদম একটি বিশেষ উদ্দেশ্য সিম্প্লেক্স পদ্ধতি যা একটি উপযুক্ত ন্যূনতম সন্ধানের জন্য অনেক কম সঞ্চয় এবং গণনার প্রচেষ্টা প্রয়োজন।

সঠিকভাবে সর্বনিম্ন পৌঁছানোর আগে অ্যালগরিদমের আমার বাস্তবায়ন একটি সাধারণ উদাহরণে শেষ হয়। যাইহোক, সম্ভবত আমাকে প্রথমে আরও বিস্তৃত পদ্ধতিতে সমস্যাটি বর্ণনা করতে দিন:

দেওয়া তথ্য $(x_i,y_i)$ , $L_1$ -অપ્টিমাইজেশন সন্ধান করার চেষ্টা করে $c\in m$ যে হ্রাস

\sum_{i = 1}^{n} | y_{i} - f (x_{i}) | with f (x) := A_{x} \cdot ϕ

$\sum_{i=1}^n |y_i-f(x_i)| \quad\text{with}\quad f(x):=A_x\cdot \phi$ কোথায়

A_{x}

$A_x$ ইহা একটি

n \times m

$n\times m$ ম্যাট্রিক্স যা কোনওভাবে নির্ভর করে

x

$x$ । এই সমস্যাটি একটি রৈখিক প্রোগ্রাম হিসাবে বর্ণনা করা যেতে পারে এবং তাই অন্যদের মধ্যে সিমপ্লেক্স-জাতীয় পদ্ধতি ব্যবহার করে সমাধান করা যায়।

ব্যারোডেল এবং রবার্টস সিমপ্লেক্স পদ্ধতির একটি (স্পষ্টতই বহুল ব্যবহৃত) পরিবর্তনের পরামর্শ দিয়েছিলেন যা এর বিশেষ কাঠামো ব্যবহার করে সিমপ্লেক্স পদ্ধতিটিকে মূলত সরল করে তোলে $L_1$ -problems। সবচেয়ে উল্লেখযোগ্যভাবে, এটি হ'ল একটি সর্বোত্তম সমাধান অন্ততপক্ষে বিভক্ত হয় $\mathop{rank}(A)$ প্রদত্ত ডেটাপয়েন্টগুলির মধ্যে। জাস্টোর অ্যাক্সেস সহ তারা এখানে সম্পর্কিত নিবন্ধটি পেতে পারেন ।

লি এবং অ্যান্ডারসন ২০০২ সালে একটি ছোট্ট পরিবর্তন করার প্রস্তাব করেছিলেন যা সংখ্যার স্থায়িত্ব বাড়িয়ে তোলে এবং তাই সাদামাটা অ্যালগরিদমের সাথে পরিচিত সমস্যাগুলি কাটিয়ে উঠতে পারে বলে মনে করা হয়।

মূলত, এই অ্যালগরিদম ধরে নিয়েছে যে আপনি প্রদত্ত পয়েন্টগুলির একটি সেট দিয়ে শুরু করেছেন যেগুলি আন্তঃবিবাহিত হতে হবে, প্রদত্ত পদ্ধতিগুলি সিমপ্লেক্স টেবিলটি তৈরি করতে ব্যবহার করুন এবং তারপরে কোন ভিত্তিতে পরিবর্তনশীল এবং তার ভিত্তিতে পরিবর্তন করতে হবে তার সিদ্ধান্ত নিতে ব্যারোডেল এবং রবার্টসের নিয়ম ব্যবহার করুন ডেটাপয়েন্টগুলির সেট যা প্রায় অনুমান করা হয়।

ব্যারোডেল এবং রবার্টস একটি ছোট উদাহরণ দেয় যা আমি পুনরুত্পাদন করার চেষ্টা করেছি। এটি পয়েন্টগুলি আনুমানিক করার চেষ্টা করে $\{(1,1), (2,1), (3,2), (4,3), (5,2)\}$ একটি ফাংশন দ্বারা $a_1+a_2x$ । নিম্নলিখিত কনডেন্সড সিমপ্লেক্স ঝিল্লি দিয়ে তাদের অ্যালগোরিদমটি শেষ করুন:

\begin{array}{llll} Basis & R & u_{1} & u_{3} \\ b_{1} & 1 / 2 & 3 / 2 & - 1 / 2 \\ v_{2} & 1 / 2 & 1 / 2 & 1 / 2 \\ b_{2} & 1 / 2 & - 1 / 2 & 1 / 2 \\ u_{4} & 1 / 2 & 1 / 2 & - 3 / 2 \\ v_{5} & 1 & - 1 & 2 \\ Marginal cost & 2 & - 1 & 0 \end{array}

$\begin{array}{l|l|ll} \hline \text{Basis}&R& u_1 & u_3\\ \hline b_1 & 1/2 & 3/2 & -1/2 \\ v_2 & 1/2 & 1/2 & 1/2 \\ b_2 & 1/2 & -1/2 & 1/2 \\ u_4 & 1/2 & 1/2 & -3/2 \\ v_5 & 1 & -1 & 2 \\ \hline \text{Marginal cost} &2 & -1 & 0\\ \hline \end{array}$

সর্বাধিক গুরুত্বপূর্ণভাবে, প্রথম এবং তৃতীয় পয়েন্টটি ইন্টারপোল্টেড এবং সামগ্রিক ত্রুটি সমান $2$ । তারা এই সিদ্ধান্তে পৌঁছেছে

যেহেতু সমস্ত ননব্যাসিক ভেক্টরগুলির অ-পজিটিভ প্রান্তিক ব্যয় [...]

পুনরাবৃত্তি সমাপ্ত এবং সর্বোত্তম পৌঁছেছে।

যদি আমি লেই এবং অ্যান্ডারসনের অ্যালগরিদম ব্যবহার করি, তবে প্রত্যাশার মতো আমি এই সিম্পলাক্সের ঝকঝকে p 1,3 set সেট প্রবর্তন করতে পারি} তবে আমি যদি সেটটি দিয়ে অ্যালগরিদম শুরু করি $\{2, 5\}$ (যা স্পষ্টভাবে সর্বোত্তম নয়), আমি নিম্নলিখিত সিমপ্লেক্সের ঝালাই পেয়েছি:

\begin{array}{llll} Basis & R & u_{2} & u_{5} \\ u_{1} & 1 / 3 & - 4 / 3 & 1 / 3 \\ b_{1} & 1 / 3 & 5 / 3 & - 2 / 3 \\ u_{3} & 2 / 3 & - 2 / 3 & - 1 / 3 \\ u_{4} & 4 / 3 & - 1 / 3 & - 2 / 3 \\ b_{2} & 1 / 3 & - 1 / 3 & 1 / 3 \\ Marginal cost & 7 / 3 & - 10 / 3 & - 5 / 3 \end{array}

$\begin{array}{l|l|ll} \hline \text{Basis}&R& u_2 & u_5\\ \hline u_1 & 1/3 & -4/3 & 1/3 \\ b_1 & 1/3 & 5/3 & -2/3 \\ u_3 & 2/3 & -2/3 & -1/3 \\ u_4 & 4/3 & -1/3 & -2/3 \\ b_2 & 1/3 & -1/3 & 1/3 \\ \hline \text{Marginal cost} &7/3 & -10/3 & -5/3\\ \hline \end{array}$

যদিও এই ফলাফলটি আমাকে বিস্মিত করছে। আমি যদি উপরের উদ্ধৃতিটি সঠিকভাবে বুঝতে পারি তবে কোনও ধনাত্মক প্রান্তিক ব্যয় না থাকা ইঙ্গিত দেয় যে সর্বোত্তমটি পৌঁছেছে। প্রায় 2.33 এর ফাংশন মান অবশ্যই সর্বোত্তম নয়। পালটা $u_2$ সঙ্গে $u_1$ ব্যারোডেল এবং রবার্টসের সমাধানের সমতুল্য এবং এর ফলে অনুকূল হয়ে উঠতে পারে এমন একটি ফল দেয়।

অতিরিক্ত তথ্য: যদি আমি ব্যারোডেল এবং রবার্টস প্রদত্ত প্রাথমিক ঝালাইটি দিয়ে শুরু করি, তবে আমি সাধারণ সরল পদক্ষেপের দ্বারা উপরের ঝকঝকে পুনরুত্পাদন করতে সক্ষম হব, সুতরাং আমি মোটামুটিভাবে আত্মবিশ্বাসী যে আসল সংখ্যাসূচক মানগুলি সঠিক এবং পিভট নির্বাচনের নিয়মের আমার ব্যাখ্যা ত্রুটিযুক্ত।

এই সম্পর্কে কোন চিন্তা?

আমি বুঝতে পেরেছি যে প্রশ্নটি নিজেই বেশ জটিল এবং সম্ভবত যথেষ্ট পরিমাণে উত্তর দেওয়ার জন্য ব্যারোডেল এবং রবার্টস অ্যালগরিদমের জ্ঞান প্রয়োজন requires সামগ্রিকভাবে অ্যালগরিদমটি এখানে সম্পূর্ণ বিশদে পুনরাবৃত্তি করতে আগ্রহী। তবে, আমি যে পদক্ষেপগুলি নিয়েছি বা তথ্য বিট হারিয়েছি সে সম্পর্কে আপনার যদি অতিরিক্ত প্রশ্ন থাকে তবে নির্দ্বিধায় জিজ্ঞাসা করুন এবং আমি খুশি হয়ে প্রশ্নটি বাড়িয়ে তুলব।

optimization linear-programming

— Thilo
সূত্র

পর্যাপ্ত খ্যাতিযুক্ত কেউ যদি "সর্বনিম্ন-পরম-বিচ্যুতি" বা "এল 1-আনুমানিককরণ" এর লাইন ধরে একটি ট্যাগ তৈরি করতে পারে, আমি কৃতজ্ঞ হব।

— থিলো

অনুকূলতার শর্তটি হ'ল মৌলিক সমাধানটি কার্যকর হতে হবে (এর ননজেটিভিটি সংক্রান্ত সীমাবদ্ধতার সাথে) এবং হ্রাসকৃত ব্যয়গুলি 0 এর চেয়ে কম বা সমান হতে হবে যদি আপনার মূল সমাধানটি অক্ষম হয় তবে সমস্ত বেট বন্ধ রয়েছে।

— ব্রায়ান বোর্চার্স

প্রাথমিক সমাধানটি নির্মাণের দ্বারা সম্ভব। সুতরাং, কোন সমস্যা হওয়া উচিত। সমস্যাটি কোথায় হতে পারে সে সম্পর্কে আমার প্রথম ধারণা আছে। আমি সঠিক হলে আমি একটি সম্পর্কিত উত্তর যুক্ত করব।

— থিলো

এটি সমাধান। আসলে, ব্যারোডেল এবং রবার্টস এটি সমাধান করেছেন এবং আমি কেবল মনোযোগ দিয়ে পড়িনি।

আমার প্রশ্নে আমি এটি পাঠকের কাছে বুঝতে পেরেছিলাম যে ব্যারোডেল এবং রবার্টস লেবেলযুক্ত ভেরিয়েবলগুলি $u_i$ ইতিবাচক অবশিষ্টাংশের জন্য দাঁড়ানো $i$ - বর্তমান ফিটের সাথে সম্পর্কিত ডেটাপয়েন্ট। যদি অবশিষ্টগুলি নেতিবাচক হয়, $u_i=0$ এবং $v_i$ সংশ্লিষ্ট মান গ্রহণ করে। যেহেতু তাদের মধ্যে কেবল একটি ভিত্তির মধ্যে থাকতে পারে এবং সিমপ্লেক্সের ঝকঝকে সহগগুলি একে অপরের নেতিবাচক, তাই এগুলি স্পষ্টতই সরল বর্ণের ঝালরূপে বর্ণনা করার প্রয়োজন হয় না। ব্যারোডেল এবং রবার্টস তাদের নিবন্ধে উল্লেখ করেছেন:

[...] এবং এটির প্রান্তিক (বা হ্রাস) ব্যয়ের যোগফল $b_j$ এবং $c_j$ শূন্য এবং এর $u_i$ এবং $v_i$ -2 হয়।

সুতরাং, উপরে আমার সিমপ্লেক্স ঝালরূপটি নীচের মতো দেখতে ভাবতে হবে:

\begin{array}{llllll} Basis & R & u_{2} & u_{5} & v_{2} & v_{5} \\ u_{1} & 1 / 3 & - 4 / 3 & 1 / 3 & 4 / 3 & - 1 / 3 \\ b_{1} & 1 / 3 & 5 / 3 & - 2 / 3 & - 5 / 3 & 2 / 3 \\ u_{3} & 2 / 3 & - 2 / 3 & - 1 / 3 & 2 / 3 & 1 / 3 \\ u_{4} & 4 / 3 & - 1 / 3 & - 2 / 3 & 1 / 3 & 2 / 3 \\ b_{2} & 1 / 3 & - 1 / 3 & 1 / 3 & - 1 / 3 & - 1 / 3 \\ Marginal cost & 7 / 3 & - 10 / 3 & - 5 / 3 & 4 / 3 & - 1 / 3 \end{array}

$\begin{array}{l|l|ll| ll} \hline \text{Basis}&R& u_2 & u_5 & v_2 & v_5\\ \hline u_1 & 1/3 & -4/3 & 1/3 & 4/3 & -1/3 \\ b_1 & 1/3 & 5/3 & -2/3 & -5/3 & 2/3 \\ u_3 & 2/3 & -2/3 & -1/3 & 2/3 & 1/3 \\ u_4 & 4/3 & -1/3 & -2/3 & 1/3 & 2/3 \\ b_2 & 1/3 & -1/3 & 1/3 & -1/3 & -1/3 \\ \hline \text{Marginal cost} &7/3 & -10/3 & -5/3 & 4/3 & -1/3\\ \hline \end{array}$

যেখানে আমরা পরিষ্কারভাবে দেখতে পাই $v_2$ একটি ভাল ফলাফল সংরক্ষণাগার ভিত্তিতে আনা যেতে পারে। প্রথম এবং পঞ্চম ডেটাপয়েন্টকে 2 এর সামগ্রিক ত্রুটির সাথে ইন্টারপোল্ট করার সময় এটি করা অ্যালগরিদমটি শেষ হয় - যা সেরা সমাধান।

আমার সমস্যাটি লিখতে এবং পড়ার জন্য আমাকে কিছু জায়গা দেওয়ার জন্য ধন্যবাদ, যা সাধারণত সমাধানটি উল্লেখযোগ্যভাবে সঙ্কুচিত করতে সহায়তা করে। আশা করি, বারোডেল ও রবার্টস প্রয়োগের চেষ্টা করা অন্য কারোর পক্ষে এই উত্তরটি মাঝে মাঝে সহায়ক হতে পারে।

— Thilo
সূত্র