পুনরাবৃত্ত পদ্ধতিগুলির জন্য "কনভার্জনের হার" বোঝা

Question

উইকিপিডিয়া অনুসারে অভিযানের হার ভেক্টর নিয়মের একটি নির্দিষ্ট অনুপাত হিসাবে প্রকাশ করা হয়। আমি "লিনিয়ার" এবং "চতুষ্কোণ" হারগুলির মধ্যে সময়ের বিভিন্ন সময়ে (মূলত, পুনরাবৃত্তির "শুরুতে" এবং "শেষে") পার্থক্যটি বোঝার চেষ্টা করছি। এটা বলা যেতে পারে যে:

• লিনিয়ার কনভার্জেন্স সহ, পুনরাবৃত্তি x কে + 1 এর ত্রুটি এর আদর্শটি ‖ ই কে ‖ দ্বারা আবদ্ধ হয়$e_{k+1}$$x_{k+1}$$\|e_k\|$

• চতুর্ভুজ অভিমুখে, ত্রুটিটির আদর্শটি এর পুনরাবৃত্তি x k + 1 এর সাথে আবদ্ধ হয় ‖ ই কে ‖ $e_{k+1}$$x_{k+1}$$\|e_k\|^2$

এ জাতীয় ব্যাখ্যার অর্থ হ'ল, কয়েক (অল্প সংখ্যক) পুনরাবৃত্ত অ্যালগরিদম এ 1 এর পুনরাবৃত্তি (এলোমেলো প্রাথমিককরণ অনুমান করা) এর সাথে, ছোট ত্রুটি অর্জন করা হবে যা চতুর্ভুজীয় কনভারজেন্ট অ্যালগরিদম এ 2 এর কয়েকটি পুনরাবৃত্তির সাথে হবে। তবে, যেহেতু ত্রুটি হ্রাস পাচ্ছে, এবং স্কোয়ারিংয়ের কারণে, পরে পুনরাবৃত্তির অর্থ A2 এর সাথে ছোট ত্রুটি হবে।

উপরোক্ত ব্যাখ্যাটি কি বৈধ? মনে রাখবেন যে, এটি হার সহগ উপেক্ষা করা ।$\lambda$

Comments

এটিও সম্ভব যে আপনার চতুর্ভুজগতভাবে রূপান্তরিত অ্যালগরিদম আপনার লিনিয়ারালি রূপান্তরকারী অ্যালগরিদমের চেয়ে বড় ত্রুটি দিয়ে শুরু হয়, যা আপনার A1 অ্যালগরিদমকে প্রদত্ত সংখ্যার

— পুনরুক্তির

Answer 1

$e_k$$\lambda$$k\to\infty$

উদাহরণস্বরূপ, অপ্টিমাইজেশনে প্রথম অর্ডার পদ্ধতির জন্য আপনি প্রায়শই ত্রুটির প্রাথমিক পর্যায়ে দ্রুত হ্রাস লক্ষ্য করেন, যা পরে স্তরের হয়ে যায়। অন্যদিকে নিউটনের পদ্ধতির জন্য, সুপারলাইনার (বা চতুর্ভুজ) কনভার্জেন্সটি কিক করার আগে কিছুটা সময় নিতে পারে (এটি স্থানীয়ভাবে কেবল সর্বোপরি রৈখিক রূপান্তরিত)। যে কারণে নিউটন পদ্ধতিতে স্যুইচ করার আগে কিছুটা ধীরে ধীরে পদক্ষেপ নেওয়া শুরু করা, অথবা প্রথম দিকের পদ্ধতি হিসাবে প্রথমে আচরণ করা মোটোগোপি বা কোয়াটি-নিউটন পদ্ধতি ব্যবহার করা এবং আপনি কাছে যাওয়ার সময় নিউটন পদ্ধতিতে পরিণত হওয়া সাধারণ is লক্ষ্য।

Answer 2

$e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$- যেমন, আপনার সূচনা অনুমান যথেষ্ট নিকটবর্তী। এটি সাধারনত আচরণ হিসাবে পর্যবেক্ষণ করা হয়: যে চতুর্ভুজগতভাবে কনভারজেন্ট অ্যালগরিদমগুলি সংশ্লেষের জন্য সমাধান থেকে "যথেষ্ট ঘনিষ্ঠ" হওয়া শুরু করা দরকার যখন লিনিয়ারালি কনভারজেন্ট অ্যালগরিদমগুলি সাধারণত আরও দৃust় হয়। এটি আরও একটি কারণ যার ফলে প্রায়শই দক্ষ ব্যক্তিদের (যেমন নিউটনের পদ্ধতি) স্যুইচ করার আগে লিনিয়ারালি কনভার্জেন্স অ্যালগরিদম (উদাহরণস্বরূপ, খাড়া বংশদ্ভুত পদ্ধতি) এর কয়েকটি ধাপ দিয়ে শুরু করা হয়।

Answer 3

ব্যাখ্যাটি গুণগতভাবে সঠিক।

লক্ষ করুন যে লিনিয়ার এবং চতুষ্কোণ রূপান্তরটি সবচেয়ে খারাপ ক্ষেত্রে সম্মতিযুক্ত, একটি নির্দিষ্ট অ্যালগরিদমের পরিস্থিতি ওল্ফগ্যাং ব্যাঙ্গারথের দেওয়া সবচেয়ে খারাপ ক্ষেত্রে বিশ্লেষণ থেকে আপনি যা পেয়েছেন তার চেয়ে ভাল হতে পারে, যদিও গুণগত পরিস্থিতি সাধারণত এই বিশ্লেষণের সাথে মিলে যায়।

কংক্রিট অ্যালগরিদমগুলিতে (উদাহরণস্বরূপ, অনুকূলকরণে) অগ্রগতি ধীর না হওয়া অবধি প্রথমে একটি সস্তা তবে কেবল রৈখিক রূপান্তরিত পদ্ধতিতে পুনরাবৃত্তি হওয়া এবং তার পরে চতুর্ভুজযুক্ত (বা কমপক্ষে সুপারলাইনারি) সংযোগকারী পদ্ধতিটি শেষ করা প্রায়শই বোঝায়। অনুশীলনে, সুপারলাইনার কনভার্জেন্সটি চতুষ্কোণীয় রূপান্তর হিসাবে ভাল হতে থাকে কারণ প্রাথমিক, ধীরে ধীরে রূপান্তরকারী অংশটি সামগ্রিক কাজের উপর প্রভাব ফেলে।