যখন কোনও বিশ্লেষক জ্যাকবিয়ান উপলব্ধ থাকে, তখন

ধরা যাক যে আমি বর্ধিত স্কোয়ার অবশিষ্টাংশগুলিকে হ্রাস করে কিছু মডেল প্যারামিটারগুলি গণনা করছি এবং আমি মনে করছি যে আমার ত্রুটিগুলি গাউসিয়ান are আমার মডেল বিশ্লেষণী ডেরিভেটিভস উত্পাদন করে, তাই অপ্টিমাইজারের সীমাবদ্ধ পার্থক্য ব্যবহার করার দরকার নেই। ফিট সম্পূর্ণ হয়ে গেলে, আমি লাগানো পরামিতিগুলির স্ট্যান্ডার্ড ত্রুটিগুলি গণনা করতে চাই।

সাধারণত, এই পরিস্থিতিতে ত্রুটি ফাংশনের হেসিয়ান কোভরিয়েন্স ম্যাট্রিক্সের সাথে সম্পর্কিত হিসাবে নেওয়া হয়: যেখানে the অবশিষ্টাংশের বৈকল্পিক।

σ^{2} H^{- 1} = C

$\sigma^2 H^{-1} = C$

σ^{2}

$\sigma^2$

ত্রুটির কোনও বিশ্লেষণী ডেরাইভেটিভস উপলব্ধ না হলে, সাধারণত হেসিয়ান গণনা করা অবৈধ হয়, সুতরাং একটি ভাল অনুমান হিসাবে গ্রহণ করা হয়। $J^TJ$

যাইহোক, আমার ক্ষেত্রে, আমি একটি বিশ্লেষণযোগ্য জে পেয়েছি, তাই আমার পক্ষে সীমাবদ্ধ আলাদা জে দ্বারা এইচ গণনা করা তুলনামূলকভাবে সস্তা।

সুতরাং, আমার প্রশ্নটি হ'ল: আমার সঠিক জে ব্যবহার করে এবং উপরোক্ত অনুমানটি প্রয়োগ করতে, বা সীমাবদ্ধ আলাদা করে জে সন্নিবেশ করা এইচটি কি আরও সঠিক হবে?

standard-error fitting

— কলিন কে
সূত্র

ভাল প্রশ্ন. প্রথমে, এই সংস্থানটি কোথা থেকে এসেছে তা প্রত্যাহার করুন। যাক আপনার ডেটা পয়েন্ট হতে আপনার মডেল হতে হবে এবং আপনার মডেল পরামিতি হও। তারপরে অ-রৈখিক সর্বনিম্ন স্কোয়ার সমস্যার উদ্দেশ্যগত কার্য is $H \approx J^T J$ $(x_i, y_i)$ $f(\cdot)$ $\beta$ যেখানেহল অবশিষ্টাংশের ভেক্টর,। উদ্দেশ্য ফাংশন সঠিক চট হয়। তাই এই পড়তা মধ্যে ত্রুটি $\frac{1}{2} r^T r$ $r$ $r_i = y_i - f(x_i, \beta)$ $H = J^T J + \sum r_i \nabla^2 r_i$ $H - J^T J = \sum r_i \nabla^2 r_i$ । অবশিষ্টাংশগুলি, যখন তারা নিজেরাই ছোট হয় তখন এটি খুব ভাল অনুমানের; বা যখন অবশিষ্টাংশগুলির 2 য় ডেরাইভেটিভ ছোট হয়। লিনিয়ার সর্বনিম্ন স্কোয়ারগুলিকে একটি বিশেষ কেস হিসাবে বিবেচনা করা যেতে পারে যেখানে অবশিষ্টাংশগুলির 2 য় ডেরিভেটিভ শূন্য।

সীমাবদ্ধ পার্থক্য আনুমানিক হিসাবে, এটি তুলনামূলকভাবে সস্তা। একটি কেন্দ্রীয় পার্থক্য গনা করতে, আপনাকে Jacobian একটি অতিরিক্ত মূল্যায়ন করতে হবে (একটা ফরওয়ার্ড পার্থক্য আপনি কত খরচ হবে বার অতিরিক্ত মূল্যায়ন, তাই আমি মাথা ঘামান না হবে)। কেন্দ্রীয় পার্থক্য আনুমানিকের ত্রুটিটি এবং সমানুপাতিক যেখানে পদক্ষেপের আকার। অনুকূল পদক্ষেপের আকারটি $2n$ $n$ $\nabla^4 r$ $h^2$ $h$ , যেখানেমেশিন স্পষ্টতা হয়। সুতরাং যদি না অবশিষ্টাংশগুলির ডেরাইভেটিভগুলি প্রবহমান না হয় তবে এটি পরিষ্কার যে সীমাবদ্ধ পার্থক্য আনুমানিকভাবে আরও ভাল হওয়া উচিত। আমার এটি উল্লেখ করা উচিত, যখন গণনাটি ন্যূনতম হয় তবে বুককিপিং অদ্বিতীয়। জ্যাকবীয়ানের প্রতিটি সীমাবদ্ধ পার্থক্য আপনাকে প্রতিটি অবশিষ্টের জন্য হেসিয়ান একটি সারি দেবে। তারপরে আপনাকে উপরের সূত্রটি ব্যবহার করে হেসিয়ানকে পুনরায় সংযুক্ত করতে হবে। $h \sim \epsilon^\frac{1}{3}$ $\epsilon$

তবে তৃতীয় বিকল্প রয়েছে। যদি আপনার সলভারটি একটি কোয়াসি-নিউটন পদ্ধতি (ডিএফপি, বিএফজিএস, ব্রায়োডেন ইত্যাদি) ব্যবহার করে তবে এটি ইতিমধ্যে প্রতিটি পুনরাবৃত্তিতে হেসিয়ানকে প্রায় অনুমান করে চলেছে। এটি প্রায় প্রতিটি পুনরাবৃত্তি থেকে উদ্দেশ্যমূলক ফাংশন এবং গ্রেডিয়েন্ট মানগুলি ব্যবহার করায় আনুমানিক পরিমাণটি বেশ ভাল হতে পারে। বেশিরভাগ সমাধানকারী আপনাকে চূড়ান্ত হেসিয়ান অনুমান (বা এর বিপরীত) অ্যাক্সেস দেবে give যদি এটি আপনার জন্য একটি বিকল্প হয় তবে আমি এটিকে হেসিয়ান অনুমান হিসাবে ব্যবহার করব। এটি ইতিমধ্যে গণনা করা হয়েছে এবং এটি সম্ভবত খুব ভাল অনুমান হতে চলেছে।

— বিল ওউসনার
সূত্র

দুর্দান্ত প্রতিক্রিয়া, আপনাকে ধন্যবাদ। প্রতিটি ক্ষেত্রে অনুমানের ত্রুটির তুলনা করে এটিকে ন্যায়সঙ্গত করা খুব জ্ঞানজনক ing আমি জিজ্ঞেস করতে পারি কিভাবে আপনি জানেন যে

সসীম পার্থক্য অনুকূল পদক্ষেপ হবে? আমি এর আগে কখনও দেখিনি।

ϵ^{1 / 3}

$\epsilon^{1/3}$

— কলিন কে

কাটা ত্রুটি বনাম রাউন্ড-অফ ত্রুটি ভারসাম্য রক্ষার জন্য এটি একটি পুরানো কৌশল। একথাও ঠিক যে, ছাঁটাই ত্রুটি কমানোর জন্য, আপনি করতে চাই

সম্ভব ছোট হিসাবে। তবে একবার

খুব ছোট হয়ে গেলে আপনি গুরুত্বপূর্ণ রাউন্ড-অফ ত্রুটি করতে শুরু করেন। ডেরাইভেশন তুলনামূলকভাবে সোজা। কেন্দ্রীয় পার্থক্য ধরে ধরে,

সমানুপাতিক । রাউন্ড-অফ ত্রুটি সর্বদা

সমানুপাতিক

h

$h$

h

$h$

h^{2} f^{‴} (x)

$h^2 f'''(x)$

। দুটি জুড়ুন এবং

উপরে মিনিমাইজ করুন। আপনি পেতে

\frac{ϵ f (x)}{h}

$\frac{\epsilon f(x)}{h}$

h

$h$

।

h \sim ϵ^{\frac{1}{3}}

$h \sim \epsilon^\frac{1}{3}$

— বিল ওউসনার

এটি কেবল কেন্দ্রীয় পার্থক্য রাখে। এগিয়ে পার্থক্য জন্য, অনুকূল পদক্ষেপ আকার

। অন্যান্য কৌশলও রয়েছে। উদাহরণস্বরূপ, নিশ্চিত করুন যে আপনি আসলে জানেন কী

কি। আমি জানি এটি নির্বোধ শোনায় তবে অদ্ভুত জিনিসগুলি ভাসমান পয়েন্ট গণিতগুলিতে ঘটতে পারে। এখানে নিশ্চিত করুন যে আপনি সঠিক মূল্য আছে করতে একটি সহজ উপায়

:। গাণিতিকভাবে, অবশ্যই,

। তবে আপনি যদি এমন মান ব্যবহার করেন যা ভাসমান বিন্দুতে (

)সঠিকভাবে উপস্থাপন করা যায় না, আপনি দেখতে পাবেন যে এটি ক্ষেত্রে নেই is

h \sim ϵ^{\frac{1}{2}}

$h \sim \epsilon^\frac{1}{2}$

h

$h$

h

$h$ h_actual = (x + h_desired) - x

h_{a c t u a l} = h_{d e s i r e d}

$h_{actual} = h_{desired}$

h = 0.0001

$h = 0.0001$

— বিল ওউসনার

মন্তব্যগুলির পরিবর্তে সম্ভবত এই উত্তরে আপনার উত্তরে যুক্ত করা যেতে পারে। এইভাবে, ভবিষ্যতে ব্যবহারকারীদের উত্তরের দাবিতে সরাসরি থাকা এমন উপাদান সন্ধান করতে একটি বর্ধিত মন্তব্য বিভাগের মধ্য দিয়ে যেতে হবে না।

— সাইকোরাক্স মনিকে

ওহে আমার সদাপ্রভু কোসি-নিউটনের আনুষাঙ্গিক হেসিয়ান একটি হেসিয়ান একটি ভয়াবহ অনুমান হতে পারে, এবং ফলস্বরূপ covariance ম্যাট্রিক্স খুব খারাপ অনুমান। এটি সর্বোত্তমতায় অ্যালগরিদমের অগ্রগতি সহজতর করতে খুব ভাল পরিবেশন করতে পারে তবে হেসিয়ান অনুমান হিসাবে এটি বেশ দরিদ্র হতে পারে।

— মার্ক এল স্টোন