ত্রুটি সারফেস উত্তলটি কী করে? এটি কোভারিনিস ম্যাট্রিক্স বা হেসিয়ান দ্বারা নির্ধারিত হয়?

Question

আমি বর্তমানে রিগ্রেশন -এর জন্য সর্বনিম্ন-স্কোয়ার (এবং অন্যান্য) অনুমানগুলি সম্পর্কে শিখছি , এবং যা থেকে আমি কিছু অভিযোজিত অ্যালগরিদম সাহিত্যেও পড়ছি, প্রায়শই "... এবং ত্রুটির পৃষ্ঠটি উত্তল ..." শব্দটি বারবার প্রকাশিত হয় এবং কেন এটি উত্সাহিত হয় তা নিয়ে কোনও গভীরতা কোথায় পাওয়া যাবে তা নয়।

... সুতরাং এটি ঠিক উত্তল করে তোলে ?

আমি এই পুনরাবৃত্তি বাদ দেওয়া হালকা বিরক্তিকর বলে মনে করি কারণ আমি আমার নিজের ব্যয় ক্রিয়াকলাপগুলির সাথে আমার নিজের অভিযোজিত অ্যালগরিদমগুলি ডিজাইন করতে সক্ষম হতে চাই, তবে যদি আমার ব্যয়টি ফাংশনটি উত্তল ত্রুটির পৃষ্ঠের উত্পন্ন করে বা না জানায় তবে আমি সক্ষম হব না গ্রেডিয়েন্ট বংশোদ্ভূত জাতীয় কিছু প্রয়োগে খুব বেশি দূরে যান কারণ সেখানে বিশ্বব্যাপী সর্বনিম্ন থাকতে হবে না। সম্ভবত আমি সৃজনশীল হতে চাই - সম্ভবত আমি আমার ত্রুটির মানদণ্ড হিসাবে উদাহরণস্বরূপ ন্যূনতম স্কোয়ারগুলি ব্যবহার করতে চাই না।

গভীর খনন করার পরে, (এবং আমার প্রশ্নগুলি এখানেই শুরু হবে), আমি দেখতে পেয়েছি যে আপনার উত্তল ত্রুটির পৃষ্ঠ রয়েছে কিনা তা বলতে সক্ষম হওয়ার জন্য আপনাকে অবশ্যই নিশ্চিত করতে হবে যে আপনার হেসিয়ান ম্যাট্রিক্স ইতিবাচক অর্ধ-নির্দিষ্ট। প্রতিসম ম্যাট্রিকগুলির জন্য, এই পরীক্ষাটি সহজ - কেবল নিশ্চিত করুন যে হেসিয়ান ম্যাট্রিক্সের সমস্ত ইগোনালুগুলি নেতিবাচক নয়। (আপনার ম্যাট্রিক্স যদি প্রতিসম নয়, তবে আপনি গ্র্যামিয়ানের কারণে এটি নিজস্ব ট্রান্সপোজে যুক্ত করে একই ইগেনভ্যালু পরীক্ষা করে এটি প্রতিসম তৈরি করতে পারেন , তবে এখানে গুরুত্বপূর্ণ নয়)।

হেসিয়ান ম্যাট্রিক্স কী? হেসিয়ান ম্যাট্রিক্স আপনার ব্যয় ফাংশনের পার্টিয়ালের সমস্ত সম্ভাব্য সংমিশ্রণকে কোড করে। কত পার্টিয়াল আছে? আপনার বৈশিষ্ট্য ভেক্টরের বৈশিষ্ট্যগুলির সংখ্যা। পার্টিয়ালগুলি কীভাবে গণনা করা যায়? আসল ব্যয় কার্যকারিতা থেকে 'হাত দ্বারা' আংশিক ডেরাইভেটিভস নিন।

সুতরাং এটি আমি ঠিক তাই করেছি: আমি ধরে নিলাম যে আমাদের কাছে একটি x ডেটা ম্যাট্রিক্স রয়েছে, যা ম্যাট্রিক্স দ্বারা বোঝানো হয়েছে , যেখানে, উদাহরণগুলির সংখ্যাকে বোঝায়, এবং উদাহরণস্বরূপ বৈশিষ্ট্যের সংখ্যাকে চিহ্নিত করে। (যা পার্টিয়ালের সংখ্যাও হবে)। আমি মনে করি আমরা বলতে পারি যে আমাদের কাছে সময় নমুনা এবং সেন্সরগুলির থেকে স্থানিক নমুনা রয়েছে তবে এখানে শারীরিক প্রয়োগ খুব গুরুত্বপূর্ণ নয় isএন এক্স এম এন এম $m$$n$$X$$m$$n$$m$$n$

উপরন্তু, আমরা একটি ভেক্টর আছে আকারের x । (এটি আপনার 'লেবেল' ভেক্টর বা প্রতিটি সারির সাথে সম্পর্কিত আপনার 'উত্তর' )। সরলতার জন্য, আমি এই নির্দিষ্ট উদাহরণের জন্য ধরে নিয়েছি । সুতরাং 2 'উদাহরণ' এবং 2 'বৈশিষ্ট্য'।m 1 X m = n = $y$$m$$1$$X$$m=n=2$

সুতরাং এখন ধরুন যে আপনি এখানে 'লাইন' বা সর্বোপরি সর্বোপরি বহুবচনটি নির্ধারণ করতে চান। এটি হ'ল, আপনি আপনার ইনপুট ডেটা বৈশিষ্ট্যগুলি আপনার বহুপদী সহ-দক্ষ ভেক্টর against এর বিরুদ্ধে প্রজেক্ট করেন যেমন আপনার ব্যয় কার্যকারিতাটি:$\boldsymbol{\theta}$

$$J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} \bigg[\theta_{0}x_{0}[i] + \theta_{1}x_{1}[i] - y[i]\bigg]^{2}$$

এখন, আসুন আমরা প্রথম আংশিক ডেরিভেটিভ নিতে পারি , (বৈশিষ্ট্য 0) এভাবে:$\theta_{0}$

$$\frac{\delta J(\theta)}{\delta\theta_0} = \frac{1}{m}\sum_{i=1}^{m} \bigg[\theta_{0}x_{0}[i] + \theta_{1}x_{1}[i] - y[i]\bigg] x_{0}[i]$$

$$\frac{\delta J(\theta)}{\delta\theta_0} = \frac{1}{m}\sum_{i=1}^{m} \bigg[\theta_{0}x_{0}^{2}[i] + \theta_{1}x_{1}[i]x_{0}[i] - y[i]x_{0}[i]\bigg]$$

এখন, আসুন আমরা সমস্ত দ্বিতীয় পার্টিয়াল গণনা করি, সুতরাং:

$$\frac{\delta^{2} J(\theta)}{\delta\theta_0^{2}} = \frac{1}{m}\sum_{i=1}^{m} x_{0}^{2}[i]$$

$$\frac{\delta^{2} J(\theta)}{\delta\theta_0\theta_{1}} = \frac{1}{m}\sum_{i=1}^{m} x_{0}[i]x_{1}[i]$$

$$\frac{\delta^{2} J(\theta)}{\delta\theta_1\theta_{0}} = \frac{1}{m}\sum_{i=1}^{m} x_{1}[i]x_{0}[i]$$

$$\frac{\delta^{2} J(\theta)}{\delta\theta_1^{2}} = \frac{1}{m}\sum_{i=1}^{m} x_{1}^{2}[i]$$

আমরা জানি যে হেসিয়ান কিছুই নয়:

$$H(J(\theta)) = \begin{bmatrix} \frac{\delta^{2} J(\theta)}{\delta\theta_0^{2}} & \frac{\delta^{2} J(\theta)}{\delta\theta_0\theta_{1}} \\ \frac{\delta^{2} J(\theta)}{\delta\theta_1\theta_{0}} & \frac{\delta^{2} J(\theta)}{\delta\theta_1^{2}}\end{bmatrix}$$

$$H(J(\theta)) = \begin{bmatrix} \frac{1}{m}\sum_{i=1}^{m} x_{0}^{2}[i] & \frac{1}{m}\sum_{i=1}^{m} x_{0}[i]x_{1}[i] \\ \frac{1}{m}\sum_{i=1}^{m} x_{1}[i]x_{0}[i] & \frac{1}{m}\sum_{i=1}^{m} x_{1}^{2}[i] \end{bmatrix}$$

এখন, আমি কীভাবে ডেটা ম্যাট্রিক্স তৈরি করেছি তার ভিত্তিতে ((আমার 'বৈশিষ্ট্যগুলি' কলামগুলি দিয়ে যায় এবং আমার উদাহরণগুলি সারি দিয়ে যায়)), হেসিয়ান বলে মনে হয়:$X$

$$H(J(\theta)) = X^{T}X = \Sigma$$

... যা নমুনা কোভেরিয়েন্স ম্যাট্রিক্স ছাড়া আর কিছুই নয় !

সুতরাং আমি কীভাবে ব্যাখ্যা করব তা সম্পর্কে আমি নিশ্চিত নই - বা আমার বলা উচিত, আমার এখানে কীভাবে সাধারণীকরণ করা উচিত তা আমি নিশ্চিত নই। তবে আমি মনে করি আমি এটি বলতে পারি:

• সবসময় সত্য:

  • হেসিয়ান ম্যাট্রিক্স সর্বদা আপনার ত্রুটি / ব্যয় পৃষ্ঠের উত্তল কিনা তা নিয়ন্ত্রণ করে।
  • যদি আপনি হেসিয়ান ম্যাট্রিক্স পোস্ট-সেমি-ডিফ হয় তবে আপনি উত্তেজক (এবং আনন্দের সাথে অনুকূল সমাধানে রূপান্তর করতে গ্রেডিয়েন্ট বংশদ্ভুতের মতো অ্যালগরিদম ব্যবহার করতে পারেন)।

• শুধুমাত্র এলএসইর জন্য সত্য:

  • এলএসই ব্যয়ের মানদণ্ডের জন্য হেসিয়ান ম্যাট্রিক্স মূল কোভারিয়েন্স ম্যাট্রিক্স ছাড়া কিছুই নয়। (!)।
  • আমার কাছে এর অর্থ এই যে, আমি যদি এলএসই মাপদণ্ড ব্যবহার করি তবে ডেটা নিজেই নির্ধারণ করে যে আমার উত্তল পৃষ্ঠ আছে কিনা? ... তারপরে কোনটির অর্থ হবে যে আমার কোভেরিয়েন্স ম্যাট্রিক্সের আইজেনভেেক্টররা কোনওভাবে ব্যয় পৃষ্ঠকে 'আকার দেওয়ার' ক্ষমতা রাখে? এটা কি সবসময় সত্য? অথবা এটি কেবল এলএসই মানদণ্ডের জন্য কার্যকর হয়েছিল? এটি ঠিক আমার সাথে বসে না যে কোনও ত্রুটির পৃষ্ঠের উত্তেজকতা ডেটার উপর নির্ভর করে।

সুতরাং এটি মূল প্রশ্নের প্রসঙ্গে ফিরিয়ে দেওয়া, কীভাবে একজন নির্ধারণ করে যে কোনও ত্রুটি সার্ফ্যান্স (আপনার নির্বাচিত কিছু ব্যয় ফাংশনের উপর ভিত্তি করে) উত্তল কিনা? এই সংকল্পটি কি ডেটা, বা হেসিয়ান ভিত্তিক?

ধন্যবাদ

টিএলডিআর: আমার ব্যয়-ফাংশন এবং / অথবা ডেটা-সেটটি উত্তল বা নন-উত্তল ত্রুটির পৃষ্ঠের ফলন দেয় কিনা তা নির্ধারণের জন্য আমি কীভাবে, ঠিক এবং কার্যতভাবে যেতে পারি?

Answer 1

আপনি একক মাত্রায় রৈখিক-সর্বনিম্ন স্কোয়ারগুলি ভাবতে পারেন। খরচ ফাংশন মত কিছু । প্রথম ব্যুৎপন্ন (Jacobian) তারপর , অত মধ্যে রৈখিক । দ্বিতীয় ডেরাইভেটিভ (হেসিয়ান) - একটি ধ্রুবক।$a^{2}$$2a$$a$$2$

যেহেতু দ্বিতীয় ডেরাইভেটিভ ইতিবাচক, আপনি উত্তল ব্যয় ফাংশন নিয়ে কাজ করছেন। এটি মাল্টিভারিয়েট ক্যালকুলাসে ইতিবাচক সুনির্দিষ্ট হেসিয়ান ম্যাট্রিক্সের কাছে সমান।

আপনি মাত্র দুটি ভেরিয়েবল ( , ) নিয়ে কাজ করেন সুতরাং হেসিয়ান বিশেষত সহজ simple$\theta_{1}$$\theta_{2}$

বাস্তবে, তবে প্রায়শই অনেকগুলি ভেরিয়েবল জড়িত থাকে, তাই হেসিয়ান তৈরি এবং পরিদর্শন করা অবৈধ।

আরও দক্ষ পদ্ধতি হ'ল ন্যূনতম-স্কোয়ার সমস্যায় সরাসরি জ্যাকবীয় ম্যাট্রিক্স কাজ করা :$J$

$$Jx=b$$

$J$ র‍্যাঙ্ক-অভাব, একক বা কাছের-একক হতে পারে। এই ধরনের ক্ষেত্রে, ব্যয় কার্যের চতুর্ভুজ পৃষ্ঠ প্রায় সমতল এবং / বা বক্রভাবে কিছু দিকের প্রসারিত। আপনি দেখতে পারেন যে আপনার ম্যাট্রিক্স তাত্ত্বিকভাবে সমাধানযোগ্য, তবে সমাধানটি সংখ্যাগতভাবে অস্থির। পূর্ববর্তী অবস্থার একটি পদ্ধতি এ জাতীয় ক্ষেত্রে মোকাবেলা করতে ব্যবহার করা যেতে পারে।

কিছু আলগোরিদিম সহজ একটি রান Cholesky পচানি এর । যদি অ্যালগরিদম ব্যর্থ হয় তবে এর অর্থ একা একা (বা অসুস্থ শর্তযুক্ত)।$J$$J$

সংখ্যাগতভাবে আরও স্থিতিশীল, তবে আরও ব্যয়বহুল হল একটি কিউআর পচন , যা নিয়মিত হলেই উপস্থিত থাকে ।$J$

পরিশেষে, স্টেট অফ দ্য আর্ট পদ্ধতিটি একটি একক মানের মূল্য পচন (এসভিডি) , যা সবচেয়ে ব্যয়বহুল, প্রতিটি ম্যাট্রিক্সে করা যেতে পারে, সংখ্যার র‌্যাঙ্ক প্রকাশ করে এবং আপনাকে পৃথকভাবে র‌্যাঙ্ক-ঘাটতি ক্ষেত্রে চিকিত্সার অনুমতি দেয়।$J$

আমি লিনিয়ার এবং অ-রৈখিক সর্বনিম্ন স্কোয়ার সমাধান সম্পর্কে একটি নিবন্ধ লিখেছিলাম যা এই বিষয়গুলি বিস্তারিতভাবে কভার করে:

ম্যাথ.এনইটি সহ লিনিয়ার এবং ননলাইনার সবচেয়ে স্বল্প-স্কোয়ার

এখানে দুর্দান্ত বইয়েরও উল্লেখ রয়েছে যা সর্বনিম্ন-স্কোয়ার (প্যারামিটার / ডেটা পয়েন্টগুলিতে প্রবণতা, পূর্বশর্ত, স্কেলিং, অर्थোগোনাল দূরত্বের রিগ্রেশন - মোট ন্যূনতম-বর্গক্ষেত্র, কমপক্ষে-স্কোয়ারের প্রাক্কলনকারীর যথার্থতা এবং নির্ভুলতা ইত্যাদি সম্পর্কিত) সম্পর্কিত বিষয়গুলির সাথে সম্পর্কিত রয়েছে books )।

আমি নিবন্ধটির জন্য একটি নমুনা প্রকল্প করেছি, যা ওপেন সোর্স:

LeastSquaresDemo - বাইনারি

কমপক্ষে স্কোয়ারেসডেমো - উত্স (সি #)

Comments

ধন্যবাদ লিওর: ১) স্পর্শকাতর তবে, কোলেস্কি ম্যাট্রিক্স বর্গমূলের মতো বলে মনে হচ্ছে, হ্যাঁ? 2) নিশ্চিত নয় যে আমি ত্রুটি পৃষ্ঠের প্রতিটি বিন্দুতে হেসিয়ান আপনাকে উত্তেজকতার বিষয়ে কীভাবে বলে সে সম্পর্কে আপনার বক্তব্যটি বুঝতে পেরেছি - আপনি কি সাধারণভাবে বলছেন? কারণ উপরের এলএসই ডেরাইভেশন থেকে, হেসিয়ান মোটেও পরামিতিগুলির উপর নির্ভর করে না , এবং কেবলমাত্র ডেটার উপর। আপনি সাধারণত বলতে চাইছেন? 3) পরিশেষে, কীভাবে ত্রুটির পৃষ্ঠটি উত্তল কিনা তা কিভাবে নির্ধারণ করবেন - কেবলমাত্র হেসিয়ান এসপিডি কিনা তা নিশ্চিত করে আটকাবেন? তবে আপনি উল্লেখ করেছেন যে এটি উপর নির্ভরশীল হতে পারে ... সুতরাং কেউ কীভাবে নিশ্চিতভাবে জানতে পারে? ধন্যবাদ! $\theta$$\theta$

— স্পেসি

2) হ্যাঁ আমি সাধারণভাবে বলতে চাইছি। লিনিয়ার সর্বনিম্ন স্কোয়ারে, পুরো ত্রুটির পৃষ্ঠের ধ্রুবক হেসিয়ান থাকে। চতুষ্কোণের দ্বিতীয় ডেরিয়াভেটিভ গ্রহণ ধ্রুবক, একইটি হেসিয়ানের ক্ষেত্রে প্রযোজ্য। 3) এটি আপনার ডেটা ম্যাট্রিক্সের কন্ডিশনিংয়ের উপর নির্ভর করে। যদি হেসিয়ান স্পিড হয় তবে আপনার কাছে একটি একক বদ্ধ সমাধান রয়েছে এবং ত্রুটির পৃষ্ঠটি সমস্ত দিকের উত্তল। অন্যথায় ডেটা ম্যাট্রিক্স অসুস্থ শর্তযুক্ত বা একবাক্য। আমি তদন্তের জন্য হেসিয়ানকে কখনও ব্যবহার করি নি, বরং ডেটা ম্যাট্রিক্সের একক মানগুলি পরীক্ষা করে দেখছি বা এটিতে কোলেস্কির পচন আছে কিনা তা খতিয়ে দেখছি। উভয় উপায়ই আপনাকে বলবে যে কোনও সমাধান আছে কিনা।

— Libor

লিবার - ১) আপনি যদি পারেন তবে ডাটা ম্যাট্রিক্সের এসভিডি আপনি কীভাবে ব্যবহার করেছেন বা আপনার একক বন্ধ সমাধান রয়েছে কিনা তা পরীক্ষা করতে আপনি কীভাবে কোলেস্কি পচন ব্যবহার করেছেন তা যুক্ত করুন, তারা খুব কার্যকর বলে মনে হচ্ছে এবং এটি একটি ভাল পয়েন্ট, এবং সেগুলি কীভাবে ব্যবহার করতে হয় তা শিখতে আগ্রহী হবে। ২) শেষ কথা, হেসিয়ান সম্পর্কে আমি আপনাকে বুঝতে পেরেছি তা নিশ্চিত করার জন্য: সুতরাং হেসিয়ান হ'ল সাধারণভাবে এবং / অথবা এর একটি ফাংশন । যদি এটি এসপিডি হয় তবে আমাদের একটি উত্তল পৃষ্ঠ রয়েছে। (তবে যদি হেসিয়ান এর মধ্যে থাকে তবে আমাদের এটি যেখানেই মনে হয় এটি মূল্যায়ন করতে হবে)। আবার ধন্যবাদ. θ এক্স $X$$\theta$$X$$\theta$

— স্পেসি

মোহাম্মদ: ১) আমি উত্তরটি নতুন করে লিখেছি এবং লেস্ট-স্কোয়ারগুলি সম্পর্কে আমার নিবন্ধটির লিঙ্কগুলি যুক্ত করেছি (কিছু ত্রুটি হতে পারে, আমি এটি এখনও অফিসিয়ালি প্রকাশ করি নি) সহ কাজের নমুনা প্রকল্প সহ। আমি আশা করি এটি আরও গভীরভাবে সমস্যাটি বুঝতে আপনাকে সহায়তা করবে ... ২) লিনিয়ার-সর্বনিম্ন স্কোয়ারগুলিতে, হেসিয়ান ধ্রুবক এবং কেবলমাত্র ডাটা পয়েন্টের উপর নির্ভর করে। সাধারণভাবে এটি মডেল প্যারামিটারগুলির উপরও নির্ভর করে তবে এটি কেবলমাত্র লিনিয়ার ন্যূনতম স্কোয়ারগুলির ক্ষেত্রে।

— Libor