আরবিএফ কার্নেলের ম্যাট্রিকগুলি কি শর্তযুক্ত হওয়ার প্রবণতা রয়েছে?

আমি একটি কার্নেল ভিত্তিক মেশিন লার্নিং অ্যালগরিদম (কেএলপিপি) প্রয়োগ করার জন্য আরবিএফ কার্নেল ফাংশন ব্যবহার করি, ফলস্বরূপ কার্নেল ম্যাট্রিক্স $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$ অত্যন্ত অসুস্থ হিসাবে দেখানো হয়েছে শর্তযুক্ত। এল 2-আদর্শের শর্ত সংখ্যা comes এ আসে

10^{17} - 10^{64}

$10^{17}-10^{64}$

এটি শীতাতপ নিয়ন্ত্রিত করার কোনও উপায় আছে কি? আমি অনুমান করি যে প্যারামিটার সুর করা দরকার, তবে আমি ঠিক জানি না। $\sigma$

ধন্যবাদ!

— ZeyuHu
সূত্র

ভাল, আপনি যদি

σ_{m}

$\sigma_m$ ছোট আপনি শর্ত নম্বর উন্নতি।

— ব্যবহারকারী 189035

উত্তর:

কার্নেলের প্রস্থ হ্রাস করা হচ্ছে $\sigma_m$ সাধারণত শর্ত সংখ্যা হ্রাস করবে।

যাইহোক, কার্নেল ম্যাট্রিকগুলি যে কোনও বেস ফাংশন বা পয়েন্ট বিতরণের জন্য একক বা এককালের কাছাকাছি হতে পারে, বেস ফাংশনগুলি ওভারল্যাপ সরবরাহ করে। এর কারণটি আসলে বেশ সহজ:

কার্নেল ম্যাট্রিক্স $K$ একবচন হয় যখন তার নির্ধারক $\det(K)$ শূন্য।
আপনার প্রদাহে দুটি পয়েন্ট এবং করা আপনার ট্রায়াল পয়েন্টগুলি স্থির থাকে ধরে ধরে দুটি সারি আদান-প্রদানের সমতুল্য । $x_i$ $x_j$ $K$
একটি ম্যাট্রিক্সে দুটি সারি অদলবদল করে তার নির্ধারকের চিহ্নটি স্যুইচ করে।

এখন এবং দুটি পয়েন্ট বাছাই এবং আস্তে আস্তে এগুলি ঘোরানোর কল্পনা করুন যাতে তারা স্থান পরিবর্তন করে। এটি করার সময়, এর নির্ধারক সাইন পরিবর্তন করবে, এর মাঝে কোনও এক সময় শূন্য হবে। এই মুহুর্তে, সংজ্ঞা অনুসারে একবচন। $x_i$ $x_j$ $K$ $K$

— পেড্রো
সূত্র

কে ম্যাট্রিকিস প্রতিসম নয় - দুটি পয়েন্টের স্যুপ এবং কলামগুলি অদলবদল করে?

— ডেনিস

@ ডেনিস কেবলমাত্র যদি আপনার নোড এবং ট্রায়াল পয়েন্ট একই থাকে এবং আপনি উভয়ই সরান move এ কারণেই, দ্বিতীয় বুলেটে আমি "আপনার ট্রায়াল পয়েন্টগুলি স্থির রেখে ধরে রেখেছি" লিখেছি।

— পেড্রো

গাউসিয়ানদের কার্নেল ম্যাট্রিক্স (ওপির প্রশ্ন) যাইহোক ইতিবাচক অর্ধ-নির্দিষ্ট?

— ডেনিস

@ ডেনিস: আবারও, আপনি কীভাবে আপনার আরবিএফ ইন্টারপোলেশন সমস্যার সংজ্ঞা দেন তা এটি একটি প্রশ্ন। আপনি যেখানে সর্বাধিক সাধারণ ক্ষেত্রে বিবেচনা করুন

N

$N$ আরবিএফগুলি পয়েন্টগুলিকে কেন্দ্র করে

x_{i}

$x_i$ ,

i = 1 \dots N

$i=1\dots N$ , এবং আপনি দালানটি ছোট করতে চান

M

$M$ পয়েন্ট

ξ_{j}

$\xi_j$ ,

j = 1 \dots M

$j=1\dots M$ । পোস্টারের উদাহরণ ধরে নেওয়া হয়

M = N

$M=N$ এবং

ξ_{j} = x_{i}

$\xi_j=x_i$ । যদি আমরা প্রাথমিকভাবে সেট

M \leftarrow N

$M\leftarrow N$ এবং

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$ , এবং তারপরে শুধু সরান

x_{i}

$x_i$ , আমরা তুচ্ছভাবে একবচন উত্পাদন করতে পারি

K

$K$ ।

— পেড্রো

কয়েকটি পরামর্শ:

পছন্দ করা $\sigma \sim$ গড় দূরত্ব | এলোমেলো $x$ - নিকটতম $x_i$ । (এর জন্য একটি সুলভ অনুমান $N$ পয়েন্টগুলি ইউনিট কিউবে সমানভাবে বিতরণ করা হয় $\mathbb{R}^d, d\ 2 .. 5$ , হয় 0.5 / $N^{1/d}$ ।)
আমরা চাই $\phi( |x - x_i| )$ জন্য বড় হতে $x_i$ কাছাকাছি $x$ , পটভূমি শব্দের জন্য ছোট; কিছু এলোমেলো জন্য যে প্লট $x$ ।
পরিবর্তন $K$ 0 থেকে দূরে, $K \to K + \lambda I$ , $\lambda \sim 10^{-6}$ অথবা তাই; অর্থাৎ নিয়মিত করা ze
সমাধান থেকে ওজন দেখুন $(K + \lambda I) w = f$ । কেউ কেউ এখনও শর্ত সংখ্যা নির্বিশেষে বিশাল হয়, যে গয়েসিয়ান আরবিএফ মৌলিকভাবে দুর্বল যে বয়ড (নীচে) নিশ্চিত করতে ঝোঁক হবে।

(আরবিএফ-এর একটি বিকল্প হ'ল বিপরীত দূরত্বের ওজন, IDW It এটি অটো-স্কেলিংয়ের সুবিধাও পেয়েছে, নিকটস্থ দূরত্বের জন্য এটি 1 2 3 $\dots$ 100 200 300 হিসাবে $\dots$ এছাড়াও আমি এর সুস্পষ্ট ব্যবহারকারীর পছন্দ খুঁজে পাই $Nnear$ , গ্রিড অনুসন্ধানের চেয়ে পরিষ্কার হওয়া নিকটবর্তী প্রতিবেশীর সংখ্যা $\sigma, \lambda$ ।)

জন পি। বয়ড, গাউসীয় রেডিয়াল ভিত্তিক ফাংশন সিরিজের সংমিশ্রনের জন্য দ্রুত গাউস ট্রান্সফর্মের অকেজোতা বলেছেন,

গাউসিয়ান আরবিএফ ইন্টারপোল্যান্ট বেশিরভাগ সিরিজের জন্য এই শর্তে শর্তাধীন যে ইন্টারপোল্যান্টটি তাত্পর্যপূর্ণভাবে বড় সহগের সাথে শর্তগুলির সামান্য পার্থক্য।

আশাকরি এটা সাহায্য করবে; আপনার অভিজ্ঞতা ভাগ করুন।

— ডেনিস
সূত্র