লিনিয়ার রিগ্রেশন ব্যবহার করার জন্য গাউসিয়ান বেসিস ফাংশন পরামিতিগুলি বোঝা

12

আমি গৌসীয় ভিত্তিক কার্যটি লিনিয়ার রিগ্রেশন বাস্তবায়নে প্রয়োগ করতে চাই। দুর্ভাগ্যক্রমে ভিত্তি ফাংশনে কয়েকটি পরামিতি বুঝতে আমার খুব কষ্ট হচ্ছে। বিশেষত এবং । $\mu$ $\sigma$

আমার ডেটাসেটটি 10,000 x 31 ম্যাট্রিক্স। 10,000 স্যাম্পল এবং 31 টি বৈশিষ্ট্য। আমি পড়েছি যে "প্রতিটি বেস ফাংশন ইনপুট ভেক্টর এক্সকে একটি মাপকে মান হিসাবে রূপান্তর করে"। সুতরাং আমি ধরে নিই এক্স 1 টি নমুনা তাই 1 x 31 ভেক্টর। এখান থেকে আমি বিভ্রান্ত। প্যারামিটারটি ঠিক কী ? আমি পড়েছি যে এটি ভিত্তি ফাংশনগুলির অবস্থানগুলি পরিচালনা করে। সুতরাং এটি কি কোনও কিছুর অর্থ নয়? আমি j ( এবং ) সাবস্ক্রিপ্টটি ফেলে দিয়েছি , এটি আমাকে জেথ সারিটি ভাবতে বাধ্য করে। তবে তা বোধগম্য মনে হয় না। কি ভেক্টর? এখন $\mu_j$ $\mu$ $\phi$ $\mu_j$ $\sigma$ যা "স্থানিক স্কেল পরিচালনা করে"। আসলে কি? আমি কিছু বাস্তবায়ন দেখেছি যা এই পরামিতিটির জন্য .1, .5, 2.5 এর মতো মানগুলি চেষ্টা করে। এই মানগুলি কীভাবে গণনা করা হয়? আমি গবেষণা করছি এবং থেকে শেখার উদাহরণ খুঁজছি কিন্তু এখনও পর্যন্ত আমি কোনও সন্ধান করতে সক্ষম হইনি। কোনও সহায়তা বা দিকনির্দেশকে প্রশংসা করা হয়! ধন্যবাদ.

regression machine-learning basis-function

— user2743
সূত্র

11

আপনি বিভ্রান্ত হওয়ার সাথে সাথে আমাকে সমস্যাটি উল্লেখ করে এবং আপনার প্রশ্নগুলি একে একে নেওয়া শুরু করুন। আপনি 10,000 একটি নমুনা আকার আছে এবং প্রতিটি নমুনা একটি বৈশিষ্ট্য ভেক্টর দ্বারা বর্ণনা করা হয়েছে । যদি আপনি গাউসিয়ান রেডিয়াল ভিত্তিক ফাংশনগুলি ব্যবহার করে রিগ্রেশন করতে চান তবে যেখানে আপনার ভিত্তি ফাংশন আছে। বিশেষত, আপনাকে ওয়েট যাতে প্রদত্ত প্যারামিটারগুলির জন্য এবং আপনি এবং এর সাথে সম্পর্কিত পূর্বাভাস = মধ্যে ত্রুটিটি হ্রাস করুন $x\in\mathbb{R}^{31}$

f (x) = \sum_{j} w_{j} * g_{j} (x; μ_{j}, σ_{j}), j = 1.. m

$f(x) = \sum_{j}{w_j * g_j(x; \mu_j,\sigma_j}), j=1..m$

g_{i}

$g_i$

m

$m$

w_{j}

$w_j$

μ_{j}

$\mu_j$

σ_{j}

$\sigma_j$

y

$y$

\hat{y}

$\hat{y}$

f (\hat{x})

$f(\hat{x})$ - সাধারণত আপনি সর্বনিম্ন স্কোয়ার ত্রুটি কমিয়ে আনবেন।

মু সাবস্ক্রিপ্ট জে প্যারামিটারটি ঠিক কী?

আপনার বেস ফাংশন । (আপনাকে এখনও সংখ্যা নির্ধারণ করতে হবে ) প্রতিটি ভিত্তিতে একটি এবং একটি (এছাড়াও অজানা)। সাবস্ক্রিপ্ট থেকে রেঞ্জ থেকে । $m$ $g_j$ $m$ $\mu_j$ $\sigma_j$ $j$ $1$ $m$

কি ভেক্টর? $\mu_j$

হ্যাঁ, এটা একটি বিন্দু হল । অন্য কথায়, এটি আপনার বৈশিষ্ট্যের জায়গার কোথাও পয়েন্ট এবং প্রতিটি বেস ফাংশনগুলির জন্য একটি নির্ধারিত করতে হবে । $\mathbb{R}^{31}$ $\mu$ $m$

আমি পড়েছি যে এটি ভিত্তি ফাংশনগুলির অবস্থানগুলি পরিচালনা করে। সুতরাং এটি কি কোনও কিছুর অর্থ নয়?

ভিত্তিতে ফাংশন কেন্দ্রীভূত হয় । এই অবস্থানগুলি কোথায় তা আপনাকে সিদ্ধান্ত নিতে হবে। সুতরাং না, এটি অগত্যা কোনও কিছুর অর্থ নয় (তবে এটি নির্ধারণের উপায়গুলির জন্য আরও নীচে দেখুন) $j^{th}$ $\mu_j$

এখন সিগমার জন্য যা "স্থানিক স্কেল পরিচালনা করে"। আসলে কি?

$\sigma$ বুঝতে সহজ হয় যদি আমরা তাদের ভিত্তিতে ফাংশনগুলি চালু করি।

এটি কম dimensons মধ্যে গসিয়ান রশ্মীয় ভিত্তিতে ফাংশন ভাবলে বলতে সাহায্য করে বা । In এ গাউসীয় রেডিয়াল ভিত্তিক কার্যটি কেবলমাত্র বেল বক্ররেখা। বেলটি অবশ্যই সংকীর্ণ বা প্রশস্ত হতে পারে। প্রস্থটি দ্বারা নির্ধারিত হয় - বৃহত্তর হ'ল বেল আকারটি সংকীর্ণ করে। অন্য কথায়, বেল আকারের প্রস্থকে স্কেল করে। সুতরাং = 1 এর জন্য আমাদের কোনও স্কেলিং নেই। বৃহত আমাদের যথেষ্ট পরিমাণে স্কেলিং রয়েছে। $\mathbb{R}^{1}$ $\mathbb{R}^{2}$ $\mathbb{R}^{1}$ $\sigma$ $\sigma$ $\sigma$ $\sigma$ $\sigma$

আপনি জিজ্ঞাসা করতে পারেন এর উদ্দেশ্য কী। যদি আপনি ঘণ্টা জায়গার কিছু অংশ ( একটি লাইন ) কভার করে মনে করেন - একটি সরু বেলটি কেবল রেখার একটি ছোট অংশকেই coverেকে রাখবে। কেন্দ্রের নিকটে থাকা পয়েন্ট বৃহত্তর মান হবে। কেন্দ্র থেকে দূরে অবস্থিত পয়েন্টগুলির একটি ছোট মান হবে। স্কেলিংয়ের কেন্দ্র থেকে আরও বেশি এগিয়ে যাওয়ার পয়েন্টগুলির প্রভাব রয়েছে - বেল সঙ্কুচিত পয়েন্টগুলি কেন্দ্র থেকে আরও অবস্থিত হবে - এর মান হ্রাস করবে $\mathbb{R}^{1}$ $x$ $g_j(x)$ $g_j(x)$ $g_j(x)$

প্রতিটি বেস ফাংশন ইনপুট ভেক্টর এক্সকে একটি মাপকে মান হিসাবে রূপান্তর করে

হ্যাঁ, আপনি কিছু সময়ে ভিত্তিতে ফাংশন মূল্যায়ন করা হয় । $\mathbf{x}\in\mathbb{R}^{31}$

\exp (- \frac{‖ x - μ_{j} ‖_{2}^{2}}{2 * σ_{j}^{2}})

$\exp\left({-\frac{\|\mathbf{x}-\mu_j\|_2^2}{2*\sigma_j^2}}\right)$

ফলস্বরূপ আপনি একটি স্কেলার পান। স্কেলারের ফলাফল প্রদত্ত কেন্দ্র থেকে point point পয়েন্টের দূরত্বের উপর নির্ভর করে এবং স্কেলার । $\mathbf{x}$ $\mu_j$ $\|\mathbf{x}-\mu_j\|$ $\sigma_j$

আমি কিছু বাস্তবায়ন দেখেছি যা এই পরামিতিটির জন্য .1, .5, 2.5 এর মতো মানগুলি চেষ্টা করে। এই মানগুলি কীভাবে গণনা করা হয়?

এটি অবশ্যই গাউসীয় রেডিয়াল বেস ফাংশনগুলি ব্যবহার করার একটি আকর্ষণীয় এবং কঠিন দিক। আপনি যদি ওয়েব অনুসন্ধান করেন তবে এই পরামিতিগুলি কীভাবে নির্ধারিত হয় সে সম্পর্কে আপনি অনেকগুলি পরামর্শ পাবেন। ক্লাস্টারিংয়ের উপর ভিত্তি করে আমি খুব সাধারণ পদগুলিতে একটি সম্ভাবনা রূপরেখা করব। আপনি এটি এবং অন্যান্য বেশ কয়েকটি পরামর্শ অনলাইনে খুঁজে পেতে পারেন।

আপনার 10000 নমুনা ক্লাস্টারিং দিয়ে শুরু করুন (কে-মিনস ক্লাস্টারিংয়ের পরে মাত্রাগুলি হ্রাস করতে আপনি প্রথমে পিসিএ ব্যবহার করতে পারেন)। আপনি দিতে পারেন আপনাকে খুঁজে (সাধারণত সেরা নির্ধারণ ক্রস বৈধতা নিযুক্ত ক্লাস্টার সংখ্যা হতে )। এখন, প্রতিটি ক্লাস্টারের জন্য একটি রেডিয়াল বেস ফাংশন তৈরি করুন । প্রতিটি রেডিয়াল ভিত্তিক ফাংশনটির জন্য ক্লাস্টারের কেন্দ্র (যেমন গড়, সেন্ট্রয়েড, ইত্যাদি) হওয়া উচিত। যাক ক্লাস্টারের প্রস্থ (উদাঃ ব্যাসার্ধ ...) এখন এগিয়ে যান এবং আপনার প্রতিরোধ সম্পাদন করুন (এই সাধারণ বিবরণটি কেবল একটি ওভারভিউ- এটি প্রতিটি পদক্ষেপে প্রচুর কাজ প্রয়োজন!) $m$ $m$ $g_j$ $\mu_j$ $\sigma_j$

* অবশ্যই, বেলের বক্ররেখাকে সংজ্ঞায়িত করা হয় - থেকে সুতরাং লাইনের যে কোনও জায়গায় মান হবে। তবে, কেন্দ্র থেকে দূরের মানগুলি নগন্য l $\infty$ $\infty$

— Martino
সূত্র

চমৎকার উত্তর! যাইহোক, জন্য অনুসন্ধান করা , আমরা সমর্থন ভেক্টর মেশিন রিগ্রেশন (গাউশিয়ান কার্নেল দিয়ে) দিয়ে শেষ করব না?

μ

$\mu$

— ও_দেভিনিয়াক

@ ও_দেভিনিয়াক- অনেকগুলি ভিত্তিক প্রসারণ পদ্ধতির জন্য কিছু ধরণের প্যারামিটার অনুমানের প্রয়োজন হবে। খুঁজে পাওয়ার অনেকগুলি উপায় রয়েছে তাই আমি মনে করি না প্রয়োজনীয় অর্থ হ'ল আমরা এসভিআর-তে সমস্যা হ্রাস করছি। সত্যি কথা বলতে কি, আমি এসভিআর তে বিশেষজ্ঞ নই তবে ক্ষতির ফাংশন যা হ্রাস করা হয়েছে তা অবশ্যই আলাদা এবং আমি নিশ্চিত যে অনেকগুলি বৈশিষ্ট্য উপেক্ষা করা হয়েছে - এটি সমর্থন ভেক্টর পদ্ধতিতে রয়েছে। ভিত্তি ফাংশন সহ আমরা মূল্যায়নের জন্য সমস্ত ফাংশন ব্যবহার করি তবে ভাগ্যক্রমে কমপ্যাক্ট সমর্থন মানে অনেকগুলি ভিত্তি ফাংশন অবহেলা বা শূন্য মানের ফিরে আসে। যাইহোক, এটি এই ফোরামে একটি ভাল প্রশ্ন তৈরি করবে

μ

$\mu$

— মার্টিনো

কেন আমাদের একটি কোভারিয়েন্স ম্যাট্রিক্সের চেয়ে একটি স্কেল দরকার যা ভিত্তি ফাংশনটিকে অংশের মতো দেখায়?

σ_{j}

$\sigma_j$

— স্ট্যাকউন্ডারফ্লো

1

আমাকে সহজ ব্যাখ্যা দেওয়ার চেষ্টা করি। যেমন স্বরলিপি সারি নম্বর হতে পারে তবে বৈশিষ্ট্য নম্বর হতে পারে। যদি আমরা তবে বৈশিষ্ট্য সংখ্যাটি বোঝায়, হল কলাম-ভেক্টর, স্ক্যালার এবং একটি কলাম -vector। যদি আমরা তবে সারি সংখ্যাটি চিহ্নিত করে, স্কেলার, কলাম-ভেক্টর এবং একটি সারি-ভেক্টর। স্বরলিপি যেখানে সারি এবং কলামকে চিহ্নিত করে তা আরও সাধারণ, সুতরাং আসুন আমরা প্রথম বৈকল্পিকটি ব্যবহার করি। $j$ $y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$ $j$ $y$ $\beta_j$ $\phi_j(x)$ $y_j=\beta\phi_j(x)$ $j$ $y_j$ $\beta$ $\phi_j(x)$ $i$ $j$

গৌসীয় ভিত্তির কাজটি লিনিয়ার রিগ্রেশন-এ প্রবর্তন করা, (স্কেলার) এখন (ভেক্টর) বৈশিষ্ট্যের উপর নির্ভর করে না , তবে এবং অন্যান্য সমস্ত পয়েন্টের কেন্দ্রের মধ্যে দূরত্বের উপর নির্ভর করে । যেমন ভাবে কিনা উপর নির্ভর করে না এর -th বৈশিষ্ট্য মান -th পর্যবেক্ষণ উচ্চ বা ক্ষুদ্র হলেও কিনা উপর নির্ভর করে -th বৈশিষ্ট্য মান নিকটে আছেন না দূরে গড় থেকে যে জন্য -feature । সুতরাং কোনও পরামিতি নয়, কারণ এটি টিউন করা যায় না। এটি কেবলমাত্র একটি ডেটাসেটের সম্পত্তি। প্যারামিটার $y_i$ $x_i$ $x_i$ $\mu_i$ $y_i$ $j$ $i$ $j$ $j$ $\mu_{ij}$ $\mu_j$ $\sigma^2$ এটি একটি স্কেলারের মান, এটি মসৃণতা নিয়ন্ত্রণ করে এবং সুর করা যায়। এটি যদি ছোট হয় তবে দূরত্বের ছোট পরিবর্তনগুলির বড় প্রভাব পড়বে (খাড়া গাউসিয়ান মনে রাখবেন: কেন্দ্র থেকে ইতিমধ্যে ছোট দূরত্বে অবস্থিত সমস্ত পয়েন্টের ছোট মান রয়েছে)। যদি এটি বড় হয় তবে দূরত্বের ছোট পরিবর্তনগুলি কম প্রভাব ফেলবে (সমতল গাউসির কথা মনে রাখবেন: কেন্দ্র থেকে ক্রমবর্ধমান দূরত্বের সাথে এর হ্রাস হ্রাস )। এর সর্বোত্তম মানটির সন্ধান করা উচিত (এটি সাধারণত ক্রস-বৈধকরণের সাথে পাওয়া যায়)। $y$ $y$ $\sigma^2$

— O_Devinyak
সূত্র

0

মাল্টিভারিয়েট সেটিংসে গাউসীয় ভিত্তিক ক্রিয়াকলাপগুলিতে মাল্টিভারিয়েট কেন্দ্র রয়েছে। আপনার ধরে নেওয়া যাক , তারপর হিসাবে ভাল। গাউসিয়ানকে মাল্টিভারিয়েট করতে হবে, অর্থাৎ যেখানে হয় একটি সমবায় ম্যাট্রিক্স। সূচক কোনও ভেক্টরের উপাদান নয়, এটি কেবল ম ভেক্টর। একইভাবে, হল ম ম্যাট্রিক্স। $x\in\mathbb{R}^{31}$ $\mu_j\in\mathbb{R}^{31}$ $e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$ $\Sigma_j\in\mathbb{R}^{31\times 31}$ $j$ $j$ $\Sigma_j$ $j$

— কারেল ম্যাসেক
সূত্র