গাউসিয়ান প্রক্রিয়া মডেলগুলিকে কেন নন-প্যারামেট্রিক বলা হয়?

Question

আমি একটু বিভ্রান্ত। গাউসীয় প্রক্রিয়াগুলিকে কেন নন প্যারাম্যাট্রিক মডেল বলা হয়?

তারা ধরে নিচ্ছে যে কার্যকরী মানগুলি বা সেগুলির একটি উপসেটটি গার্চিয়ান পূর্বে গড় 0 এবং covariance ফাংশন হিসাবে কার্নেল ফাংশন হিসাবে দেওয়া আছে। এই কার্নেল ফাংশনগুলির নিজস্ব কিছু প্যারামিটার থাকে (যেমন, হাইপারপ্যারামিটার)।

তাহলে কেন তাদের নন প্যারামেট্রিক মডেল বলা হয়?

Comments

আমি "গাউসিয়ান প্রক্রিয়াগুলির" বেশ কয়েকটি সংজ্ঞা জানি, সুতরাং আপনার প্রশ্নটি সত্যই কী জিজ্ঞাসা করছে তা স্পষ্ট নয়। তবে আপনি কীভাবে এটি স্পষ্ট করবেন তা বিবেচনা করার সময়, নিজেকে এটিকে জিজ্ঞাসা করুন: ঠিক কীভাবে আপনি মনে রেখে গাউস প্রক্রিয়াটিকে প্যারাম্যাট্রাইজ করবেন? যদি আপনি সীমাবদ্ধ সংখ্যক আসল পরামিতি সহ প্রাকৃতিক উপায়ে এটি করতে না পারেন তবে এটি ননপ্যারামেট্রিক হিসাবে বিবেচনা করা উচিত।

— whuber

@whuber। আফাইক, গাউসি প্রক্রিয়াগুলির প্রধান পরামিতিগুলি গড় এবং সমবায় কার্যকারিতা। আমরা যেমন ডেটা পয়েন্ট যুক্ত করতে থাকি তত এগুলি বাড়তে থাকে। সুতরাং এটি বাড়তে থাকে এ কারণেই কি গাউস প্রক্রিয়াগুলিকে প্যারাম্যাট্রিক নন?

— ব্যবহারকারী 34790

@ হুবুহু যদি আমার লক্ষ লক্ষ প্রশিক্ষণের ডেটা পয়েন্ট থাকে তবে আমার জিপি এফ ~ এন (এম, কে) মিলিয়ন মাত্রিক মাল্টিভিয়ারেট গাউসির বিতরণ হবে। এত বড় না? আমি বোঝাতে চাইছি নতুন প্রশিক্ষণের ডেটা এলে এটি আরও বড়ো আকার ধারণ করে। এটি গণনা সংক্রান্ত সমস্যার জন্ম দেয় না?

— ব্যবহারকারী 34790

"প্যারামেট্রিক" বনাম "নন-প্যারাম্যাট্রিক" এমন পদগুলি যা নির্দিষ্ট প্রক্রিয়াগুলিতে প্রযোজ্য না: এগুলি প্রসেসগুলির পুরো পরিবারের ক্ষেত্রে প্রযোজ্য যা ডেটা মাপসই হতে পারে। যদিও আপনার পরিবারটি কী মনে আছে তা আমি এখনও জানি না, মনে হচ্ছে যদিও কোনও পরিস্থিতিতে প্যারামিটারের সংখ্যা সীমাবদ্ধ হতে পারে তবে পরিবারের সদস্যদের মধ্যে উপস্থিত পরামিতিগুলির সংখ্যার কোনও সীমা নেই : অরগো, সমস্যা নন-প্যারামেট্রিক।

— হোবার

Answer 1

আমি এ কথাটি বলেই উপস্থাপন করব যে "ননপ্যারমেট্রিক" বা "সেমিপ্রেমেট্রিক" এর অর্থ কী তা সবসময় পরিষ্কার হয় না মন্তব্যগুলিতে মনে হয় হুইপারের মনে কিছু আনুষ্ঠানিক সংজ্ঞা রয়েছে (সম্ভবত কোনও মডেল বেছে নেওয়ার মতো কিছু) θ কিছু পরিবার থেকে { এম θ : θ ∈ Θ } যেখানে Θ অসীম ডাইমেনশনাল), কিন্তু আমি চমত্কার অনানুষ্ঠানিক হতে যাচ্ছি। কিছু তর্ক করতে পারে যে একটি ননপ্যারামেট্রিক পদ্ধতি হ'ল এমন একটি যেখানে আপনি ব্যবহার করছেন প্যারামিটারগুলির কার্যকর সংখ্যা ডেটা সহ বৃদ্ধি পায়। আমার মনে হয় ভিডিওলেকচার.টনে একটি ভিডিও রয়েছে যেখানে (আমার মনে হয়) পিটার ওরবানজ কীভাবে "ননপ্যারামেট্রিক" সংজ্ঞা দিতে পারি তার চার বা পাঁচটি আলাদা আলাদা দেয়।$M_\theta$$\{M_\theta: \theta \in \Theta\}$$\Theta$

যেহেতু আমি মনে করি আপনার মনে কী ধরণের জিনিস রয়েছে তা আমি জানি, সরলতার জন্য আমি ধরে নেব যে আপনি গাউসিয়ান প্রক্রিয়াগুলি রিগ্রেশন করার জন্য, একটি সাধারণ উপায়ে ব্যবহার করার বিষয়ে কথা বলছেন: আমাদের প্রশিক্ষণের ডেটা রয়েছে এবং আমরা শর্তসাপেক্ষে E ( Y | X = x ) : = f ( x ) মডেলিং করতে আগ্রহী । আমরা Y i = f ( এক্স i ) লিখি $(Y_i, X_i), i = 1, ..., n$$E(Y|X = x) := f(x)$ এবং সম্ভবত আমরা এতটা সাহসী যে ধরে নেওয়া যায় যে ϵ i iid এবং সাধারণত বিতরণ করা হয়, ϵ i ∼ N ( 0 , σ 2 ) । এক্স আমি এক মাত্রিক হব, তবে সবকিছুই উচ্চ মাত্রায় বহন করে।

$$Y_i = f(X_i) + \epsilon_i$$ $\epsilon_i$$\epsilon_i \sim N(0, \sigma^2)$$X_i$

আমাদের যদি একটি কন্টিনাম তারপর মান গ্রহণ করতে পারেন চ ( ⋅ ) (uncountably) অসীম মাত্রা একটি প্যারামিটার হিসাবে ভাবা যেতে পারে। সুতরাং, যে অর্থে আমরা অসীম মাত্রার একটি পরামিতি অনুমান করছি , আমাদের সমস্যাটি একটি ননপ্যারমেট্রিক। এটি সত্য যে বয়েসীয় পদ্ধতির কিছু পরামিতি এখানে এবং সেখানে প্রায় ভাসমান। তবে সত্যই, একে ননপ্যারামেট্রিক বলা হয় কারণ আমরা অসীম মাত্রার কিছু অনুমান করছি। আমরা যে জিপি প্রিয়ারগুলি ব্যবহার করি তারা প্রতিটি ক্রমাগত ফাংশনের প্রতিটি পাড়ায় ভর বরাদ্দ করে, যাতে তারা যেকোন ক্রমাগত ফাংশনটি নির্বিচারে ভাল করে অনুমান করতে পারে।$X_i$$f(\cdot)$

কোভেরিয়েন্স ফাংশনটির জিনিসগুলি সাধারণ ঘনত্ববাদী অনুমানকারীগুলিতে স্মুথিং প্যারামিটারগুলির মতো একই ভূমিকা পালন করে - সমস্যাটি পুরোপুরি হতাশ না হওয়ার জন্য আমাদের ধরে নিতে হবে যে এমন কিছু কাঠামো রয়েছে যা আমরা প্রদর্শনের আশা করি । গাউসিয়ান প্রক্রিয়া আকারে অবিচ্ছিন্ন ক্রিয়াগুলির জায়গাগুলির পূর্বের ব্যবহার করে বায়েশিয়ানরা এটি সম্পাদন করে। একটি Bayesian দৃষ্টিকোণ থেকে, আমরা যে বিষয়ে বিশ্বাস এনকোডিং হয় চ অভিমানী দ্বারা চ যেমন-এবং-যেমন সহভেদাংক ফাংশন সঙ্গে একটি জিপি থেকে টানা হয়। পূর্ববর্তী কার্যকরভাবে খুব জটিল হওয়ার জন্য চ এর অনুমানকে শাস্তি দেয় ।$f$$f$$f$$f$

গণনামূলক সমস্যাগুলির জন্য সম্পাদনা করুন

এই জিনিসগুলির বেশিরভাগ (সমস্ত?) রাসমুসেন এবং উইলিয়ামসের গাউসী প্রক্রিয়া বইটিতে রয়েছে।

গণিত সংক্রান্ত সমস্যাগুলি জিপিদের জন্য জটিল। আমরা যদি নিবিড়ভাবে এগিয়ে চলি তবে কেবল ওভারটিভ করার জন্য আমাদের আকারের মেমরির দরকার হবে এটি উল্টানোর জন্য ও ( এন 3 ) ক্রিয়াকলাপটি (এটি দেখা যাচ্ছে) । জিনিসগুলিকে আরও সম্ভাব্য করে তুলতে আমরা কয়েকটি জিনিস করতে পারি। একটি বিকল্প হ'ল সেই লোকটির নোট করা যা আমাদের সত্যই প্রয়োজন v , এর সমাধান ( K + σ 2 I ) v = Y যেখানে কে কোভেরিয়েন্স ম্যাট্রিক্স। কনজুগেট গ্রেডিয়েন্টগুলির পদ্ধতি এটিকে ঠিক ও ( এন 3$O(N^2)$$O(N^3)$$v$$(K + \sigma^2 I)v = Y$$K$$O(N^3)$গণনা, তবে আমরা যদি আনুমানিক সমাধানের সাথে নিজেকে সন্তুষ্ট করি আমরা পদক্ষেপের পরে কনজুগেট গ্রেডিয়েন্ট অ্যালগরিদমকে শেষ করতে পারি এবং এটি ও ( কে এন 2 ) গণনাগুলিতে করতে পারি। আমাদের অগত্যা পুরো ম্যাট্রিক্স কে একবারে সঞ্চয় করার দরকার নেই ।$k$$O(kN^2)$$K$

$O(N^3)$$O(kN^2)$$N$$m$$m \times m$$Y$$N$$m$$O(m^2 N)$

$K$$K = QQ^T$$Q$$n \times q$$q$$K + \sigma^2 I$$Q^TQ + \sigma^2 I$

Answer 2

সাধারণভাবে বলতে গেলে, বয়েসিয়ান ননপ্যারমেট্রিক্সের "ননপ্যারামেট্রিক" অসীম সংখ্যক (সম্ভাব্য) পরামিতিগুলির মডেলগুলিকে বোঝায়। ভিডিওলেকচার.নেটে এই বিষয়টিতে অনেকগুলি সুন্দর টিউটোরিয়াল এবং বক্তৃতা রয়েছে (এটির মতো ) যা এই শ্রেণীর মডেলগুলির সুন্দর ওভারভিউ দেয়।

বিশেষত, গাউসিয়ান প্রসেস (জিপি) ননপ্যারমেট্রিক হিসাবে বিবেচিত হয় কারণ একটি জিপি কোনও ফাংশন (অর্থাত্ একটি অসীম মাত্রিক ভেক্টর) উপস্থাপন করে। ডেটা পয়েন্টের সংখ্যা বাড়ার সাথে (x (f, x (x)) জোড়া, তাই মডেলগুলির সংখ্যা 'পরামিতি' করুন (ফাংশনের আকারকে সীমাবদ্ধ করে)। একটি প্যারাম্যাট্রিক মডেলের বিপরীতে, যেখানে পরামিতিগুলির সংখ্যা ডেটার আকারের সাথে সম্মতভাবে স্থির থাকে, ননপ্যারমেট্রিক মডেলগুলিতে, প্যারামিটারগুলির সংখ্যা ডেটার পয়েন্টের সংখ্যার সাথে বৃদ্ধি পায়।

Comments

এই আমি ঠিক ধরেছিলাম। সুতরাং আমার অনুমান ঠিক আছে আমি অনুমান করি। তবে আমার প্রশ্নটি আমার কাছে মিলিয়ন পয়েন্ট রয়েছে (পর্যবেক্ষণ করা ডেটা)। তাহলে আমার এফটি মিলিয়ন ডাইমেনশনেরও হবে। সুতরাং আমি গণনা সংক্রান্ত সমস্যা না। আরও আমার কোভারিয়েন্স ম্যাট্রিক্সটি 1 মিলিয়নx1 মিলিয়ন আকারের হবে। তাহলে এই ক্ষেত্রে আমার কী করা উচিত?

— ব্যবহারকারী 34790

@ ব্যবহারকারী 34790 হ্যাঁ, আপনার গণনার সমস্যা হবে। জিপিদের জন্য গণনামূলক চ্যালেঞ্জগুলি বেশ বড় বিষয়। রাসমুসেন এবং উইলিয়ামসের জিপিগুলিতে এটির জন্য একটি সম্পূর্ণ অধ্যায় সমেত একটি বই রয়েছে এবং আপনি যদি যথেষ্ট পরিমাণে গুগল করেন তবে অনলাইনে এটি বিনামূল্যে খুঁজে পেতে পারেন। কিছু ন্যূনতম বিশদের জন্য আমার আপডেট হওয়া পোস্টটি দেখুন।

— লোক

Answer 3

হাইপারপ্যারামিটার হিসাবে আপনি যে প্যারামিটারগুলি উল্লেখ করেছেন সেগুলি শারীরিকভাবে অনুপ্রাণিত পরামিতিগুলি নয় এবং তাই নাম। এগুলি কেবলমাত্র কার্নেল ফাংশনটিকে পরামিতি করতে ব্যবহৃত হয়। একটি উদাহরণ দেওয়ার জন্য, গাউসিয়ান কার্নেলে:

$K(x_i,x_j) = h^2 \exp(\frac{-(x_i - x_j)^2}{\lambda^2})$

$h$$\lambda$

এই সমস্যাটিও এই বক্তৃতাটিতে সম্বোধন করা হয়েছিল , এটি আরও ভাল বোঝার জন্য সহায়তা করতে পারে।