গাউসিয়ান প্রক্রিয়া রিগ্রেশন হাইপারপ্যারামিটার টিউনিং ing

আমি প্রয়োগ করেছি গাউসী প্রক্রিয়া রিগ্রেশন অ্যালগরিদমের হাইপারপ্যারামিটারগুলি টিউন করার চেষ্টা করছি। আমি কেবল সূত্র given দ্বারা প্রদত্ত লগের প্রান্তিক সম্ভাবনাটি সর্বাধিক করতে চাই যেখানে সাথে সমবায় ম্যাট্রিক্স উপাদানসমূহ যেখানে এবং এবং হাইপারপ্যারামিটার।

\log (y | X, θ) = - \frac{1}{2} y^{T} K_{y}^{- 1} y - \frac{1}{2} \log (det (K)) - \frac{n}{2} \log (2 π)

$\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)$

K

$K$

K_{i j} = k (x_{i}, x_{j}) = b^{- 1} \exp (- \frac{1}{2} (x_{i} - x_{j})^{T} M (x_{i} - x_{j})) + a^{- 1} δ_{i j}

$K_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}$

M = l I

$M=lI$

a, b

$a,b$

l

$l$

লগ প্রান্তিক সম্ভাবনা আর্ট প্যারামিটারগুলির আংশিক ডেরাইভেটিভ নিম্নলিখিত দ্বারা দেওয়া হয়েছে

\frac{\log (y | X, θ)}{d θ} = \frac{1}{2} t r a c e (K^{- 1} \frac{d K}{d θ}) + \frac{1}{2} (y \frac{d K}{d θ} K^{- 1} \frac{d K}{d θ} y)

$\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y})$

যেমন এর এন্ট্রিগুলি $K$ পরামিতিগুলির উপর নির্ভর করে, তেমনি ডেরিভেটিভস এবং বিপরীতমুখী করে $K$ । এর অর্থ, যখন একটি গ্রেডিয়েন্ট-ভিত্তিক অপ্টিমাইজার নিয়োগ করা হয়, তখন নির্দিষ্ট বিন্দুতে (পরামিতি মান) গ্রেডিয়েন্টটি মূল্যায়নের জন্য কোভারিয়েন্স ম্যাট্রিক্সের পুনর্নির্মাণের প্রয়োজন হবে। আমার প্রয়োগে এটি সম্ভবপর নয় কারণ স্ক্র্যাচ থেকে কোভেরিয়েন্স ম্যাট্রিক্সের গণনা করা এবং গ্রেডিয়েন্ট অ্যাসেন্টের প্রতিটি পুনরাবৃত্তিতে এর বিপরীত গণনা করা ব্যয়বহুল। আমার প্রশ্ন এই তিনটি পরামিতিগুলির মোটামুটি ভাল সংমিশ্রণের জন্য আমার বিকল্পগুলি কী? এবং প্রথমে কোন প্যারামিটারটি অপ্টিমাইজ করতে হবে তাও আমি জানি না এবং আমি এই বিষয়ে কোনও পয়েন্টারকেও প্রশংসা করব।

— bfaskiplar
সূত্র

পরিমিত আকারের ডেটা সেটগুলির জন্য জিপি হাইপার-প্যারামিটারগুলি নমুনা হিসাবে এইচএমসি ব্যবহার করে আমার সাফল্য পেয়েছে।

— সাইকোরাক্স মনিকাকে

হাই @ সাইকোরাক্স, আপনি কী দয়া করে আমাদের এই সমস্যাটি সমাধান করার জন্য এই কৌশলটি ব্যবহার করেছেন তা আমাদের বলবেন? ওপি যেমন জিজ্ঞাসা করেছিল ঠিক তেমনই সমস্যা আছে এবং এটি সমাধানের জন্য এমসিসিএম ব্যবহার করার বিষয়ে চিন্তাভাবনা করেছি তবে কীভাবে এটি করা যায় তা এখনও জানি না।

— উইলিয়ান ফুকস

আমি স্টান-এ জিপি কোড করেছিলাম। জিপি হাইপারপ্যারামিটারগুলি মডেলের পরামিতি হিসাবে ঘোষণা করা হয়েছিল এবং সেই অনুসারে অনুমান করা হয়েছিল। এটি প্রতিটি এইচএমসি পুনরাবৃত্তির জন্য পূর্বাভাসগুলির একটি সেট তৈরি করে। জেলম্যান চিত্রিত করেছেন যে এটি বিডিএ 3

— সাইকোরাক্স মনিকাকে

আপনি ঠিক বলেছেন যে গ্রেডিয়েন্ট অ্যাসেন্টের প্রতিটি পুনরাবৃত্তিতে আপনাকে একটি নতুন কোভেরিয়েন্স ম্যাট্রিক্স গণনা প্রয়োজন। সুতরাং যদি ম্যাট্রিক্স গণনাটি আপনার সেটিংয়ের জন্য সম্ভব না হয়, তবে আমি মনে করি আপনি গ্রেডিয়েন্ট ভিত্তিক প্রান্তিক সম্ভাবনা অপ্টিমাইজেশন ব্যবহার করতে পারবেন না।

আমার পরামর্শ হ'ল হাইপারপ্যারামিটার টিউনিংয়ের জন্য গ্রেডিয়েন্ট-মুক্ত পদ্ধতিগুলি ব্যবহার করা, যেমন গ্রিড অনুসন্ধান, এলোমেলো অনুসন্ধান, বা বয়েসিয়ান অপ্টিমাইজেশন-ভিত্তিক অনুসন্ধান । এই পদ্ধতিগুলি অন্য মেশিন লার্নিং অ্যালগরিদমগুলি যেমন এসভিএমগুলির অপ্টিমাইজেশনের হাইপারপ্যারামিটারগুলির জন্য ব্যাপকভাবে ব্যবহৃত হয়।

আমি আপনার প্রথম চেষ্টাটির জন্য গ্রিড অনুসন্ধানের পরামর্শ দিচ্ছি । আপনি মূলত সম্ভাব্য হাইপারপ্যারামিটারগুলির একটি টেবিল (গ্রিড) গঠন করেন, প্রতিটি চেষ্টা করে দেখুন এবং সর্বোত্তম বৈধতা কর্মক্ষমতা (বা সেরা প্রান্তিক সম্ভাবনা) সন্ধান করুন।

গ্রিড অনুসন্ধানে হাইপারপ্যারামিটারগুলির একটি সাবঅপটিমাল সেট তৈরি হবে এবং আপনাকে নিজের দ্বারা গ্রিড নির্দিষ্ট করতে হবে t (টিপ: লগ স্কেলে গ্রিড তৈরি করুন) তবে এর চেয়ে কম কমপিউশন দরকার। (এবং আপনার গ্রেডিয়েন্টের দরকার নেই!)

আপনি যদি গ্রিড অনুসন্ধানের সাথে পরিচিত না হন তবে আপনি হাইপারপ্যারমিটার অপ্টিমাইজেশন - গ্রিড অনুসন্ধানে উইকিপিডিয়া সন্ধান করতে পারেন

— সানগুওং ইউন
সূত্র