গউসিয়ান প্রক্রিয়া রিগ্রেশন খেলনা সমস্যা

আমি গাউসিয়া প্রক্রিয়া রিগ্রেশনটির জন্য কিছু অন্তর্দৃষ্টি অর্জন করার চেষ্টা করছিলাম, তাই চেষ্টা করার জন্য আমি একটি সাধারণ 1 ডি খেলনা সমস্যা তৈরি করেছিলাম। আমি নিলাম $x_i=\{1,2,3\}$ ইনপুট হিসাবে এবং $y_i=\{1,4,9\}$ প্রতিক্রিয়া হিসাবে। ('অনুপ্রাণিত' থেকে) $y=x^2$ )

রিগ্রেশনটির জন্য আমি একটি স্ট্যান্ডার্ড স্কোয়ারড এক্সফোনেনশিয়াল কার্নেল ফাংশন ব্যবহার করেছি:

k (x_{p}, x_{q}) = σ_{f}^{2} \exp (- \frac{1}{2 l^{2}} {| x_{p} - x_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

আমি ধরে নিয়েছি যে প্রমিত বিচ্যুতি নিয়ে শব্দ আছে $\sigma_n$ , যাতে সমবায় ম্যাট্রিক্স হয়ে উঠেছে:

K_{p q} = k (x_{p}, x_{q}) + σ_{n}^{2} δ_{p q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

হাইপারপ্যারামিটার $(\sigma_n,l,\sigma_f)$ ডেটা লগ সম্ভাবনা সর্বাধিক দ্বারা অনুমান করা হয়েছিল। এক পর্যায়ে ভবিষ্যদ্বাণী করা $x_\star$ , আমি নিম্নলিখিতটি দ্বারা যথাক্রমে গড় এবং বৈচিত্রটি পেয়েছি

μ_{x_{⋆}} = k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} y

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{x_{⋆}}^{2} = k (x_{⋆}, x_{⋆}) - k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} k_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

কোথায় $k_\star$ এর মধ্যে কোভেরিয়েন্সের ভেক্টর $x_\star$ এবং ইনপুট, এবং $y$ আউটপুটগুলির একটি ভেক্টর।

জন্য আমার ফলাফল $1<x<3$ নীচে প্রদর্শিত হয়। নীল রেখাটি গড় এবং লাল রেখাগুলি স্ট্যান্ডার্ড বিচ্যুতি অন্তরগুলি চিহ্নিত করে mark

ফলাফলগুলো

আমি নিশ্চিত না যদিও এটি ঠিক আছে কিনা; আমার ইনপুটগুলি ('এক্স এর দ্বারা চিহ্নিত) নীল লাইনে থাকে না। আমি দেখছি বেশিরভাগ উদাহরণগুলির ইনপুটগুলি ছেদ করার গড় রয়েছে have এটি কি সাধারণ বৈশিষ্ট্যটি আশা করা যায়?

regression gaussian-process

— Comp_Warrior
সূত্র

যদি আমার অনুমান করতে হয় তবে যে উদাহরণগুলিতে আপনি তাকিয়ে ছিলেন সেখানে কোন অবশিষ্টাংশ ছিল না error সেক্ষেত্রে লাইনটি সমস্ত পয়েন্টের মধ্য দিয়ে যেতে পারত।

— ছেলে

@ গুয় ঠিক আছে।

উত্তর:

ডেটাপয়েন্টগুলিতে অতিক্রম করা গড় ফাংশনটি সাধারণত ওভার-ফিটিংয়ের ইঙ্গিত দেয়। প্রান্তিক সম্ভাবনা সর্বাধিক করে হাইপার-প্যারামিটারগুলি অনুকূলকরণ করা আরও জটিল কিছুকে ন্যায়সঙ্গত করার পক্ষে পর্যাপ্ত তথ্য না থাকলে খুব সাধারণ মডেলের পক্ষে যেতে পারে। আপনার কাছে কেবলমাত্র তিনটি ডেটাপয়েন্ট রয়েছে যা খুব কম শব্দ করে এক লাইনে কম-বেশি, যে মডেলটি পাওয়া গেছে তা আমার কাছে বেশ যুক্তিসঙ্গত বলে মনে হয়। মূলত ডেটাটি হয় মাঝারি শব্দ সহ একটি লিনিয়ার অন্তর্নিহিত ফাংশন, বা অল্প শব্দ সহ একটি মাঝারিভাবে অ-রৈখিক অন্তর্নিহিত ফাংশন হিসাবে ব্যাখ্যা করা যেতে পারে। পূর্ববর্তীটি দুটি অনুমানের সহজতর এবং "ওকামের রেজার" দ্বারা পছন্দসই।

— ডিকরান মার্সুপিয়াল
সূত্র

ইনপুট জন্য ধন্যবাদ। আপনি আমাকে "ওভার-ফিটিং" সম্পর্কে আরও বলতে পারেন; এটি কি ইতিবাচক / নেতিবাচক বৈশিষ্ট্য?

— Comp_Warrior

ওভার-ফিটিং একটি নেতিবাচক জিনিস, এর মূলত অর্থ হল মডেলটি ডেটাতে এলোমেলো প্রকরণটি মুখস্থ করে রাখে, যা সাধারণীকরণের কার্য সম্পাদনকে আরও খারাপ করে তোলে। আদর্শভাবে আপনি চান মডেলটি শব্দটিকে দূষিত করার সময় উপাত্তের অন্তর্নিহিত ফর্মটি শিখতে চান। বেশিরভাগ ভাল মেশিন লার্নিং পাঠ্যপুস্তক, এটি একটি প্রাথমিক অধ্যায়ে আবরণ করবে।

— ডিকরান মার্শুপিয়াল

শুধু আগ্রহের বাইরে, কেন ডাউনটা?

— ডিকরান মার্শুপিয়াল

আমি তোমাকে উড়িয়ে দিই নি; আসলে আমি upvated!

— Comp_Warrior

কোনও সমস্যা নেই কম_ ওয়ারিয়র, আমি ভাবিনি যে এটি আপনিই ছিলেন, তবে কেউ আমার উত্তরকে কমিয়ে দিয়েছে এবং এর কারণ সম্পর্কে আমি কিছু প্রতিক্রিয়া জানাতে পেরে খুশি হব। আমরা সকলেই প্রবণতাযুক্ত এবং আমার উত্তরে যদি আমার কিছু ভুল হয় তবে আমি এটি সংশোধন করতে আগ্রহী।

— ডিকরান মার্শুপিয়াল

আপনি শব্দ শব্দ সংযোজনের সাথে ক্রিগিং অনুমানকারী ব্যবহার করছেন (গাউসিয়ান প্রক্রিয়া সাহিত্যে একটি স্নাতক প্রভাব হিসাবে পরিচিত)। শব্দ শব্দটি শূন্যতে সেট করা থাকলে, অর্থাৎ,

σ_{n}^{2} δ_{p q} = 0

$\sigma^2_n \delta_{pq}=0$

তারপরে আপনার ভবিষ্যদ্বাণীগুলি একটি দ্রাবক হিসাবে কাজ করবে এবং নমুনা ডেটা পয়েন্টগুলির মধ্য দিয়ে যাবে।

এটি আমার কাছে ঠিক আছে, রাসমুসেনের জিপি বইতে এটি অবশ্যই উদাহরণ দেখায় যেখানে প্রতিটি ফাংশনটির মধ্য দিয়ে ফাংশনটি পাস হয় না। মনে রাখবেন যে রিগ্রেশন লাইন অন্তর্নিহিত ফাংশনের জন্য অনুমান, এবং আমরা ধরে নিই যে পর্যবেক্ষণগুলি অন্তর্নিহিত ফাংশন মান এবং কিছুটা গোলমাল। যদি তিনটি পয়েন্টের ভিত্তিতে রিগ্রেশন লাইনটি এটি মূলত বলে থাকে যে পর্যবেক্ষণকৃত মানগুলিতে কোনও গোলমাল নেই।

আপনি সেট করে কোনও আওয়াজ অনুমান জোর করতে পারেন $\sigma_n = 0$ , এবং কেবলমাত্র অন্যান্য হাইপার-প্যারামিটারগুলি অনুকূল করা।

হাইপার-পারমিটারটিও আমার সন্দেহ suspect $l$ একটি তুলনামূলকভাবে বড় মান সেট করা হচ্ছে, একটি খুব অগভীর ফাংশন প্রদান।

আপনি ধরে রাখার চেষ্টা করতে পারেন $l$ বিভিন্ন ছোট মানগুলিতে স্থির করে দেখুন এবং কীভাবে এটি বক্ররেখা পরিবর্তন করে। সম্ভবত আপনি যদি জোর করে $l$ কিছুটা ছোট হতে গেলে, রিগ্রেশন লাইনটি সমস্ত ডেটা পয়েন্টের মধ্য দিয়ে যেতে পারে।

ডিকরান মার্সুপিয়ালের দ্বারা উল্লিখিত হিসাবে, এটি গাউস প্রক্রিয়াগুলির একটি অন্তর্নির্মিত বৈশিষ্ট্য, প্রান্তিক সম্ভাবনা এমন মডেলগুলিকে দন্ডিত করে যা অত্যন্ত নির্দিষ্ট এবং অনেকগুলি ডেটার সেট ব্যাখ্যা করতে পারে এমনগুলি পছন্দ করে।

— সর্বোচ্চ এস।
সূত্র