মডেল হাইপারপ্যারামিটার এবং মডেল পরামিতিগুলির মধ্যে পার্থক্য কী?

Question

আমি লক্ষ করেছি যে মডেল হাইপারপ্যারামিটার এবং মডেল প্যারামিটারের মতো পদগুলি পূর্বের স্পষ্টতা ছাড়াই ওয়েবে আন্তঃব্যবহারযোগ্যভাবে ব্যবহৃত হয়েছে। আমি মনে করি এটি ভুল এবং এর ব্যাখ্যা দরকার। একটি মেশিন লার্নিং মডেল, একটি এসভিএম / এনএন / এনবি ভিত্তিক ক্লাসিফিকেটর বা চিত্র শনাক্তকারী বিবেচনা করুন, যা প্রথমে মনে পড়বে।

মডেলের হাইপারপ্যারামিটার এবং পরামিতিগুলি কী কী ?
আপনার উদাহরণ দিন।

Comments

অ্যান্ড্রু এনজি প্যারামিটার এবং হাইপারপ্যারামিটারের মধ্যে পার্থক্যটি ব্যাখ্যা করে। coursera.org/learn/neural-networks-deep-learning/lecture/TBvb5/...

— Divyanshu শেখর

Answer 1

হাইপারপ্যারামিটার এবং প্যারামিটারগুলি প্রায়শই পরস্পরের পরিবর্তে ব্যবহৃত হয় তবে তাদের মধ্যে পার্থক্য রয়েছে। আপনি যদি কোনও কিছুকে হাইপারপ্যারামিটার বলে থাকেন তবে তা সরাসরি অনুমানের মধ্যে না শিখতে পারলে। তবে 'পরামিতি' আরও সাধারণ শব্দ। আপনি যখন 'মডেলটিতে প্যারামিটারগুলি পাস করছেন' বলছেন, এর অর্থ সাধারণত কিছু অন্যান্য পরামিতিগুলির সাথে হাইপারপ্যারামিটারগুলির সংমিশ্রণ হয় যা সরাসরি আপনার অনুমানের সাথে সম্পর্কিত নয় তবে আপনার মডেলের জন্য প্রয়োজনীয়।

উদাহরণস্বরূপ, ধরুন আপনি স্কলারনে একটি এসভিএম শ্রেণিবদ্ধ তৈরি করছেন:

from sklearn import svm
X = [[0, 0], [1, 1]]
y = [0, 1]
clf = svm.SVC(C =0.01, kernel ='rbf', random_state=33)
clf.fit(X, y) 

উপরের কোড ইন SVM একটি দৃষ্টান্ত আপনার মডেল, যার জন্য hyperparameters, এই ক্ষেত্রে, তাদের জন্য আপনার মূল্নির্ধারক হয় Cএবং kernel। তবে আপনার মডেলের আরও একটি প্যারামিটার রয়েছে যা হাইপারপ্যারামিটার নয় এবং এটি random_state।

Comments

এই উত্তরটি বোঝায় random_stateএকটি প্যারামিটার। আমি মনে করি এটি বিভ্রান্তিকর, কারণ (অন্যান্য উত্তর দেখুন); একটি পরামিতি মডেল দ্বারা শিখেছে , হাইপারপ্যারামিটার আমাদের দ্বারা নির্দিষ্ট করা হয়েছে ; মত random_state=33। তবে, random_stateএটি বেশ হাইপারপ্যারামিটারও নয়, কারণ এর জন্য সর্বোত্তম কোনও মূল্য নেই random_state; এখানে জেসন ব্রাউনলি আলোচনা

— রেড মটর

Answer 2

উপরের উত্তর ছাড়াও।

মডেল পরামিতিগুলি শ্রেণিবদ্ধ বা অন্যান্য মিলি মডেল দ্বারা প্রশিক্ষণের সময় শিখে নেওয়া প্রশিক্ষণের ডেটার বৈশিষ্ট্য। উদাহরণস্বরূপ কিছু এনএলপি টাস্কের ক্ষেত্রে: শব্দের ফ্রিকোয়েন্সি, বাক্য দৈর্ঘ্য, বিশেষ্য বা বাক্য অনুসারে ক্রিয়া বিতরণ, শব্দ প্রতি নির্দিষ্ট অক্ষরের এন-গ্রাম সংখ্যা, লেক্সিকাল বৈচিত্র ইত্যাদি ইত্যাদি প্রতিটি পরীক্ষার জন্য মডেল পরামিতি পৃথক এবং প্রকারের উপর নির্ভর করে তথ্য এবং হাতে টাস্ক।

অন্যদিকে, মডেল হাইপারপ্যারামিটারগুলি একই ধরণের মডেলের জন্য সাধারণ এবং প্রশিক্ষণের সময় শিখতে পারে না তবে আগেই সেট করা রয়েছে। এনএন এর হাইপারপ্যারামিটারগুলির একটি সাধারণ সেটের মধ্যে লুকানো স্তরগুলির সংখ্যা এবং আকার, ওজন সূচনা প্রকল্প, শেখার হার এবং তার ক্ষয়, ড্রপআউট এবং গ্রেডিয়েন্ট ক্লিপিং থ্রেশহোল্ড ইত্যাদি অন্তর্ভুক্ত রয়েছে include

Answer 3

হাইপার-প্যারামিটারগুলি হ'ল আমরা মডেলকে সরবরাহ করি, উদাহরণস্বরূপ: নিউরাল নেটওয়ার্কে লুকানো নোড এবং স্তরগুলির সংখ্যা, ইনপুট বৈশিষ্ট্য, শেখার হার, অ্যাক্টিভেশন ফাংশন ইত্যাদি, প্যারামিটারগুলি সেগুলি যা ওজন এবং বায়াসেসের মতো মেশিন দ্বারা শিখবে would ।

Answer 4

মেশিন লার্নিংয়ে, প্যারামিটার এবং হাইপার-প্যারামিটার সহ একটি মডেল দেখতে লাগে,$M$

$Y \approx M_{\mathcal{H}}(\Phi | D)$

যেখানে প্যারামিটার এবং এইচ হাইপার-পরামিতি। ডি হ'ল ডেটা প্রশিক্ষণ এবং ওয়াই হ'ল আউটপুট ডেটা (শ্রেণিবদ্ধকরণ কার্যের ক্ষেত্রে শ্রেণি লেবেল)।$\Phi$$\mathcal{H}$$D$$Y$

প্রশিক্ষণের সময় উদ্দেশ্য প্যারামিটার অনুমান খুঁজে পেতে Φ যে সেরা অনুকূল রূপ কিছু ক্ষতি ফাংশন এল আমরা নির্দিষ্ট করে দেওয়া। , যেহেতু মডেল এম ও ক্ষতি ফাংশনের এল এর উপর ভিত্তি করে এইচ , তারপর অনুবর্তী পরামিতি Φ এছাড়াও অধি-পরামিতি উপর নির্ভরশীল এইচ ।$\hat{\Phi}$$\mathcal{L}$$M$$\mathcal{L}$$\mathcal{H}$$\Phi$$\mathcal{H}$

$\mathcal{H}$$M$$M_{\mathcal{H}}$

$M_{\mathcal{H}}$$\mathcal{H}$$\hat{\Phi}$$\mathcal{H}$

$Y_{pred}$$\Phi$$\mathcal{H}$

$\Phi = \{\bar{\mu}, \bar{\sigma} \}$$\bar{\mu}$$N$$\bar{\sigma}$$N$$N$

$N$$\mathcal{H} = \{N \}$$N$$D$$N$$N$$\Phi = \{\bar{\mu}, \bar{\sigma}, N \}$

$d$$D$$GMM(\bar{\mu}, \bar{\sigma})$$N$$N$$d$$d$$\mu$$\sigma$$N$

$M$$\mathcal{L}$

Answer 5

সরল কথায়,

মডেল পরামিতি এমন একটি জিনিস যা কোনও মডেল নিজে শিখে। উদাহরণস্বরূপ, 1) লিনিয়ার রিগ্রেশন মডেলের স্বতন্ত্র ভেরিয়েবলগুলির ওজন বা সহগ। 2) স্বতন্ত্র ভেরিয়েবল এসভিএম এর ওজন বা সহগ। 3) সিদ্ধান্ত গাছের মধ্যে বিভক্ত পয়েন্ট।

মডেল হাইপার-পরামিতিগুলি মডেলটির কার্যকারিতা অনুকূল করতে ব্যবহৃত হয়। উদাহরণস্বরূপ, 1) SVM এ কার্নেল এবং স্ল্যাক। 2) কেএনএন-তে কে এর মান। 3) সিদ্ধান্ত গাছগুলিতে গাছের গভীরতা।

Comments

কোনও মডেলকে অনুকূল করে তোলার সাথে তাদের অগত্যা কিছু করার দরকার নেই। হাইপারপ্যারামগুলি কেবল মডেল বিল্ডিং প্রক্রিয়াটির পরামিতি।

— শন ওভেন

Answer 6

মডেল প্যারামিটারগুলি স্বয়ংক্রিয়ভাবে ডেটা থেকে অনুমান করা হয় এবং মডেল হাইপারপ্যারামিটারগুলি ম্যানুয়ালি সেট করা হয় এবং মডেল পরামিতিগুলি অনুমান করতে সহায়তা করার জন্য প্রক্রিয়াগুলিতে ব্যবহৃত হয়।

মডেল হাইপারপ্যারামিটারগুলি প্রায়শই প্যারামিটার হিসাবে উল্লেখ করা হয় কারণ এগুলি মেশিন লার্নিংয়ের অংশ যা ম্যানুয়ালি সেট করা এবং সুর করতে হবে।

মূলত, পরামিতিগুলি হ'ল "মডেল" পূর্বাভাস ইত্যাদি তৈরি করতে ব্যবহার করে উদাহরণস্বরূপ, একটি রৈখিক রিগ্রেশন মডেলের ওজন সহগ ients হাইপারপ্যারামিটারগুলি হ'ল যা শেখার প্রক্রিয়াতে সহায়তা করে। উদাহরণস্বরূপ, কে-মিন্সে গুচ্ছ সংখ্যা, রিজ রিগ্রেশন সঙ্কুচিত ফ্যাক্টর। তারা চূড়ান্ত পূর্বাভাসের অংশে উপস্থিত হবে না, তবে শিখার পদক্ষেপের পরে পরামিতিগুলি কীভাবে দেখাবে তার উপরে তাদের একটি বিশাল প্রভাব রয়েছে।

দেখুন: https://machinelearningmastery.com/differences-between-a-parameter-and-a-hyperparameter/