একটি নামে কি: হাইপারপ্যারামিটার

Question

সুতরাং একটি সাধারণ বিতরণে, আমাদের দুটি পরামিতি রয়েছে: গড় এবং বৈকল্পিক । প্যাটার্ন রিকগনিশন এবং মেশিন লার্নিং বইয়ে হঠাৎ ত্রুটি ফাংশনের নিয়মিতকরণের শর্তাবলীতে একটি হাইপারপ্যারামিটার ল্যাম্বদা উপস্থিত হয়।σ 2$\mu$$\sigma^2$$\lambda$

হাইপারপ্যারামিটার কি? কেন তাদের নামকরণ করা হয়েছে? এবং এগুলি সাধারণভাবে পরামিতিগুলির থেকে স্বজ্ঞাতভাবে কীভাবে আলাদা?

Comments

আমি ব্যক্তিগতভাবে কেবল এটি হাইপারের লোকদের একটি মহামারী মনে করি। হাইপার এটি, হাইপার যে। হাইপারস্পিয়ার - এটি একটি গোলক, ডি @ ম্যানিট, মাত্রা মাত্রা 3 ছাড়িয়ে যাওয়ার কারণে এত বেশি হাইপার হওয়া বন্ধ করুন হাইপারপ্যারামিটার - এটি একটি প্যারামিটার, ডি @ মনিট, আপনার বেশ কয়েকটি রয়েছে বলে হাইপার হওয়া বন্ধ করুন এবং আপনার মনে হয় আপনার কোনও প্রয়োজন মনে হয় শ্রেণিবদ্ধ স্তর বা কিছু নির্দেশ করুন। যে কোনও ইভেন্টে, যদি আপনার একটি অপ্টিমাইজেশান সমস্যা থাকে তবে কোন পরামিতিগুলি অপ্টিমাইজ করা হচ্ছে এবং কোনও সীমাবদ্ধতা (যদি এটি মাল্টি-লেভেল অপ্টিমাইজেশন হয় তবে তা বানানটি) স্পষ্টভাবে বানান করুন। আমি আশা করি আমি এই মন্তব্যে খুব বেশি হাইপার পাইনি।

— মার্ক এল স্টোন

আমি সর্বদা "হাইপারস্পিয়ার "টিকে" সহ-মাত্রা এক গোলক "বোঝাতে ব্যবহার করি, তাই কমপক্ষে গণিতে এটির অর্থ কিছু বোঝা যায়। বা কমপক্ষে যখন আমি গণিত সম্পর্কে কথা বলি। আমি এখন শান্ত হবো।

— ম্যাথু ড্রুরি

Answer 1

হাইপারপ্যারামিটার শব্দটি বেশ অস্পষ্ট। আমি অন্যান্য পরামিতিগুলির তুলনায় উচ্চতর স্তরের স্তরের প্যারামিটারটি উল্লেখ করতে এটি ব্যবহার করব। উদাহরণস্বরূপ, একটি পরিচিত বৈচিত্র সহ একটি রিগ্রেশন মডেল বিবেচনা করুন (এই ক্ষেত্রে 1)

$$y \sim N(X\beta,I)$$

এবং তারপরে পরামিতিগুলির পূর্ববর্তী, যেমন

$$\beta \sim N(0,\lambda I)$$

এখানে বিতরণ এবং জন্য বিতরণ নির্ধারণ করে । যখন আমি কেবল " উল্লেখ করতে চাই তখন আমি এটিকে প্যারামিটার বলতে পারি এবং যখন আমি কেবল উল্লেখ করতে চাই, তখন আমি এটিকে হাইপারপ্যারামিটার বলতে পারি।বিটা বিটা Y বিটা $\lambda$$\beta$$\beta$$y$$\beta$$\lambda$

নামকরণগুলি আরও জটিল হয়ে যায় যখন একাধিক স্তরের পরামিতিগুলি প্রদর্শিত হয় বা যখন আরও শ্রেণিবিন্যাসিক স্তর থাকে (এবং আপনি হাইপারহাইপার্পেরমিটার শব্দটি ব্যবহার করতে চান না)। লেখকরা যদি সেই বিষয়টির জন্য হাইপারপ্যারামিটার বা পরামিতি শব্দটি ব্যবহার করেন তখন হুবহু কী বোঝানো হয় তা সবচেয়ে ভাল।

Comments

এটি একটি দুর্দান্ত ব্যাখ্যা। আমি এখন এটি 'ফাংশন-ইশ'-এর রচনা হিসাবে ধারণা করছি। প্রতীকগুলিতে আপনি যা রেখেছেন তা অনুবাদ করতে, সাধারণত দিয়ে বিতরণ করা হয় তবে ঘুরে দেখা যায়, সাধারণত বিতরণ করা হয়। ধন্যবাদX β b e t $y$$X\beta$$beta$

— cgo

Answer 2

একটি হাইপারপ্যারামিটার হ'ল একটি প্যারামিটার যা সম্পূর্ণ বা আংশিকভাবে অন্যান্য পরামিতিগুলিকে প্রভাবিত করে। আপনার মুখোমুখি হওয়া অপ্টিমাইজেশান সমস্যাগুলি তারা সরাসরি সমাধান করে না, বরং সমস্যাগুলি সমাধান করতে পারে এমন পরামিতিগুলি অনুকূল করে (তাই হাইপার , কারণ তারা অপটিমাইজেশন সমস্যার অংশ নয়, বরং "অ্যাডনস")। আমি যা দেখেছি তার জন্য, তবে আমার কোনও রেফারেন্স নেই, এই সম্পর্কটি দিকনির্দেশক (একটি হাইপারপ্যারামিটার প্যারামিটারগুলির দ্বারা প্রভাবিত হতে পারে না, তাই হাইপারও )। এগুলি সাধারণত নিয়মিতকরণ বা মেটা-অপ্টিমাইজেশন স্কিমগুলিতে প্রবর্তিত হয়।

উদাহরণস্বরূপ, আপনার প্যারামিটার নিয়মিতকরণ ব্যয়ের জন্য সামঞ্জস্য করতে অবাধে এবং। প্রভাব ফেলতে পারে (তবে এবং কোনও প্রভাব )। সুতরাং, হ'ল এবং ig একটি হাইপারপ্যারামিটার । যদি আপনি ছিল একটি অতিরিক্ত পরামিতি প্রভাব , এটির জন্য একটি hyperparameter হবে , এবং একটি hyperhyperparameter এবং (কিন্তু আমি এই nomenclatura দেখিনি, কিন্তু আমি এটা ভুল হবে মনে করবেন না যদি আমি এটি দেখেছি)।μ σ μ σ λ λ μ σ τ λ λ μ $\lambda$$\mu$$\sigma$$\mu$$\sigma$$\lambda$$\lambda$$\mu$$\sigma$$\tau$$\lambda$$\lambda$$\mu$$\sigma$

আমি হাইপারপ্যারমিটার ধারণাটি ক্রস-বৈধকরণের জন্য খুব দরকারী বলে খুঁজে পেয়েছি, কারণ এটি আপনাকে পরামিতিগুলির শ্রেণিবিন্যাসের কথা মনে করিয়ে দেয়, পাশাপাশি আপনাকে মনে করিয়ে দেয় যে আপনি যদি এখনও (হাইপার-) পরামিতিগুলি সংশোধন করে থাকেন তবে আপনি এখনও ক্রস-ভ্যালিডিটিং করছেন এবং জেনারেলাইজিং করছেন না তাই আপনাকে অবশ্যই আপনার সিদ্ধান্তগুলি সম্পর্কে সতর্ক থাকুন (বৃত্তাকার চিন্তাভাবনা এড়াতে)।

Answer 3

অন্যান্য ব্যাখ্যাগুলি কিছুটা অস্পষ্ট; এখানে আরও একটি নিখুঁত ব্যাখ্যা যা এটি স্পষ্ট করা উচিত।

Hyperparameters মডেল পরামিতি হয় শুধুমাত্র , না শারীরিক প্রক্রিয়া যে অনুকরণে হচ্ছে। সীমাবদ্ধ ডেটা এবং / বা সীমাবদ্ধ গণনার সময় উপস্থিতিতে আপনার মডেলটিকে "কাজ" করতে আপনি তাদেরকে "কৃত্রিমভাবে" পরিচয় করিয়ে দিন । আপনার যদি কোনও কিছু পরিমাপ বা গণনা করার অসীম ক্ষমতা ছিল তবে হাইপারপ্যারামিটারগুলি আপনার মডেলটিতে আর উপস্থিত থাকবে না, যেহেতু তারা প্রকৃত সিস্টেমের কোনও শারীরিক দিক বর্ণনা করে না।

অন্যদিকে নিয়মিত প্যারামিটারগুলি হ'ল যা শারীরিক ব্যবস্থা বর্ণনা করে এবং কেবল নিদর্শনগুলির মডেলিং করে না।

Answer 4

এটি কোনও নির্ভুল সংজ্ঞায়িত শব্দ নয়, সুতরাং আমি এগিয়ে গিয়ে আপনাকে আরও একটি সংজ্ঞা দেব যা সাধারণ ব্যবহারের সাথে সামঞ্জস্যপূর্ণ বলে মনে হচ্ছে।

একটি হাইপারপ্যারামিটার হ'ল একটি মেশিন লার্নিং অ্যালগরিদমে এমন একটি পরিমাণের অনুমান যা চূড়ান্ত ভবিষ্যদ্বাণীমূলক ফাংশনের কার্যকরী আকারে অংশ নেয় না।

আমাকে এটি উদঘাটন করি একটি উদাহরণ সহ, রিজ রিগ্রেশন। রিজ রিগ্রেশন এ আমরা নিম্নলিখিত অপটিমাইজেশন সমস্যাটি সমাধান করি:

$$\beta^*(\lambda) = \text{argmin}_{\beta} \left( (y - X\beta)^t (y - X\beta) + \lambda \beta^t \beta \right)$$ $$\beta^* = \text{argmin}_{\lambda} (y' - X'\beta(\lambda))^t (y' - X'\beta(\lambda))$$

$X, y$$X', y'$

$$f(X) = X \beta^*$$

$\lambda$$\beta$$\lambda$

Answer 5

@Jaradniemi দ্বারা স্পষ্টভাবে নির্দেশিত হিসাবে, হাইপারপ্যারামিটার শব্দটির একটি ব্যবহার হায়ারার্কিকাল বা মাল্টিলেভেল মডেলিং থেকে এসেছে, যেখানে আপনার কাছে পরিসংখ্যানগত মডেলগুলির একটি ক্যাসকেড থাকে, এটি অন্যদের উপরে / নীচে নির্মিত হয়, সাধারণত শর্তাধীন সম্ভাবনার বিবৃতি ব্যবহার করে।

তবে একই পরিভাষা বিভিন্ন প্রসঙ্গেও বিভিন্ন অর্থ সহ উত্থিত হয়। উদাহরণস্বরূপ, আমি হাইপারপ্রেমিটার শব্দটি দেখেছি স্টোকাস্টিক মডেলের সিমুলেশনটির প্যারামিটারগুলি (চলমান দৈর্ঘ্য, স্বতন্ত্র রেপ্লিকেশনগুলির সংখ্যা, প্রতিটি প্রতিরূপে ইন্টারঅ্যাক্টিং কণার সংখ্যা ইত্যাদি) বোঝাতে ব্যবহৃত হয়েছিল, যা কোনও বহুবিধের ফলে আসে নি মডেলিং।

Comments

এফডাব্লুআইডাব্লু আমি সাধারণত চলমান দৈর্ঘ্য, ইন্টারঅ্যাক্টিং কণার সংখ্যা ইত্যাদি টিউনিং প্যারামিটার হিসাবে উল্লেখ করি।

— jaradniemi

আমি রাজী. আমার কাছে এটি হাইপারপ্যারামিটারগুলির চেয়ে বেশি পর্যাপ্ত পছন্দ বলে মনে হচ্ছে। তবুও, জ্ঞানের অন্যান্য ক্ষেত্রে অন্যদের কাছে এটি এখনও যথেষ্ট যুক্তিসঙ্গত বলে মনে হয়েছে।

— মার্সেলো ভেনচুরা