সংকোচন কেন সত্যিই কাজ করে, 0 এর মধ্যে বিশেষ কী?


15

এই সাইটে ইতিমধ্যে একই বিষয়ে কথা বলার একটি পোস্ট রয়েছে: সঙ্কুচিত কেন কাজ করে?

তবে, উত্তরগুলি জনপ্রিয় হওয়া সত্ত্বেও, আমি বিশ্বাস করি না যে প্রশ্নের সূত্রটি সত্যই সম্বোধিত হয়েছে। এটি বেশ পরিষ্কার যে অনুমানের ক্ষেত্রে কিছু পক্ষপাতমূলক প্রবর্তন বৈচিত্র্য হ্রাস এনেছে এবং অনুমানের মানের উন্নতি করতে পারে। যাহোক:

1) পক্ষপাত প্রবর্তন করে যে ক্ষয়ক্ষতি হয়েছে তার বৈচিত্র্য লাভের তুলনায় কম কেন?

2) কেন এটি সর্বদা কাজ করে? উদাহরণস্বরূপ রিজ রিগ্রেশন ক্ষেত্রে: অস্তিত্বের উপপাদ্য

3) 0 (উত্স) সম্পর্কে এত আকর্ষণীয় কি? স্পষ্টতই আমরা আমাদের যে কোনও জায়গায় সংকুচিত করতে পারি (অর্থাত্ স্টেইন প্রাক্কলনকারী ), তবে এটি কি উত্সের মতো ভাল কাজ করবে?

৪) বিভিন্ন সার্বজনীন কোডিং স্কিমগুলি কেন উত্সের চারপাশে কম সংখ্যক বিট পছন্দ করে? এই অনুমানগুলি কি কেবল আরও সম্ভাব্য?

প্রমাণিত উপপাদ্য বা প্রতিষ্ঠিত ফলাফলের রেফারেন্স সহ উত্তর প্রত্যাশিত।


@ কারোলিসকনসেভিয়াস, লিঙ্কগুলি ঠিক করার জন্য ধন্যবাদ! যাইহোক, আমি নোট করি যে আপনার ভাষার সম্পাদনাগুলি সম্ভবত শেষটি ব্যতীত খুব বেশি সহায়ক হতে পারে না। অন্যগুলি মনে হয় কিছু অপ্রয়োজনীয় পাঠ্য যুক্ত করেছে এবং পোস্টটি কিছুটা কম পঠনযোগ্য করে তুলবে।
রিচার্ড হার্ডি

1
3) "উত্স সম্পর্কে এত আকর্ষণীয় কি?" আপনি কিভাবে এই বিবৃতি বুঝতে পারি ?. যদি আপনার একটি গ্রুপ ফ্যাক্টর (যেমন দেশ) এবং স্বতন্ত্র ফ্যাক্টর (উদাহরণস্বরূপ শহর) থাকে, তবে সঙ্কুচিতকরণ দেশের গড় স্তরে গড়ে যাবে এবং তারপরে কেবলমাত্র পর্যায়ে ডেটা সহ নগর স্তরের বিচ্যুতি সহগ হবে) - অর্থাৎ আপনার মডেলটি গোষ্ঠী পর্যায়ে ঠেলা যায় (দেশ) গড় (শহর পর্যায়ের
সহগকে

উত্তর:


7

1) পক্ষপাত প্রবর্তন করে যে ক্ষয়ক্ষতি হয়েছে তার বৈচিত্র্য লাভের তুলনায় কম কেন?

এটি করার দরকার নেই, এটি সাধারণত হয়। ট্রেডঅফটি মূল্যবান কিনা তা ক্ষতির ফাংশনের উপর নির্ভর করে। তবে বাস্তব জীবনে আমরা যে বিষয়গুলি যত্ন করি সেগুলি প্রায়শই স্কোয়ার ত্রুটির সাথে সমান হয় (যেমন আমরা প্রায় দুটি ত্রুটি অর্ধেক আকারের চেয়ে আরও একটি বড় ত্রুটি যত্ন করি)।

কাউন্টারেরেক্সাম হিসাবে - কল্পনা করুন যে কলেজের ভর্তির জন্য আমরা জনগণের এসএটি স্কোরগুলি তাদের ডেমোগ্রাফিকের জন্য গড় এসএটির দিকে কিছুটা সঙ্কুচিত করি (তবে সংজ্ঞায়িত)। যদি সঠিকভাবে সম্পন্ন করা হয় তবে এটি বৈষম্য হ্রাস করবে এবং পক্ষপাতিত্ব প্রবর্তনের সময় ব্যক্তির ক্ষমতার (কিছু প্রকারের) অনুমানের স্কোয়ার ত্রুটি বোঝাবে mean বেশিরভাগ লোক আইএমএইচও করতেন যে এই জাতীয় বাণিজ্য গ্রহণযোগ্য নয়।

2) কেন এটি সর্বদা কাজ করে?

3) 0 (উত্স) সম্পর্কে এত আকর্ষণীয় কি? স্পষ্টতই আমরা আমাদের যে কোনও জায়গায় সংকুচিত করতে পারি (অর্থাত্ স্টেইন প্রাক্কলনকারী), তবে এটি কি উত্সের মতো ভাল কাজ করবে?

আমি মনে করি এটি কারণ আমরা সাধারণত সহগ বা প্রভাব অনুমান সঙ্কুচিত করি। বেশিরভাগ প্রভাব বড় নয় বলে বিশ্বাস করার কারণ রয়েছে (উদাহরণস্বরূপ অ্যান্ড্রু গেলম্যানের গ্রহণ )। এটিকে বলার একটি উপায় হ'ল এমন একটি বিশ্ব যেখানে সমস্ত কিছু দৃ a় প্রভাবের সাথে প্রভাবিত করে তা হিংস্র অবিশ্বাস্য বিশ্ব। যেহেতু আমাদের পৃথিবী আমাদের দীর্ঘ জীবন বাঁচতে এবং আধা-স্থিতিশীল সভ্যতা গড়ে তুলতে যথেষ্ট অনুমানযোগ্য তাই এটি অনুসরণ করে যে বেশিরভাগ প্রভাব বড় নয়।

যেহেতু বেশিরভাগ প্রভাবগুলি বৃহত হয় না তেমনি ভুলভাবে কয়েকটি সত্যিই বড় সংকোচনের জন্য দরকারী যখন সঠিকভাবে উপেক্ষিত প্রভাবগুলির বোঝা সঙ্কুচিত করা।

আমি বিশ্বাস করি এটি আমাদের বিশ্বের কেবল একটি সম্পত্তি এবং আপনি সম্ভবত স্ব-সামঞ্জস্যপূর্ণ বিশ্ব নির্মাণ করতে পারেন যেখানে সঙ্কুচিত হওয়া ব্যবহারিক নয় (সম্ভবত স্কোয়ার ত্রুটিটিকে একটি অযৌক্তিক ক্ষতির ক্রিয়া করে)। আমরা যে পৃথিবীতে বাস করি তা কেবল ঘটে না।

অন্যদিকে, আমরা যখন বায়েসীয় বিশ্লেষণে পূর্ববর্তী বন্টন হিসাবে সংকোচনের কথা ভাবি, তখন এমন কিছু ক্ষেত্রে রয়েছে যেগুলি 0 টি সঙ্কুচিত হওয়া অনুশীলনে সক্রিয়ভাবে ক্ষতিকারক।

একটি উদাহরণ গাউসিয়া প্রসেসগুলির দৈর্ঘ্যের স্কেল (যেখানে 0 সমস্যাযুক্ত) স্ট্যানের ম্যানুয়ালটিতে প্রস্তাবিত হ'ল এমন একটি প্রাকৃতিক ব্যবহার যাতে নগণ্য ওজনকে শূন্যের কাছাকাছি রাখা হয় অর্থাৎ কার্যকরভাবে "সঙ্কুচিত" ছোট মানগুলি শূন্যের থেকে দূরে রাখে। একইভাবে, নেতিবাচক দ্বিপদী বিতরণে ছড়িয়ে দেওয়ার জন্য প্রস্তাবিত প্রিয়ারগুলি কার্যকরভাবে শূন্য থেকে দূরে সঙ্কুচিত হয়। সর্বশেষে তবে সর্বনিম্ন নয়, যখনই সাধারণ বিতরণ যথাযথতার সাথে প্যারামিট্রাইজ করা হয় (আইএনএলএ হিসাবে), এটি শূন্য থেকে দূরে সঙ্কুচিত বিপরীত-গামা বা অন্যান্য পূর্ব বিতরণগুলি ব্যবহার করা কার্যকর।

৪) বিভিন্ন সার্বজনীন কোডিং স্কিমগুলি কেন উত্সের চারপাশে কম সংখ্যক বিট পছন্দ করে? এই অনুমানগুলি কি কেবল আরও সম্ভাব্য?

পি(আমি)পি(আমি+ +1)আমি


1
1) এর উত্তর আসলে ভাল!
ডেভিড

স্পষ্টতই অ্যান্ড্রু গেলম্যানের মনে স্ট্যান্ডার্ড মডেল ছিল যেখানে আমরা ইনপুটগুলি সহ গুণাগুণগুলিকে গুণ করি। এটি অগত্যা ক্ষেত্রে হতে হবে না। আমরা যদি সহগকে বিপরীতভাবে মডেলটিতে আসি তবে কী হবে? তারপরে 0 জিনিসগুলিকে উড়িয়ে দেবে।
ক্যাগডাস ওজজেনেক

1
@ কাউবয়ট্রেডার হ্যাঁ এবং বাস্তব-বিশ্বের ব্যবহারের কেস রয়েছে যেখানে 0 সমস্যাযুক্ত এবং আমরা সঙ্কুচিত হয়ে যাই (উত্তরে যুক্ত করা হয়)। সুতরাং আমি বিশ্বাস করি যে এটি সামান্য বিন্দুটিকে সমর্থন করে যে শূন্যের দিকে সঙ্কুচিত হওয়া কেবল একটি হিউরিস্টিক যা ঘন ঘন কাজ করতে (অনুশীলনে) ঘটে, তবে মৌলিক গাণিতিক সত্য নয়।
মার্টিন মোদরেক

1
আমার প্রাথমিক প্রতিক্রিয়ার জন্য দুঃখিত। আপনার উত্তরটি আরও অর্থবহ হচ্ছে। নোট করুন যে সঙ্কুচিতকরণ কেবলমাত্র ক্ষয়ক্ষতির অধীনেই নয়, অন্যান্য লোকসানের কার্যক্রমেও কাজ করে। আমি আসল ইস্যুটির পরে কেন এটি সর্বদা কাজ করে? গড় / অবস্থানের পরামিতিগুলির জন্য 0 মনে হচ্ছে যাদু নম্বর।
ক্যাগডাস ওজজেঙ্ক

σ

0

রিজ, লাসো এবং ইলাস্টিক নেটটি শূন্যকে কেন্দ্র করে প্রবীণদের সাথে বয়েসিয়ান পদ্ধতির সাথে সমান - উদাহরণস্বরূপ, হাসটি , তিবশিরানী এবং ওয়াইনরাইট দ্বারা স্পারসিটি সহ স্ট্যাটিসটিকাল লার্নিং , বিভাগ 2.9 Lq Penalties and Bayes Estimates: "এই অনুমানকারীর একটি বায়েশিয়ান দৃষ্টিভঙ্গিও রয়েছে ... এর অর্থ এই যে লাসো অনুমানটি একজন লায়েপ্লাসিয়ান আগে ব্যবহার করে বায়েশিয়ান এমএপি (সর্বাধিক অ্যাপোসিরেরি) অনুমানকারী। "

আপনার প্রশ্নের ( what's so special about zero?) উত্তর দেওয়ার একটি উপায় হ'ল আমরা যে প্রভাবগুলি অনুমান করছি তা গড় হিসাবে শূন্য, এবং সেগুলি ছোট থাকে (যেমন আমাদের প্রিজনগুলি শূন্যের কাছাকাছি হওয়া উচিত )। শূন্যের দিকে অনুমান সঙ্কুচিত করার পরে বায়েশীয় অর্থে অনুকূল এবং লেন্স এবং রিজ এবং ইলাস্টিক জালগুলি সেই লেন্সের মাধ্যমে ভাবা যেতে পারে।


3
শূন্যে সঙ্কুচিত হওয়া বিশেষ কিছু নয় (সমীকরণটি সহজ কারণ আপনি সুনির্দিষ্ট ফ্যাক্টরের সাহায্যে ফলাফলকে গুণান)। আপনি অন্য যে কোনও পয়েন্টেও সঙ্কুচিত করতে পারেন। পরবর্তী বিন্দুটি সত্যিকারের মান থেকে কম, সঙ্কুচিত হওয়ার কম পারফরম্যান্স (তবে যে কোনও বিন্দুতে কিছুটা সংকোচনের উপস্থিতি রয়েছে যা কিছুটা কার্যকারিতা বাড়িয়ে দেবে ... কমপক্ষে গাউসী বিতরণযোগ্য ভেরিয়েবলগুলির জন্য)। সুতরাং যখন ফলাফল সাধারণত শূন্য থেকে অনেক দূরে থাকে তখন শূন্যে সঙ্কুচিত হওয়া খুব সামান্য উন্নতি দেবে।
সেক্সটাস এম্পেরিকাস

1
@ মার্তিজজন ওয়েটারিংস স্পষ্টত সত্যকে অগ্রাধিকার দেওয়াই আদর্শ হবে (ষাঁড়ের চোখ)। তবে 0 তে সঙ্কোচিত হওয়া এখনও কিছু উন্নতি দেয় কেন? আমি এই কি পরে।
ক্যাগডাস ওজজেঙ্ক

@ কাউবয়ট্রেডার যে কোনও মান সঙ্কুচিত হওয়া উন্নতি দেয়। যে কারণে এটি 0 এর জন্যও কাজ করে।
সেক্সটাস এম্পেরিকাস

@ মার্তিজন ওয়েটারিংস হ্যাঁ, তবে শেখার তত্ত্ব থেকে সীমাবদ্ধতা সবসময় উত্সের ভিত্তিতে থাকে। তারা একটি বল / পলিহেডন / ইত্যাদিকে কেন্দ্র করে রেখেছিল। এটা কি প্রমাণের সুবিধা? এমডিএল 0 টি সংক্ষিপ্ততম কোডেলথ দিয়ে এনকোডিং এনকোডিং পূর্ণসংখ্যাকে অনুমান করে? এটা কি কাকতালীয় ঘটনা?
ক্যাগডাস ওজজেনেক

1
সুতরাং বলুন যে আপনি এই ক্ষেত্রে রিজ রিগ্রেশনটি সম্পাদন করেন যে সমস্ত ভেরিয়েবলগুলি আসলেই মডেলের অংশ (যা বাস্তবে সাধারণ নয়) তবে এটি এত ভাল কাজ করবে না। সম্ভবত এড্রিয়ান বলতে বোঝায় যে "প্রভাবগুলি গড় শূন্য, এবং সেগুলি ছোট হতে থাকে" (আমি যে মামলার ক্ষেত্রে এটি ঠিক সত্য তা জানি না But তবে মেশিন লার্নিংয়ের এমন অনেকগুলি ক্ষেত্রে রয়েছে যেখানে আমরা প্রচুর খাওয়াই feed প্যারামিটার, এবং যেখানে সম্ভবত সম্ভবত প্রয়োজন হয় না, তবে বেশিরভাগ প্রভাবগুলি শূন্য বা ছোট হয়))
সেক্সটাস এম্পেরিকাস
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.