স্কোয়ার ত্রুটি হ্রাস করা কি নিখুঁত ত্রুটি হ্রাস করার সমতুল্য? স্কোয়ার ত্রুটিটি পরবর্তীটির চেয়ে বেশি জনপ্রিয় কেন?

Question

যখন আমরা লিনিয়ার রিগ্রেশন পরিচালনা করি যখন ডেটা পয়েন্টের একগুচ্ছ ফিট করতে , ক্লাসিক পদ্ধতির স্কোয়ার ত্রুটি হ্রাস করে। আমি দীর্ঘদিন ধরে এমন প্রশ্নে বিস্মিত হয়েছি যা স্কোয়ার ত্রুটিটি হ্রাস করে চূড়ান্ত ত্রুটি হ্রাস করার সমান ফল দেয় ? যদি তা না হয় তবে স্কোয়ার ত্রুটি হ্রাস করা কেন ভাল? "উদ্দেশ্যমূলক কার্যটি ডিফারেন্টেবল" ব্যতীত অন্য কোনও কারণ আছে কি?$y=ax+b$$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$

মডেল পারফরম্যান্স মূল্যায়নের জন্য স্কোয়ার ত্রুটিও ব্যাপকভাবে ব্যবহৃত হয়, তবে পরম ত্রুটি কম জনপ্রিয় নয়। কেন স্কোয়ার ত্রুটি পরম ত্রুটির চেয়ে বেশি ব্যবহৃত হয়? যদি ডেরিভেটিভগুলি গ্রহণ করা জড়িত না থাকে তবে নিখুঁত ত্রুটি গণনা করা স্কোয়ার ত্রুটির গণনা করার মতোই সহজ, তবে কেন স্কোয়ার ত্রুটি এতটাই প্রচলিত ? এমন কি কোনও অনন্য সুবিধা রয়েছে যা এর প্রসারটি ব্যাখ্যা করতে পারে?

ধন্যবাদ.

Comments

পিছনে সর্বদা কিছু অপ্টিমাইজেশান সমস্যা রয়েছে এবং আপনি ন্যূনতম / সর্বাধিক সন্ধান করতে গ্রেডিয়েন্টগুলি গণনা করতে সক্ষম হতে চান।

— ভ্লাদিস্লাভস ডোভগ্যালিক্স

$x^2 < |x|$জন্য এবংif । সুতরাং, স্কোয়ার ত্রুটি পরম ত্রুটির চেয়ে বড় ত্রুটিগুলিকে বেশি শাস্তি দেয় এবং পরম ত্রুটির চেয়ে ক্ষুদ্র ত্রুটিগুলি বেশি ক্ষমা করে দেয়। এটি কাজ করার উপযুক্ত উপায় বলে অনেকে মনে করেন এর সাথে এটি ভালভাবে মিলিত হয়। $x \in (-1,1)$$x^2 > |x|$$|x| > 1$

— দিলীপ সরোতে

Answer 1

বর্গক্ষেত্রের ত্রুটিগুলি হ্রাস করা (এমএসই) অবশ্যই ত্রুটিগুলির নিখুঁত বিচ্যুতি (এমএডি) হ্রাস করার মতো নয়। MSE উপলব্ধ গড় প্রতিক্রিয়া উপর নিয়ন্ত্রিত যখন ম্যাড প্রদান করে, মধ্যমা প্রতিক্রিয়া উপর নিয়ন্ত্রিত ।$y$$x$$y$$x$

Orতিহাসিকভাবে, ল্যাপ্লেস মূলত সর্বাধিক পরিলক্ষিত ত্রুটিটিকে একটি মডেলের যথার্থতার পরিমাপ হিসাবে বিবেচনা করে । পরিবর্তে তিনি পরিবর্তে এমএডি বিবেচনা করতে সরানো । উভয় পরিস্থিতি সঠিকভাবে সমাধান করতে অক্ষমতার কারণে তিনি শীঘ্রই ডিফারেনশিয়াল এমএসই বিবেচনা করেছিলেন। নিজে এবং গাউস (আপাতদৃষ্টিতে সমবর্তীভাবে) সাধারণ সমীকরণ, এই সমস্যার জন্য একটি বদ্ধ-ফর্ম সমাধান প্রাপ্ত করেছেন। আজকাল, লিনিয়ার প্রোগ্রামিংয়ের মাধ্যমে এমএডি সমাধান করা তুলনামূলকভাবে সহজ। যেমনটি সর্বজনবিদিত, তবে লিনিয়ার প্রোগ্রামিংয়ের কোনও ক্লোজড-ফর্ম সমাধান নেই।

একটি অপ্টিমাইজেশনের দৃষ্টিকোণ থেকে, উভয়ই উত্তল ক্রিয়াকলাপের সাথে সমান। যাইহোক, এমএসই পার্থক্যযোগ্য, সুতরাং, গ্রেডিয়েন্ট-ভিত্তিক পদ্ধতির জন্য মঞ্জুরি দেয়, তাদের অবিস্মরণীয় অংশের চেয়ে অনেক দক্ষ। এমএডি এ পার্থক্যযোগ্য নয় ।$x=0$

আরও তাত্ত্বিক কারণ হ'ল, একটি বেয়েসিয়ান সেটিংয়ে, যখন মডেল পরামিতিগুলির ইউনিফর্ম প্রিরিয়ারগুলি ধরে নেওয়া হয়, এমএসই সাধারণ বিতরণ ত্রুটিগুলি প্রদান করে, যা পদ্ধতির যথার্থতার প্রমাণ হিসাবে নেওয়া হয়েছে। তাত্ত্বিকরা সাধারণ বিতরণ পছন্দ করেন কারণ তারা বিশ্বাস করেছিলেন যে এটি একটি অভিজ্ঞতাবাদী সত্য, অন্যদিকে পরীক্ষাগুলি পছন্দ করেছে কারণ তারা এটি একটি তাত্ত্বিক ফলাফল বিশ্বাস করে।

এমএসইর কেন এটির ব্যাপক গ্রহণযোগ্যতা থাকতে পারে তার একটি চূড়ান্ত কারণ হ'ল এটি ইউক্লিডিয়ান দূরত্বের ভিত্তিতে (আসলে এটি ইউক্যালিডিয়ান ব্যানাচ স্পেসে প্রক্ষেপণ সমস্যার সমাধান) যা আমাদের জ্যামিতিক বাস্তবতার কারণে অত্যন্ত স্বজ্ঞাত।

Comments

(+1) ল্যাপলেসের রেফারেন্সের জন্য!

— শিয়ান

"তাত্ত্বিকরা সাধারণ বিতরণ পছন্দ করেন কারণ তারা বিশ্বাস করতেন যে এটি একটি অভিজ্ঞতাবাদী সত্য, যখন পরীক্ষাগুলি এটি পছন্দ করে কারণ তারা এটি একটি তাত্ত্বিক ফলাফল বিশ্বাস করে।" -- আমি এটা ভালোবাসি. তবে গাউসীয় বিতরণের জন্য কি সরাসরি পদার্থবিজ্ঞানের অ্যাপ্লিকেশন নেই? এবং সর্বাধিক এনট্রপি বিতরণ সম্পর্কে স্টাফ রয়েছে

— শ্যাডটালকার

@ এসএসডেকট্রল আমি মনে করি এপিগ্রামটি কয়েকশো বছর আগে হেনরি পয়েন্টারির কারণে হয়েছিল। টাউট লে মনডে ই ক্রয়েট সিডেন্ট্যান্ট, আমি ডিএসইট আন ট্রাভ এম এম লিপম্যান, গাড়ি লেস এক্সপরিমেটেটরস সি'ম্যাগিয়েনেন্ট কুই সি'স্ট আন থোরিয়াম ডি ম্যাথাম্যাটিকস, এবং লেস ম্যাথমেটিকিয়েন্স কুই সি'নেস্ট ইউন ফেইট এক্সপেরিমেন্টাল। "সকলেই এটি সম্পর্কে নিশ্চিত যে [ত্রুটিগুলি সাধারণত বিতরণ করা হয়], মিঃ লিপম্যান আমাকে একদিন বলেছিলেন, যেহেতু পরীক্ষাগারবিদরা বিশ্বাস করেন যে এটি গাণিতিক উপপাদ্য এবং গণিতবিদরা বিশ্বাস করেন যে এটি একটি পরীক্ষামূলকভাবে নির্ধারিত সত্য।" থেকে Calcul দেস probabilités (2nd ইডি।, 1912), পি। 171

— দিলীপ সরোতে

এখানে একটি গাণিতিক উত্তর। যদি আমাদের কাছে স্বাধীন ভেরিয়েবল এক্স এবং একটি কলাম ম্যাট্রিক্স ওয়াইয়ের ডেটা ম্যাট্রিক্স থাকে, তবে যদি সম্পত্তি Xb = Y সহ একটি ম্যাট্রিক্স বি থাকে তবে আমাদের একটি দ্রাবক রয়েছে। সাধারণত আমরা পারি না এবং আমরা সেই খ চাই যা সঠিক সমাধানের 'নিকটতম'। গণিত হিসাবে এটি সমাধান করা 'সহজ'। এটি এক্স এর কলাম স্পেসে ওয়াইয়ের প্রক্ষেপণ। প্রজেকশন এবং লম্ব ইত্যাদি সম্পর্কে ধারণা মেট্রিকের উপর নির্ভর করে। সাধারণ ইউক্লিডিয়ান এল 2 মেট্রিক যা আমরা অভ্যস্ত এবং এটি সর্বনিম্ন স্কোয়ার দেয়। মেসের ন্যূনতম সম্পত্তি হ'ল আমাদের ভবিষ্যদ্বাণীটি রয়েছে তা পুনরুদ্ধার।

— অজিনেস্কে

আমি ভেবেছিলাম যে গৌস এবং লেজেন্ড্রের মধ্যে অগ্রাধিকারের মতপার্থক্য ছিল না, লেজেন্ড্রে প্রকাশের ক্ষেত্রে গৌসের আগে ছিলেন, তবে গৌস লেজেন্ড্রের আগে অনানুষ্ঠানিক চিঠিতে ছিলেন। আমিও (অস্পষ্টভাবে) অবগত যে ল্যাপ্লেসের প্রমাণকে উচ্চতর হিসাবে বিবেচনা করা হয়। এগুলিতে কোন রেফারেন্স?

— প্যাট্রিকটি

Answer 2

বিকল্প ব্যাখ্যা হিসাবে, নিম্নলিখিত স্বজ্ঞাত বিবেচনা করুন:

কোনও ত্রুটি হ্রাস করার সময়, আমাদের অবশ্যই সিদ্ধান্ত নিতে হবে যে এই ত্রুটিগুলিকে কীভাবে শাস্তি দেওয়া যায়। প্রকৃতপক্ষে, দণ্ডিত ত্রুটিগুলির পক্ষে সবচেয়ে সরল পদ্ধতি হ'ল linearly proportionalপেনাল্টি ফাংশনটি ব্যবহার করা । যেমন একটি ফাংশন সঙ্গে, গড় থেকে প্রতিটি বিচ্যুতি একটি আনুপাতিক সম্পর্কিত ত্রুটি দেওয়া হয়। দ্বিগুণ গড় থেকে দ্বিগুণ পেনাল্টির ফলস্বরূপ ।

আরও সাধারণ পদ্ধতির squared proportionalমধ্য থেকে বিচ্যুতিগুলির মধ্যে সম্পর্ক বিবেচনা করা এবং এর সাথে সম্পর্কিত জরিমানা। এই নিশ্চিত করুন যে করতে হবে আরও আপনি কি বোঝাতে চেয়েছেন থেকে দূরে হয়, আনুপাতিকভাবে আরো আপনি শাস্তি হবে না। এই পেনাল্টি ফাংশনটি ব্যবহার করে, বিদেশী (গড় থেকে অনেক দূরে) গড়ের কাছাকাছি পর্যবেক্ষণের তুলনায় আনুপাতিকভাবে আরও তথ্যপূর্ণ বলে মনে করা হয়।

এর দৃশ্যধারণের জন্য, আপনি সহজেই জরিমানার কার্যগুলি প্লট করতে পারেন:

এখন বিশেষত যখন রেগ্রেশনগুলির অনুমানের বিবেচনা (যেমন ওএলএস), বিভিন্ন জরিমানা ফাংশনগুলি বিভিন্ন ফলাফল অর্জন করবে। linearly proportionalপেনাল্টি ফাংশনটি ব্যবহার করে, পেনাল্টি ফাংশনটি ব্যবহার করার চেয়ে রিগ্রেশনটি বহিরাগতদের কম ওজন নির্ধারণ করবে squared proportional। মেডিয়ান অ্যাবসোলিউট ডেভিয়েশন (এমএডি) তাই আরও শক্তিশালী অনুমানকারী হিসাবে পরিচিত । সাধারণভাবে, তাই এটির ক্ষেত্রে দৃ esti় হিসাবরক্ষক বেশিরভাগ ডেটা পয়েন্ট ভালভাবে ফিট করে তবে বিদেশীদের 'উপেক্ষা' করে। তুলনায় তুলনায় তুলনামূলকভাবে কমপক্ষে স্কোয়ারগুলি আরও বেশি টানা থাকে li তুলনার জন্য এখানে একটি দৃশ্যায়ন রয়েছে:

এখন যদিও ওএলএস বেশ মানসম্পন্ন, বিভিন্ন পেনাল্টি ফাংশনগুলি অবশ্যই ব্যবহৃত হয়। উদাহরণ হিসাবে, আপনি মতলবের রোবস্টিফ ফাংশনটি একবার দেখে নিতে পারেন যা আপনাকে আপনার প্রতিরোধের জন্য আলাদা পেনাল্টি (যা 'ওজন' নামেও পরিচিত) ফাংশন বেছে নিতে দেয়। এই জরিমানা কার্যক্রমে অ্যান্ড্রু, বিস্কুয়ার, কৌকি, ফর্সা, হুবার, লজিস্টিক, ওলস, তালোয়ার এবং ওয়েলশ অন্তর্ভুক্ত রয়েছে। তাদের সম্পর্কিত অভিব্যক্তি ওয়েবসাইটটিতেও পাওয়া যাবে।

আমি আশা করি এটি আপনাকে পেনাল্টি ফাংশনগুলির জন্য আরও কিছুটা অন্তর্দৃষ্টি পেতে সহায়তা করবে :)

হালনাগাদ

আপনার যদি মতলব থাকে তবে আমি মতলবের রোবস্টডেমো নিয়ে খেলতে সুপারিশ করতে পারি , যা বিশেষত স্বল্পতম বর্গক্ষেত্রকে শক্তিশালী প্রতিরোধের সাথে তুলনা করার জন্য তৈরি করা হয়েছিল:

ডেমো আপনাকে স্বতন্ত্র পয়েন্টগুলি টেনে আনতে এবং তাত্ক্ষণিকভাবে সাধারণ ন্যূনতম স্কোয়ার এবং শক্তিশালী রিগ্রেশন উভয়ের উপর প্রভাব দেখতে দেয় (যা শিক্ষার উদ্দেশ্যে উপযুক্ত!)।

Answer 3

অন্য একটি উত্তর যেমন ব্যাখ্যা করেছে, স্কোয়ার ত্রুটিটি হ্রাস করা নিখুঁত ত্রুটি হ্রাস করার মতো নয়।

স্কোয়ার ত্রুটি হ্রাস করার কারণটি পছন্দ করা কারণ এটি বড় ত্রুটিগুলি আরও ভাল প্রতিরোধ করে।

বলুন যে আপনার এমপুলির বেতনভিত্তিক বিভাগটি ঘটনাক্রমে মোট দশ কর্মচারীর প্রত্যেককে প্রয়োজনের তুলনায় $ 50 কম প্রদান করে। যে একটি পরম ত্রুটি $ 500 এটি একটি পরম ত্রুটি $ 500 যদি বিভাগের বহন করেনা মাত্র এক কর্মচারী $ 500 কম। তবে এটি স্কোয়ার ত্রুটির শর্তাবলী, এটি 25000 বনাম 250000।

স্কোয়ার ত্রুটিটি ব্যবহার করা সর্বদা ভাল নয়। যদি আপনার কোনও ডেটা অধিগ্রহণের ত্রুটির কারণে একটি চরম আউটলেটারের সাথে ডেটা সেট থাকে তবে স্কোয়ার ত্রুটি হ্রাস করা চূড়ান্ত ত্রুটি হ্রাস করার চেয়ে ফিটটিকে চূড়ান্ত আউটলারের দিকে টানবে। এটি বলা হচ্ছে, স্কোয়ার ত্রুটিটি ব্যবহার করা ভাল।

Comments

স্কোয়ার ত্রুটি হ্রাস করার কারণটি পছন্দ করা কারণ এটি বড় ত্রুটিগুলি আরও ভাল প্রতিরোধ করে। - তাহলে কেন কিউবড না?

— ড্যানিয়েল আর্উইকার

@ ড্যানিয়েলআরউইকার কিউবেড ভুল দিককে ত্রুটিযুক্ত করে বিয়োগফল করে। সুতরাং এটির জন্য নিখুঁত কিউব ত্রুটি হতে হবে, বা এমনকি শক্তিকে আটকে রাখতে হবে। উচ্চতর শক্তির পরিবর্তে (বা, প্রকৃতপক্ষে অ-বহু-পেনাল্টি ফাংশন) স্কোয়ার ব্যবহার করার কোনও সত্যই "ভাল" কারণ নেই। এটি গণনা করা সহজ, ছোট করা সহজ এবং কাজটি করে।

— এটসবি

অবশ্যই আমার আরও উচ্চতর শক্তি বলা উচিত ছিল! :)

— ড্যানিয়েল আরউইকার

এটির (এই মুহুর্তে) কোনও উক্তি নেই তবে এটি কি এই উত্তরটির মত নয় যা বর্তমানে (বর্তমানে) 15 টি ভোট পেয়েছে (অর্থাত্ বিদেশী আরও প্রভাব ফেলেছে)? এটি কি ভুল হওয়ার কারণে ভোট পাচ্ছে না, বা এটি কিছু মূল তথ্য বাদ দিয়েছে? বা এর সুন্দর গ্রাফ নেই বলেই? ;-)

— ড্যারেন কুক

@ ড্যারেনকুক আমি সন্দেহ করি যে পরিসংখ্যানগুলিতে "আধুনিক" পদ্ধতির সাহায্যে ওএলএসের তুলনায় এমএডি অগ্রাধিকার পাওয়া যায় এবং আমি মনে করি যে স্কোয়ার ত্রুটিটি "সাধারণত" আমাকে কিছুটা নিম্নবিত্তের থেকে ভাল উপার্জন করতে পারে।

— Atsby

Answer 4

তত্ত্বের ক্ষেত্রে আপনি কোনও ধরনের ক্ষয় ফাংশন ব্যবহার করতে পারেন। পরম এবং বর্গক্ষেত্রের ক্ষতির ক্রিয়াগুলি সর্বাধিক জনপ্রিয় এবং সর্বাধিক স্বজ্ঞাত ক্ষতির ক্রিয়া হিসাবে ঘটে। এই উইকিপিডিয়া প্রবেশ অনুসারে ,

একটি সাধারণ উদাহরণ "অবস্থান" অনুমান জড়িত। সাধারণ পরিসংখ্যানগত অনুমানের অধীনে, গড় বা গড়টি স্কোয়ারড-ত্রুটি ক্ষতি ফাংশনের অধীনে প্রাপ্ত প্রত্যাশিত ক্ষয়কে হ্রাস করে এমন স্থানটি নির্ধারণের পরিসংখ্যান, তবে মিডিয়ান এমন অনুমানকারী যা পরম-পার্থক্যজনিত ক্ষতি কার্যের অধীনে প্রাপ্ত প্রত্যাশিত ক্ষয়কে হ্রাস করে। এখনও বিভিন্ন প্রাক্কলনকারী অন্যান্য, কম সাধারণ পরিস্থিতিতে অনুকূল হবে।

উইকিপিডিয়া এন্ট্রিতেও যেমন ব্যাখ্যা করা হয়েছে, ক্ষতির ফাংশনগুলির পছন্দ নির্ভর করে যে আপনি কীভাবে আপনার লক্ষ্যযুক্ত বস্তু থেকে বিচ্যুতিকে মূল্য দেন। সমস্ত বিচ্যুতি যদি আপনার জন্য সমানভাবে খারাপ হয় তবে তাদের লক্ষণগুলি বিবেচনা না করে তবে আপনি পরিত্রাণের ক্ষতি করতে পারেন। যদি বিচ্যুতি আপনার জন্য আরও দূরে হয়ে যায় তবে আপনি সর্বোত্তম থেকে দূরে থাকেন এবং আপনি যদি বিচ্যুতিটি ইতিবাচক বা নেতিবাচক বলে বিবেচনা করেন না, তবে স্কোয়ারস লস ফাংশনটি আপনার সহজ পছন্দ। তবে ক্ষতির উপরোক্ত সংজ্ঞাগুলির মধ্যে যদি কোনওটিই আপনার সমস্যাটিকে মাপসই করে না, কারণ ছোট ছোট বিচ্যুতিগুলি আপনার জন্য বড় বিচ্যুতির চেয়েও খারাপ, তবে আপনি একটি পৃথক ক্ষতির ফাংশন বেছে নিতে পারেন এবং ক্ষুদ্রতর সমস্যার সমাধান করার চেষ্টা করতে পারেন। তবে আপনার সমাধানের পরিসংখ্যানগত বৈশিষ্ট্যগুলি মূল্যায়ণ করা শক্ত।

Comments

কিছুটা বিশদ: "যদি সমস্ত বিচ্যুতি আপনার জন্য সমানভাবে খারাপ হয় তবে তাদের লক্ষণ বিবেচনা করুন না ..": এমএডি ফাংশন ত্রুটিগুলিকে রৈখিক-আনুপাতিকভাবে শাস্তি দেয়। সুতরাং ত্রুটিগুলি 'সমানভাবে খারাপ' নয় তবে 'আনুপাতিকভাবে খারাপ' দ্বিগুণ ত্রুটি হিসাবে দ্বিগুণ ত্রুটি পেনাল্টি পায়।

— জিন-পল

@ জিন-পল: আপনি ঠিক বলেছেন। আমি এটাকে বুঝিয়েছি। "সমানভাবে খারাপ" দিয়ে আমি যা বলতে চেয়েছিলাম তা হ'ল এমএডি এর গ্রেডিয়েন্ট ধ্রুবক এবং এমএসইয়ের গ্রেডিয়েন্ট ত্রুটি সহ রৈখিকভাবে বৃদ্ধি পায়। সুতরাং দু'টি ত্রুটির মধ্যে পার্থক্য যদি আপনি সর্বোত্তম থেকে কত দূরে থাক তা স্থির থাকে, যদিও এমএসইর ক্ষেত্রে এটি একই সত্য নয়। আমি আশা করি, যা আমি বলতে চাই তা এটি আরও কিছুটা বোধগম্য করে তোলে।

— ক্রিস্টান

Answer 5

ছোট উত্তর

1. নাঃ
2. গড়ের চেয়ে মিডিয়ানের চেয়ে আকর্ষণীয় পরিসংখ্যানগত বৈশিষ্ট্য রয়েছে

Comments

আপনি যদি "আরও আকর্ষণীয় পরিসংখ্যানগত বৈশিষ্ট্য" অর্জন করতে সক্ষম হন তবে এটি দুর্দান্ত হবে।

— মোমো