ভ্যারিয়েন্স যেমন ক্রস বৈধতা অনুমান ধা কি "স্থায়িত্ব" ভূমিকা কি?

Question

টি এল, ডিআর: এটা যে প্রদর্শিত হবে, পঠিতব্য বিপরীত পরামর্শ, ক্রস বৈধতা (পায়খানা-সিভি) ছুটি এক-আউট - যে,সঙ্গে ধা সিভি(ভাঁজ সংখ্যা) থেকে সমান(নম্বর প্রশিক্ষণ পর্যবেক্ষণের) -মডেল / অ্যালগরিদম, ডেটাসেট, বা উভয়কেইনির্দিষ্ট স্থিতিশীলতার শর্তধরে ধরেযেকোনওজন্যসবচেয়ে কম পরিবর্তনশীল, সাধারণের ত্রুটির প্রাক্কলন উত্পাদনকরে (আমি নিশ্চিত না যে কোনটি সত্য কারণ আমি এই স্থায়িত্বের অবস্থাটি সত্যিই বুঝতে পারি না)।$K$$K$$N$$K$

• এই স্থায়িত্বের অবস্থাটি কি কেউ পরিষ্কারভাবে ব্যাখ্যা করতে পারে?
• লিনিয়ার রিগ্রেশন এমনই একটি "স্থিতিশীল" অ্যালগরিদম যা সত্য তা বোঝায় যে এলওইউ-সিভি হ'ল সাধারণীকরণের ত্রুটির অনুমানের পক্ষপাত এবং বৈকল্পিকতা যতটা সম্ভব সিভি-র সেরা পছন্দ?

---

প্রচলিত জ্ঞান যে পছন্দ মধ্যে ধা সিভি একটি পক্ষপাত-ভ্যারিয়েন্স ট্রেড বন্ধ অনুসরণ করে, এমন নিম্ন মান (সমীপবর্তী 2) সাধারণীকরণ ত্রুটির অনুমান আছে আরো হতাশাপূর্ণ পক্ষপাত সীসা কিন্তু কম ভ্যারিয়েন্স, উচ্চ মান যখন এর (সমীপবর্তী অনুমান কম পক্ষপাতমূলক হয়, কিন্তু বৃহত্তর ভ্যারিয়েন্স সঙ্গে) নেতৃত্ব। সাথে ক্রমবর্ধমান এই ঘটনার জন্য প্রচলিত ব্যাখ্যা সম্ভবত পরিসংখ্যান শিক্ষার উপাদানসমূহ (বিভাগ 7.10.1) এ সর্বাধিক সুস্পষ্টভাবে দেওয়া হয়েছে :$K$$K$$K$$K$$N$$K$

কে = এন এর সাথে, ক্রস-বৈধতা অনুমানকারীটি সত্য (প্রত্যাশিত) পূর্বাভাস ত্রুটির জন্য প্রায় পক্ষপাতহীন, তবে উচ্চতর বৈকল্পিকতা থাকতে পারে কারণ এন "প্রশিক্ষণ সেট" একে অপরের সাথে একই রকম।

এর অর্থ এই যে বৈধকরণের ত্রুটিগুলি আরও উচ্চতর সম্পর্কিত হয় যাতে তাদের যোগফল আরও পরিবর্তনশীল হয়। এই সাইটের পক্ষে যুক্তির এই লাইনটি বহু উত্তরে (যেমন, এখানে , এখানে , এখানে , এখানে , এখানে , এখানে , এখানে এবং এখানে ) পাশাপাশি বিভিন্ন ব্লগ এবং ইত্যাদিতে পুনরাবৃত্তি হয়েছে তবে এর পরিবর্তে বিশদ বিশ্লেষণ কার্যত কখনই দেওয়া হয় না বিশ্লেষণ কেমন হতে পারে তার কেবলমাত্র একটি স্বজ্ঞাত বা সংক্ষিপ্ত স্কেচ।$N$

তবে সাধারণত একটি নির্দিষ্ট "স্থিতিশীলতা" শর্তের উল্লেখ করে যে আমি সত্যিই বুঝতে পারি না তা বিরোধী বক্তব্যগুলি খুঁজে পেতে পারে। উদাহরণস্বরূপ, এই পরস্পরবিরোধী উত্তরটি একটি 2015 এর কাগজ থেকে কয়েকটি অনুচ্ছেদের উদ্ধৃতি দিয়েছে যা বলেছে যে, অন্যান্য জিনিসগুলির মধ্যে, " কম অস্থিরতার সাথে মডেল / মডেলিংয়ের পদ্ধতির জন্য , এলইও প্রায়শই ছোটতম পরিবর্তনশীলতা থাকে" (জোর যুক্ত করা)। এই কাগজটি (বিভাগ 5.2) সম্মত বলে মনে হচ্ছে যে মডেল / অ্যালগোরিদম যতক্ষণ না "স্থিতিশীল" থাকে ততক্ষণ LO এর সর্বনিম্ন পরিবর্তনশীল পছন্দকে উপস্থাপন করে । এই ইস্যুতে আরও একটি অবস্থান নিয়ে, এই কাগজটিও রয়েছে (Corollary 2), যা বলে যে " ভাঁজ ক্রস বৈধকরণের বৈকল্পিকতা [...] তে নির্ভর করে নাট $K$$k$$k$, "আবার একটি নির্দিষ্ট" স্থিতিশীলতা "শর্ত উদ্ধৃত করে।

এলইউ কেন সবচেয়ে পরিবর্তনশীল ফোল্ড সিভি হতে পারে সে সম্পর্কে ব্যাখ্যা যথেষ্ট স্বজ্ঞাত, তবে একটি পাল্টা স্বীকৃতি রয়েছে। গড় স্কোয়ার ত্রুটির চূড়ান্ত সিভি অনুমান (এমএসই) প্রতিটি ভাগে এমএসই অনুমানের গড় the সুতরাং হিসাবে পর্যন্ত বৃদ্ধি , সিভি অনুমান র্যান্ডম ভেরিয়েবল সংখ্যা ক্রমেই বেড়ে গড় হয়। এবং আমরা জানি যে গড়ের ভেরিয়েশন গড়ের সাথে ভেরিয়েবলের সংখ্যা হ্রাস পায়। সুতরাং , এলইও- সর্বাধিক পরিবর্তনশীল ফোল্ড সিভি হওয়ার জন্য, এটি সত্য হতে হবে যে এমএসই অনুমানের মধ্যে বর্ধিত সম্পর্কের কারণে বৈচিত্রের বৃদ্ধি বৃদ্ধি পর্বের গড় সংখ্যার চেয়ে বেশি সংখ্যার কারণে ভেরিয়েন্সের হ্রাসের পরিমাণের চেয়ে বেশি$K$$K$$N$$K$। এটি মোটেই স্পষ্ট নয় যে এটি সত্য।

এই সমস্ত সম্পর্কে পুরোপুরি বিভ্রান্ত হয়ে ওঠার পরে, আমি লিনিয়ার রিগ্রেশন কেসটির জন্য সামান্য সিমুলেশন চালানোর সিদ্ধান্ত নিয়েছি। আমি 10,000 ডেটাসেট কৃত্রিম = 50 এবং 3 সম্পর্কহীন ভবিষ্যতবক্তা, প্রতিটি সময় ব্যবহার সাধারণীকরণ ত্রুটি আনুমানিক হিসাব সঙ্গে ধা সিভি = 2, 5, 10, বা 50 = । আর কোডটি এখানে। সমস্ত 10,000 ডেটাসেটের (এমএসই ইউনিটে) জুড়ে সিভি অনুমানের ফলাফল এবং উপায়গুলি এখানে রয়েছে:কে কে $N$$K$$K$$N$

         k = 2 k = 5 k = 10 k = n = 50
mean     1.187 1.108  1.094      1.087
variance 0.094 0.058  0.053      0.051

এই ফলাফলগুলি প্রত্যাশিত প্যাটার্নটি দেখায় যে উচ্চতর মানগুলি কম হতাশাবাদী পক্ষপাতিত্বের দিকে পরিচালিত করে, তবে এটিও নিশ্চিত করে উপস্থিত হয় যে সিও অনুমানের বৈচিত্রটি এলওইউ ক্ষেত্রে সবচেয়ে কম নয়, সর্বোচ্চ নয়।$K$

সুতরাং দেখা যাচ্ছে যে উপরের কাগজপত্রগুলিতে উল্লিখিত "স্থিতিশীল" কেসগুলির মধ্যে লিনিয়ার রিগ্রেশন অন্যতম, যেখানে ক্রমবর্ধমান সিভি অনুমানগুলিতে বৈচিত্র্য বাড়ানোর পরিবর্তে হ্রাসের সাথে যুক্ত। তবে যা আমি এখনও বুঝতে পারি না তা হ'ল:$K$

• এই "স্থিতিশীলতা" শর্তটি ঠিক কী? এটি কি কিছুটা পরিমাণে মডেল / অ্যালগোরিদম, ডেটাসেট বা উভয় ক্ষেত্রেই প্রযোজ্য?
• এই স্থিতিশীলতা সম্পর্কে চিন্তা করার কোন অন্তর্নিহিত উপায় আছে?
• স্থিতিশীল এবং অস্থির মডেল / অ্যালগরিদম বা ডেটাসেটের অন্যান্য উদাহরণগুলি কী কী?
• এটি বেশিরভাগ মডেল / অ্যালগোরিদম বা ডেটাসেটগুলি "স্থিতিশীল" এবং এইজন্য সাধারণত উচ্চতর হিসাবে বেছে নেওয়া উচিত হিসাবে গণ্যমান্যভাবে সম্ভব?$K$

Comments

+1 টি। আপনার সিমুলেশন ফলাফলগুলিতে "মানে" ঠিক কী? জেনারালাইজেশন ত্রুটির গড় সিভি অনুমান (10000 ডেটাসেট জুড়ে মানে)? তবে এর সাথে আমাদের কী তুলনা করা উচিত? পক্ষপাতিত্ব দেখানো আরও অর্থবহ হবে, প্রকৃত সাধারণীকরণ ত্রুটি থেকে রুট-গড়-বর্গ-বিচ্যুতি। এছাড়াও, এই ক্ষেত্রে "সত্য সাধারণীকরণ ত্রুটি" কী? প্রদত্ত এন = 100 ডেটাসেটে অনুমানের সত্যিকারের সাধারণীকরণ ত্রুটি? বা সত্য সাধারণীকরণ ত্রুটির প্রত্যাশিত মান (সমস্ত এন = 100 ডেটাসেটের উপরে প্রত্যাশিত মান)? অথবা অন্য কিছু?

— অ্যামিবা বলছেন মনিকা

+1 টি। En.wikedia.org/wiki/… এ সংক্ষিপ্ত দৃষ্টিপাতের পরে এটি মনে হয় যে এই প্রসঙ্গে স্থিতিশীলতার অর্থ হল যে একটি অ্যালগরিদম এবং উদাহরণ সহ প্রশিক্ষণের জন্য একই ফলাফল দেয় । যেখানে অনুরূপ অর্থ পার্থক্য কব্জি করে কিছু লোকসান ফাংশন যা কিছু কম মান দ্বারা আবদ্ধ হয়এন - $N$$N-1$

— শুকস গ্র্যাড

তদন্য, আমি সম্প্রতি এটি সম্পর্কে @DikranMarsupial সঙ্গে কথা বলেছি (যিনি সম্ভবত ক্রস বৈধতা সিভি এখানে আমাদের প্রধান বিশেষজ্ঞদের এক হয়) মন্তব্য এখানে - তিনি Kohavi এর পড়া প্রস্তাব 1995 কাগজ । ডিকরান স্থিতিশীলতার কথাও বলছিলেন। দুর্ভাগ্যক্রমে, আমি তখন থেকে এটি অনুসরণ করি নি।

— অ্যামিবা বলছেন মনিকা

আমি মনে করি না, @ জেক। আমি যা লিখেছি তা আপনার "পাল্টা-অন্তর্দৃষ্টি "টিকে অকার্যকর করে তোলে, তবে মূল" স্বজ্ঞাত "(বিভিন্ন ভাঁজগুলির মডেলগুলি অত্যন্ত নির্ভরশীল হিসাবে এখনও) ধরে রাখতে পারে।

— অ্যামিবা বলছেন মনিকাকে

: stats.stackexchange.com/a/357749/28666 এর সাথে বৈকল্পিকতা হ্রাস পাচ্ছে এমন সিদ্ধান্তে সমর্থন করে এমন আরও একটি সিমুলেশন । $K$

— অ্যামিবা বলেছেন

Answer 1

এই উত্তরে আপ নীচে আমার উত্তর মধ্যে ছুটি এক-আউট বনাম বিরুদ্ধে পক্ষপাতিত্ব আর ভ্যারিয়েন্স কে-ভাঁজ ক্রস বৈধতা যে আলোচনা কেন LOOCV সবসময় না উচ্চতর ভ্যারিয়েন্স হতে। অনুরূপ পদ্ধতির অনুসরণ করে, আমি এমন একটি ক্ষেত্রে হাইলাইট করার চেষ্টা করব যেখানে এলইউইসিভি বিদেশিদের উপস্থিতিতে এবং একটি "অস্থির মডেল" এর উপস্থিতিতে উচ্চতর বৈচিত্রের দিকে নিয়ে যায়।

অ্যালগরিদমিক স্থিতিশীলতা (শেখার তত্ত্ব)

অ্যালগরিদমিক স্থিতিশীলতার বিষয়টি সাম্প্রতিক এক এবং বেশ কয়েকটি ক্লাসিক, অনুপ্রেরণামূলক ফলাফল গত 20 বছরে প্রমাণিত হয়েছে। এখানে কয়েকটি কাগজপত্র যা প্রায়শই উদ্ধৃত করা হয়

• মডেল নির্বাচনের অস্থিরতা এবং স্থিতিশীলতার উচ্চারণ (1996): লিও ব্রেইমান
• এলগোরিদিমিক স্থায়িত্ব এবং এলইউসিভি (1997) এর স্যানিটি চেক সীমানা : কেয়ার্নস, রন
• স্থিতিশীলতা এবং জেনারালাইজেশন (2002): বাউসকেট, এলিসিফ
• ক্রস-বৈধকরণ এবং গড়-স্কোয়ার স্থিতিশীলতা (2011) কালে, কুমার, ভাসিলভিটস্কি
• প্রায় সর্বত্র অ্যালগরিদমিক স্থায়িত্ব এবং সাধারণীকরণ ত্রুটি (২০১২): কুতিন, নিয়োগি
• বিষয়টিতে কিছু নোট: অ্যারিজোনা বিশ্ববিদ্যালয়

একটি বোধগম্যতা অর্জনের জন্য সেরা পৃষ্ঠাটি অবশ্যই উইকিপিডিয়া পৃষ্ঠা যা সম্ভবত খুব জ্ঞানী ব্যবহারকারী দ্বারা রচিত একটি দুর্দান্ত সংক্ষিপ্তসার সরবরাহ করে।

স্থায়িত্বের স্বজ্ঞাত সংজ্ঞা

স্বজ্ঞাতভাবে, একটি স্থিতিশীল অ্যালগরিদম এমন এক যার জন্য প্রশিক্ষণের ডেটা সামান্য পরিবর্তিত হলে ভবিষ্যদ্বাণীটি খুব বেশি পরিবর্তন হয় না।

সাধারণত, স্থায়িত্বের অর্ধ ডজন সংস্করণ রয়েছে, প্রযুক্তিগত শর্ত এবং শ্রেণিবিন্যাসের সাথে একত্রে যুক্ত, উদাহরণস্বরূপ এই গ্রাফিকটি এখানে দেখুন :

উদ্দেশ্য যাইহোক সহজ, আমরা যখন একটি অ্যালগরিদম স্থিতিশীলতার মানদণ্ডকে সন্তুষ্ট করি তখন একটি নির্দিষ্ট শিক্ষার অ্যালগরিদমের সাধারণীকরণ ত্রুটির উপর কঠোর সীমাবদ্ধতা পেতে চাই। যেমনটি প্রত্যাশা করা যায়, স্থিতিশীলতার মানদণ্ড তত বেশি বিধিনিষেধযুক্ত, তত বেশি সংকীর্ণতর আবদ্ধ হবে।

স্বরলিপি

নিম্নলিখিত স্বরলিপি উইকিপিডিয়া নিবন্ধ থেকে প্রাপ্ত, যা নিজেই বাউসকেট এবং এলিসিফের কাগজটি অনুলিপি করে:

• প্রশিক্ষণ সেট অজানা ডিস্ট্রিবিউশন থেকে iid আঁকা$S = \{ z_1 = (x_1,y_1), ..., z_m = (x_m, y_m)\}$
• উদাহরণস্বরূপ সম্পর্কিত একটি অনুমান এর ক্ষতি ফাংশন কে হিসাবে সংজ্ঞায়িত করা হয়েছেএফ জেড ভি ( ফ , জেড $V$$f$$z$$V(f,z)$
• আমরা থিম উপাদানটি সরিয়ে প্রশিক্ষণের সেটটি পরিবর্তন করেছি :$i$$S^{|i} = \{ z_1,...,z_{i-1}, z_{i+1},...,z_m\}$
• বা থিম উপাদানটি প্রতিস্থাপন করে :$i$$S^{i} = \{ z_1,...,z_{i-1}, z_i^{'}, z_{i+1},...,z_m\}$

আনুষ্ঠানিক সংজ্ঞা

স্থিতিশীলতার সবচেয়ে শক্তিশালী ধারণাটি যা একটি আকর্ষণীয় শেখার অ্যালগরিদমটি মেনে চলার প্রত্যাশা করা হতে পারে তা হ'ল অভিন্ন স্থিতিশীলতা :

অভিন্ন স্থায়িত্ব একটি অ্যালগরিদমের অভিন্ন স্থিতিশীলতা রয়েছে w ক্ষতির ফাংশন প্রতি শ্রদ্ধা রাখে যদি নিম্নলিখিতটি থাকে:$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

ফাংশন হিসাবে বিবেচিত , শব্দটি হিসাবে লেখা যেতে পারে । বলতে অ্যালগরিদম স্থিতিশীল যখন যেমন কমে যায় । স্থায়িত্বের কিছুটা দুর্বল রূপ:$m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

হাইপোথিসিসের স্থায়িত্ব

$$\forall i \in \{ 1,...,m\}, \ \ \mathbb{E}[\ | V(f_s,z) - V(f_{S^{|i},z}) |\ ] \ \leq \beta$$

যদি একটি বিষয় মুছে ফেলা হয় তবে লার্নিং অ্যালগরিদমের ফলাফলের পার্থক্যের ক্ষতিগুলির গড় পরম পার্থক্য ( আদর্শ) দ্বারা পরিমাপ করা হয় । স্বজ্ঞাতভাবে: নমুনায় ছোট পরিবর্তনগুলি কেবলমাত্র অ্যালগরিদমকে কাছের হাইপোথিসিতে স্থানান্তরিত করতে পারে।$L_1$

স্থিতিশীলতার এই ফর্মগুলির সুবিধা হ'ল তারা স্থিতিশীল অ্যালগরিদমের পক্ষপাত এবং বৈচিত্রের সীমা সরবরাহ করে। বিশেষত, 2002 সালে ইউনিফর্ম এবং হাইপোথিসিসের স্থিতিশীলতার জন্য এই সীমাটি প্রমাণ করেছিলেন বসুয়েট। তার পর থেকে স্থিতিশীলতার পরিস্থিতি শিথিল করার এবং সীমানা সাধারণ করার চেষ্টা করার জন্য অনেক কাজ করা হয়েছে, উদাহরণস্বরূপ, ২০১১ সালে কালে, কুমার, ভ্যাসিলভিটস্কি যুক্তি দিয়েছিলেন যে বর্গ স্থিতিশীলতা রয়েছে আরও ভাল বৈকল্পিক পরিমাণগত বৈকল্পিক হ্রাস সীমা সরবরাহ করে।

স্থিতিশীল অ্যালগরিদমের কয়েকটি উদাহরণ

নিম্নলিখিত অ্যালগরিদমগুলি স্থিতিশীল বলে প্রমাণিত হয়েছে এবং সাধারণীকরণের প্রমাণ রয়েছে:

• সর্বনিম্ন স্কোয়ার রিগ্রেশন নিয়মিত করুন (যথাযথ পূর্বের সাথে)
• 0-1 ক্ষতি ফাংশন সহ কেএনএন শ্রেণিবদ্ধকারী
• বাউন্ডেড কার্নেল এবং বৃহত নিয়মিতকরণ ধ্রুবক সহ এসভিএম
• নরম মার্জিন এসভিএম
• শ্রেণিবিন্যাসের জন্য ন্যূনতম আপেক্ষিক এনট্রপি অ্যালগরিদম
• নিয়মিত ব্যাগিংয়ের একটি সংস্করণ

একটি পরীক্ষামূলক সিমুলেশন

পূর্ববর্তী থ্রেড থেকে পরীক্ষার পুনরাবৃত্তি ( এখানে দেখুন ), আমরা এখন ডেটা সেটে বিদেশিদের একটি নির্দিষ্ট অনুপাত প্রবর্তন করি। নির্দিষ্টভাবে:

• 97% ডেটাতে অভিন্ন শব্দ রয়েছে$[-.5,.5]$
• অভিন্ন শব্দের সাথে 3% ডেটা$[-20,20]$

হিসাবে অর্ডার বহুপদী মডেল নিয়মিত না, এটা ব্যাপকভাবে ছোট ডেটা সেটের জন্য কয়েক outliers উপস্থিতিতে দ্বারা প্রভাবিত করা হবে না। বৃহত্তর ডেটাসেটের জন্য, বা আরও বেশি বিদেশী থাকাকালীন, বাতিল হওয়ার প্রবণতার কারণে তাদের প্রভাব কম। 60 এবং 200 ডেটা পয়েন্টের জন্য দুটি মডেলের জন্য নীচে দেখুন।$3$

আগের হিসাবে সিমুলেশনটি সম্পাদন করা এবং এমএসইর ফলাফল গড় এমএসই এবং বৈকল্পিক প্লট করা বেনজিও এবং গ্র্যান্ডভ্যালেট 2004 পত্রিকার পরীক্ষাগুলির 2 এর সাথে খুব মিল দেয় ।

বাম হাত সাইড : কোন বিদেশী। ডান হাত সাইড : 3% outliers।

(শেষ চিত্রের ব্যাখ্যার জন্য লিঙ্কযুক্ত কাগজটি দেখুন)

ব্যাখ্যা

অন্য থ্রেডে ইয়ভেস গ্র্যান্ডভ্যালেটের উত্তর উদ্ধৃত করা :

স্বজ্ঞাতভাবে, [অস্থির অ্যালগরিদমের পরিস্থিতিতে], ছুটির বাইরে থাকা সিভি উপস্থিত থাকা অস্থিরতার জন্য অন্ধ হতে পারে তবে প্রশিক্ষণের ডেটাতে একটি বিন্দু পরিবর্তন করে এটি ট্রিগার করা যায় না, যা এটি বাস্তবায়নের জন্য অত্যন্ত পরিবর্তনশীল করে তোলে প্রশিক্ষণ সেট.

অনুশীলনে LOOCV এর কারণে বৈকল্পিক বৃদ্ধির অনুকরণ করা বেশ কঠিন। এটির জন্য অস্থিরতার একটি নির্দিষ্ট সংমিশ্রণ প্রয়োজন, কিছু বহিরাগত কিন্তু খুব বেশি নয় এবং প্রচুর পরিমাণে পুনরাবৃত্তি প্রয়োজন। লিনিয়ার রিগ্রেশনটি বেশ স্থিতিশীল বলে দেখানো হওয়ায় সম্ভবত এটি প্রত্যাশিত। আকর্ষণীয় পরীক্ষাটি হ'ল উচ্চ মাত্রিক ডেটা এবং আরও অস্থির অ্যালগরিদম (উদাহরণস্বরূপ সিদ্ধান্ত গাছ) এর জন্য এটি পুনরাবৃত্তি করা to

Comments

+1 তবে আমি আশা করি যে এই থ্রেডটি শেষ পর্যন্ত লিঙ্কযুক্তটির সদৃশ হিসাবে বন্ধ হয়ে যেতে পারে (আমি অনুগ্রহকালীন সময় শেষ না হওয়া পর্যন্ত এবং আলোচনার বশীভূত হওয়া অবধি অপেক্ষা করতাম এবং দেখুন কী উত্তর গৃহীত হবে শেষ হবে)। আমি আরও পরে মন্তব্য করব।

— অ্যামিবা

আমি সত্যই নিশ্চিত নই যে প্রশ্নটি একটি সদৃশ। আমার প্রশ্নটি মূলত প্রশ্নগুলির কাঠামোর উপায় হিসাবে এলইউ ইস্যুটির বৈকল্পিকতাটি ব্যবহার করে, যা "স্থিতিশীলতা" এর অর্থ কী তার একটি সহজলভ্য ব্যাখ্যা পাওয়ার চেষ্টা সম্পর্কে - ওপিটির শীর্ষে এবং নীচে বুলেট-নির্দেশিত প্রশ্নগুলি দেখুন। যার উত্তর, যখন এই উত্তরটি কার্যকর (+1), আমি দেখতে পাচ্ছি না যে আপনি স্থায়িত্বের প্রশ্নগুলির উত্তর দেওয়ার চেষ্টা করেছিলেন ... আপনি এই শব্দটি কয়েকবার ব্যবহার করেছেন, তবে আপনি এমনভাবে মনে করছেন যে ধরে নিল পাঠক এর অর্থ কী তা ইতিমধ্যে জানে। নিশ্চিত না যে আমি উত্তরটি বর্তমান আকারে গ্রহণ করতে পারি।

— জেক ওয়েস্টফল 21'18

@ জ্যাকওয়েস্টফল যখন আমি লিখেছিলাম যে আমি "আশা করি" এই থ্রেডটি শেষ পর্যন্ত নকল হিসাবে বন্ধ করা যেতে পারে, তখন আমি বোঝাতে চেয়েছিলাম যে এই থ্রেডের একটি স্বীকৃত উত্তর শেষ পর্যন্ত যথেষ্ট হবে যে এটি আপনার সম্পর্কে জিজ্ঞাসিত জিনিসগুলিকে আবৃত করবে :) বেনজিও এবং গ্র্যান্ডভ্যালেট কাগজ, পরীক্ষা 2 দেখুন They ভাঁজ বা তাই। আমি মনে করি প্রাসঙ্গিক "স্থিতিশীলতা" কী সম্পর্কে এটি ইঙ্গিত দেয়।

— অ্যামিবা বলছেন

আমি এটি @ জাভিয়ারবুরেটসাইকোট পছন্দ করি। এই উত্তরে এত বড় কাজ করার জন্য ধন্যবাদ।

— জেক ওয়েস্টফল

হ্যাঁ, এই কাগজটি উদ্ধৃত করে: pdfs.semanticscholar.org/bf83/… : "একটি স্থিতিশীল অ্যালগরিদমের এমন সম্পত্তি রয়েছে যা তার শেখার সেটে একটি উপাদানকে প্রতিস্থাপন করলে তার ফলাফলের তেমন কোনও পরিবর্তন হয় না a ফলস্বরূপ, অভিজ্ঞতাগত ত্রুটি, যদি ভাবা হয় দৈব চলক একটি ছোট ভ্যারিয়েন্স থাকা উচিত স্থিতিশীল আলগোরিদিম তারপর ভাল প্রার্থী হতে পারে তাদের গবেষণামূলক ত্রুটি তাদের সাধারণীকরণ ত্রুটির বন্ধ হতে পারে।।

— জেভিয়ার Bourret Sicotte

Answer 2

আপনার উদ্ধৃত অনুচ্ছেদের প্রসঙ্গে আমি আমার উত্তর দেব:

কে = এন এর সাথে, ক্রস-বৈধতা অনুমানকারীটি সত্য (প্রত্যাশিত) পূর্বাভাস ত্রুটির জন্য প্রায় পক্ষপাতহীন, তবে উচ্চতর বৈকল্পিকতা থাকতে পারে কারণ এন "প্রশিক্ষণ সেট" একে অপরের সাথে একই রকম।

সত্য (প্রত্যাশিত) পূর্বাভাস ত্রুটির সিভি অনুমানক একটি প্রশিক্ষণ সেট উদাহরণের উপর ভিত্তি করে, সুতরাং এখানে, প্রত্যাশা প্রশিক্ষণের সেটগুলির নমুনাগুলির চেয়ে বেশি, যখন আমি এটি সঠিকভাবে বুঝতে পারি।

সুতরাং, "উচ্চ বৈকল্পিক" সম্পর্কিত এই অনুচ্ছেদে যা বলেছে তা হ'ল প্রত্যাশিত ত্রুটি এবং সিভি দ্বারা নির্ধারিত ত্রুটির মধ্যে একটি "উচ্চ" পার্থক্য রয়েছে (যা এখানে গড় ভাঁজ হয়ে গেছে)।

এটি উপলব্ধি করে কারণ মডেলটি একটি নির্দিষ্ট প্রশিক্ষণ সংস্থার সাথে খাপ খায় এবং কারণ সমস্ত প্রশিক্ষণের ভাঁজগুলি ছুটি-এক-আউটের মধ্যে একই রকম। যাইহোক, প্রশিক্ষণের ভাঁজগুলি যখন কোনও সিভি রাউন্ডের মধ্যে খুব একই রকম হয় তবে আমরা যদি সিভির জন্য প্রশিক্ষণের নমুনাগুলি অদলবদল করি তবে অনুমানটি সম্ভবত অনেকটাই পৃথক। কে-ফোল্ড সিভিতে, যেহেতু আমরা প্রশিক্ষণের ভাঁজগুলিকে "বৈচিত্র" করি, তাই আমাদের কিছু গড় প্রভাবিত হয় এবং কে-ভাঁজ জুড়ে, অনুমানগুলি তখন কম আলাদা হয়।

বা অন্য কথায়, লিভ-ওয়ান-আউট সিভি অনুমানকটি মূলত হোল্ডআউট পদ্ধতির মতো হয় আপনি যদি ভাঁজগুলি ঘোরান না এবং আপনার ত্রুটির অনুমানকে কোনও বৈধতা সেটটিতে ভিত্তি করে না। আবার প্রশিক্ষণের উদাহরণগুলির তুলনায়, কে-ফোল্ডের অনুমানের তুলনায় উচ্চতর বৈচিত্র হবে, যেখানে আপনি কে-ভাঁজ রাউন্ডের মধ্যে ইতিমধ্যে কিছুটা বৈচিত্র্যময় মডেলকে প্রশিক্ষণ দিয়ে ভাঁজকে গড় করেন (অন্য কথায়, আপনি যদি প্রশিক্ষণের সেটগুলি সরিয়ে নিয়ে থাকেন তবে এর অনুমানগুলি কে-ফোল্ডের মাধ্যমে ত্রুটি সম্ভবত খুব বেশি আলাদা হবে না)।

সম্পাদনা করুন:

আমি যখন ক্রস-বৈধতা এবং সাধারণভাবে ইন্টারনেটে কিছু উত্তর পড়ি তখন আমার মনে হয় আমরা কোন অনুমানকারীকে উল্লেখ করছি তাতে কিছু বিভ্রান্তি আছে seems আমি মনে করি কিছু লোকের উচ্চমানের বৈকল্পিক (একটি এমএল টক হ'ল ক্ষতির জন্য একটি ডাইমিনিং ভেরিয়েন্স উপাদান রয়েছে) এবং কে-ফোল্ড সিভি অনুমানক এর উচ্চ বৈকল্পিকের একটি মডেল উল্লেখ করেন। এবং, উত্তরগুলির অন্য সেটগুলি বৈকল্পিকতাটিকে ভাঁজগুলি সম্পর্কিত নমুনা ভেরিয়েন্স হিসাবে উল্লেখ করে যখন কেউ বলে যে "কে-ফোল্ডে উচ্চতম বৈকল্পিক রয়েছে"। সুতরাং, আমি নির্দিষ্ট হওয়ার পরামর্শ দিচ্ছি, কারণ উভয় ক্ষেত্রেই উত্তরগুলি পৃথক answers

Comments

বৈকল্পিকতা নিয়ে আলোচনার সময় আমার ধারণাটি হ'ল আমরা এখানে সংজ্ঞায়িত হিসাবে প্রশিক্ষণ সেট ডি সম্পর্কে সিভি অনুমানকারীটির বৈকল্পিকতা সম্পর্কে কথা বলছি: stats.stackexchange.com/questions/365224/… এবং এখানে: stats.stackexchange.com/questions/325123/… । ইয়েভেস গ্র্যান্ডভ্যালেট এবং বেনজিও তাদের 2004 সালের কাগজে যুক্তি দিয়েছিলেন যে সিভি প্রত্যাশিত ভবিষ্যদ্বাণী ত্রুটির অনুমান করে। আপনি তার প্রতিক্রিয়াটি এখানে দেখতে পারেন: stats.stackexchange.com/a/358138/192854

— জাভিয়ের

আপনি যদি নিজের উত্তরটির বৈকল্পিকতার বিভিন্ন সংজ্ঞা ভিত্তিতে ভিত্তি করে থাকেন তবে আমি মনে করি আনুষ্ঠানিক সংজ্ঞা এবং সূত্রগুলি যুক্ত করা সহায়ক হবে। সম্ভবত আমার

— জবাবগুলিতে

হ্যাঁ, আমার সাহিত্যের কিছুটা পর্যালোচনা করা উচিত এবং উত্তরে কিছু সূত্র যুক্ত করা উচিত। স্ট্যাটিস্টিকাল লার্নিংয়ের উপাদানগুলির উদ্ধৃতিটি এখনও আমার কাছে স্বজ্ঞাত যদিও, এলওইউসিভি-র একটি উচ্চ বৈকল্পিকতা রয়েছে যদি মডেলের উচ্চতর বৈকল্পিকতা থাকে, কারণ এটি ভাঁজগুলির চেয়ে গড় average যদি কোনও মডেলের উচ্চ পক্ষপাত থাকে তবে উভয় এলইউসিভি এবং যে কোনও কে-ভাঁজ অনুমানকারীগুলির কম বৈকল্পিক হওয়া উচিত (পক্ষপাতের তুলনায় স্বতন্ত্র) কারণ ভবিষ্যদ্বাণীগুলি এতটা পৃথক হবে না। তবে অনুচ্ছেদে পয়েন্টটি ছিল প্রোব। বেশিরভাগ ক্ষেত্রে কে-ভাড়ার তুলনায় সেই এলইউসিভি

উদ্ধৃতিটি ভুল হিসাবে দেখানো হয়েছে - কমপক্ষে একটি সাধারণীকরণ হিসাবে - আমার উত্তরগুলিতে উদ্ধৃত একাধিক কাগজপত্র দেখুন

— জেভিয়ার বুরেট সিকোট

Answer 3

আমরা এর আগেও করেছি - আপনি একটি মৃত ঘোড়া সম্পর্কে খুব গাণিতিক হচ্ছেন। সিভিতে রন কোহাভির (স্ট্যানফোর্ড-ইউনিভ) ক্লাসিক কাগজ এবং পক্ষপাত-বৈকল্পিক দ্বিধা দেখুন এখানে । আপনি যখন এটি পড়তে পেরেছেন, আপনি LOOCV সম্পাদন করতে চাইবেন না এবং সম্ভবত 10-গুণ সিভি এবং / অথবা বুটস্ট্র্যাপ-বায়াস সিভিতে আকৃষ্ট হবে।

আপনাকে বড় ডেটাসেটগুলি সম্পর্কেও ভাবতে হবে, যার জন্য LOOCV খুব কম গণনামূলকভাবে ব্যয়বহুল। বর্তমানে, বেশিরভাগ গ্রুপের কর্মপ্রবাহ / পাইপলাইনগুলিতে LOOCV আসলেই কোনও বিকল্প নয়।

এই "স্থিতিশীলতা" শর্তটি ঠিক কী? এটি কি কিছুটা পরিমাণে মডেল / অ্যালগোরিদম, ডেটাসেট বা উভয় ক্ষেত্রেই প্রযোজ্য?

সমস্ত ব্যয় ক্রিয়াকলাপের মহাবিশ্বে এবং সমস্ত বৈশিষ্ট্য সেটগুলির মহাবিশ্বে, আমি ধরেই নেব না যে সামগ্রিক "স্থিতিশীলতা" সূচক রয়েছে, কারণ এটি অগ্রহণযোগ্য নয়, এবং অসীম বৃহত সংখ্যার অধীনে ভেঙে যাওয়ার ঝুঁকিপূর্ণ হবে would শর্ত। মৌলিকভাবে, এবং / অথবা # পরামিতি এত বড় হলে আরও প্রশিক্ষণের ডেটা প্রয়োজন হয় তখন উপযুক্ত। প্রশিক্ষণ ডেটাসেট একে অপরের সাথে খুব সমান হওয়ায় জন্য বায়াস আরও বেশি হবে , যেহেতু আরও ডেটা ব্যবহৃত হয় এবং বৈকল্পিকটি শূন্য হবে। আপনি যখন তখন ডেটাতে আরও শব্দ শিখতে পারেন । $k=n$$k=n$$k=n$

ক্লাসিফায়ার হিসাবে এলআরইজি কাজ করবে যখন ডেটা লাইনগতভাবে পৃথকযোগ্য, তবে গড়ে এটির পক্ষপাত খুব বেশি হবে, কারণ অনেকগুলি ডেটাসেট একরকম পৃথক নয়।

এই স্থিতিশীলতা সম্পর্কে চিন্তা করার কোন অন্তর্নিহিত উপায় আছে?

আমার দৃষ্টিতে নয় - যেহেতু স্থায়িত্বের কোনও সাধারণ নিয়ম নেই।

স্থিতিশীল এবং অস্থির মডেল / অ্যালগরিদম বা ডেটাসেটের অন্যান্য উদাহরণগুলি কী কী?

এটি উন্মুক্ত এবং অত্যন্ত বিস্তৃত, যেহেতু অসীম বিপুল সংখ্যক প্রতিক্রিয়া সংকলিত হতে পারে, যা সহায়ক হবে না।

এটি বেশিরভাগ মডেল / অ্যালগোরিদম বা ডেটাসেটগুলি "স্থিতিশীল" এবং এইজন্য সাধারণত উচ্চতর হিসাবে বেছে নেওয়া উচিত হিসাবে গণ্যমান্যভাবে সম্ভব?$K$

নং নং। কেবলমাত্র নির্ভর করে ধরে নেওয়া যায় যে আপনি ডেটা বিশ্বাস করেন। উদাহরণ র্যান্ডম অরণ্য, যার জন্য সত্যিকার অর্থে কোনও । প্রায় ৩ 37% উপাত্ত পরীক্ষার জন্য ব্যবহৃত হবে (গড় হিসাবে প্রতিস্থাপনের সাথে নমুনা নেওয়ার সময় ৩ objects% অবজেক্টস নির্বাচন করা হয় না), যেমন 5,000,০০০ টি বিভিন্ন ডেটাসেট (বুটস্ট্র্যাপ) রয়েছে যার প্রতিটি প্রশিক্ষণ / পরীক্ষায় পৃথক পৃথকভাবে বিভক্ত। আপনার কাগজপত্র থেকে টানা উদাহরণটি ধরে নেওয়া হয়েছে যে ব্যবহৃত প্রতিটি ডেটাসেট তথ্যগুলির সত্যিকারের উপলব্ধি which যা একটি ভুল ধারণা। $k$$k$

বুটস্ট্র্যাপিং দেওয়া, আশেপাশের স্থিতিশীলতার নিয়ম মান্যযোগ্য, যেহেতু জড়িত একটি সোজা সিভি পদ্ধতির জন্য ব্যবহৃত ডেটা নমুনা যে সমস্ত নমুনা থেকে নমুনাটি প্রাপ্ত হয়েছিল তার সমস্ত মহাবিশ্বের সত্যিকারের উপলব্ধি নয়। $k$$k$

Comments

আপনার মন্তব্যের জন্য ধন্যবাদ, তবে এটি প্রশ্নের উত্তর বলে মনে হচ্ছে না।

— জেক ওয়েস্টফল

ওপিতে সংযুক্ত উত্তরটি দেখুন।

— JoleT

কেবল নিবন্ধটি স্কাইম করেছে তবে তারা অত্যন্ত নড়বড়ে স্থানে 10x সেরা হওয়ার বিষয়ে তাদের দাবীটি সত্যই করেছে বলে মনে হচ্ছে । আমি বিশ্বাস করতে পারি না যে এর 7 কে উদ্ধৃতি রয়েছে। এই বলে যে, 10x এর বেশি লাভের অনেক কারণ রয়েছে বলে বিশ্বাস করার পক্ষে যুক্তিযুক্ত কারণ আছে reason সুযোগ পেলে আরও পুস্তক পড়ব।

— ক্লিফ এবি