ক্রস বৈধতা কার্যকারণ অনুমান জন্য ব্যবহার করা যেতে পারে?

Question

সমস্ত প্রসঙ্গে আমি ক্রস-বৈধকরণের সাথে পরিচিত, এটি সম্পূর্ণরূপে ভবিষ্যদ্বাণীমূলক নির্ভুলতা বাড়ানোর লক্ষ্যে ব্যবহৃত হয়। চলকগুলির মধ্যে নিরপেক্ষ সম্পর্কের অনুমানে ক্রস বৈধতার যুক্তি বাড়ানো যেতে পারে?

যদিও রিচার্ড বার্কের এই কাগজটি "চূড়ান্ত" রিগ্রেশন মডেলটিতে পরামিতি নির্বাচনের জন্য হোল্ড আউট নমুনার ব্যবহার প্রদর্শন করে (এবং কেন ধাপে ধাপে পরামিতি নির্বাচন একটি ভাল ধারণা নয়), এখনও আমি দেখতে পাই না যে এটি ঠিক কীভাবে নিশ্চিত করে যুক্তির ভিত্তিহীন অনুমানটি Y এর উপর যুক্তিযুক্ত এবং বিষয়টির পূর্ববর্তী জ্ঞানের উপর ভিত্তি করে কোনও মডেল চয়ন করার চেয়ে আরও বেশি Y

আমি জিজ্ঞাসা করি যে লোকেরা এমন উদাহরণগুলি উদ্ধৃত করে যার মধ্যে কারন কার্যনির্বাহী সাহায্যে কোনও হোল্ড-আউট নমুনা ব্যবহার করে, বা আমার রচনাগুলিকে আমার বুঝতে সহায়তা করতে পারে এমন সাধারণ রচনাগুলি। আমি ক্রস বৈধতা সম্পর্কে আমার ধারণাটি নিখুঁত সন্দেহও করি না, এবং তাই যদি এটি বলা হয়। এটি হোল্ড আউট নমুনার ব্যবহার কার্যকারিতা অনুক্রমের পক্ষে উপযুক্ত হবে বলে মনে হয়, তবে আমি এমন কোনও কাজ জানি না যা এটি করে বা তারা কীভাবে এটি করবে।

বার্ক পেপারের জন্য উদ্ধৃতি:

মডেল নির্বাচনের পরে পরিসংখ্যানগত সূচনা লিখেছেন : রিচার্ড বার্ক, লরেন্স ব্রাউন, কোয়ান্টেটিভ ক্রিমিনোলজির লিন্ডা ঝাও জার্নাল, খণ্ড। 26, নং 2. (1 জুন 2010), পৃষ্ঠা 217-236।

পিডিএফ সংস্করণ এখানে

সিএল দ্বারা ছোট নমুনা গবেষণায় অনুসন্ধানের তথ্য বিশ্লেষণের উপর এই প্রশ্নটি উত্সাহিত করেছিল।

Answer 1

আমি মনে করি ক্রস-বৈধকরণ সম্পর্কে আমরা কী জানি তা পর্যালোচনা করা দরকারী। সিভি এর চারপাশে পরিসংখ্যানগত ফলাফল দুটি শ্রেণিতে পড়ে: দক্ষতা এবং ধারাবাহিকতা।

ভবিষ্যদ্বাণীপূর্ণ মডেলগুলি তৈরি করার সময় দক্ষতার সাথে আমরা সাধারণত উদ্বিগ্ন। ধারণাটি হ'ল আমরা ক্ষতির ক্রিয়াকলাপ সম্পর্কিত অসম্পূর্ণ গ্যারান্টি সহ একটি মডেল নির্ধারণ করতে সিভি ব্যবহার করি। এখানে সর্বাধিক বিখ্যাত ফলাফল পাথর 1977 এর কারণে এবং এটি দেখায় যে এলইউ সিভি হ'ল এআইসির সমতুল্য equivalent তবে, ব্রেট একটি ভাল উদাহরণ প্রদান করে যেখানে আপনি এমন একটি ভবিষ্যদ্বাণীপূর্ণ মডেল খুঁজে পেতে পারেন যা কার্যকারিতা সম্পর্কে আপনাকে অবহিত করে না।

ধারাবাহিকতা হ'ল আমাদের লক্ষ্য যদি "সত্য" মডেলটি সন্ধান করে তবে আমরা তার সাথে উদ্বিগ্ন। ধারণাটি হ'ল আমরা সিভি ব্যবহার করি এমন মডেল নির্ধারণের জন্য অ্যাসিপটোটিক গ্যারান্টি সহ যা আমাদের মডেলের স্পেসটিতে সত্যিকারের মডেল অন্তর্ভুক্ত রয়েছে, আমরা এটি একটি বৃহত পরিমাণে নমুনা সহ আবিষ্কার করব। এখানে সর্বাধিক বিখ্যাত ফলাফল লিনিয়ার মডেলগুলি সম্পর্কে শাও 1993 এর কারণে , তবে যেমন তিনি তার বিমূর্তে উল্লেখ করেছেন, তাঁর "বিস্ময়কর আবিষ্কার" এলইউর ফলাফলের বিপরীতে। রৈখিক মডেলগুলির জন্য, আপনি হিসাবে হিসাবে LKO সিভি ব্যবহার করে ধারাবাহিকতা অর্জন করতে পারেন । রৈখিক mdoels এর বাইরে, পরিসংখ্যানগত ফলাফল পাওয়া শক্ত। এন → $k/n \rightarrow 1$$n \rightarrow \infty$

তবে ধরুন আপনি ধারাবাহিকতার মানদণ্ড পূরণ করতে পারেন এবং আপনার সিভি পদ্ধতিটি সত্য মডেল বাড়ে: । কার্যকারিতা সম্পর্কে আমরা কী শিখলাম? আমরা কেবল জানি যে এবং মধ্যে একটি সুস্পষ্ট সংজ্ঞা রয়েছে , যা কার্যকরী দাবি সম্পর্কে বেশি কিছু বলে না। একটি traditionalতিহ্যগত দৃষ্টিকোণ থেকে, কার্যকারিতা দাবি করার জন্য আপনাকে নিয়ন্ত্রণ / কারসাজির প্রক্রিয়া সহ পরীক্ষামূলক নকশা আনতে হবে। জুডিয়া পার্লের কাঠামোর দৃষ্টিকোণ থেকে, আপনি কোনও কাঠামোগত মডেলটিতে কার্যকারণ অনুমানগুলি বেক করতে পারেন এবং কিছু দাবি উত্পন্ন করার জন্য কাউন্টারফ্যাক্টুয়ালগুলির সম্ভাব্যতা ভিত্তিক ক্যালকুলাস ব্যবহার করতে পারেন, তবে আপনাকে কিছু বৈশিষ্ট্য সন্তুষ্ট করতে হবে । Y $Y = \beta X + e$$Y$$X$

সম্ভবত আপনি বলতে পারেন যে সিভি সত্যিকারের মডেল সনাক্তকরণের মাধ্যমে কার্যকারিতা নির্ধারণে সহায়তা করতে পারে (আপনি যদি ধারাবাহিকতার মানদণ্ডটি পূরণ করতে পারেন তবে!)। তবে এটি আপনাকে এখনও পর্যন্ত পেয়েছে; সিভি নিজেই কার্যকারণ সূত্রের কাঠামোর কোনও কাজই করছে না।

ক্রস-বৈধকরণের সাথে আমরা কী বলতে পারি তার বিষয়ে যদি আপনি আরও আগ্রহী হন তবে আমি 1993 সালের বহুলাংশে উদ্ধৃত কাগজের চেয়ে শাও 1997 এর সুপারিশ করব:

• রৈখিক মডেল নির্বাচনের জন্য একটি অ্যাসিম্পটোটিক তত্ত্ব (শাও, 1997)

আপনি বড় ফলাফলগুলি দিয়ে স্কিম করতে পারেন, তবে এর পরে আলোচনাটি পড়ে আকর্ষণীয়। আমি ভেবেছিলাম রাও এবং তিবশিরানী এবং স্টোন দ্বারা দেওয়া মন্তব্যগুলি বিশেষভাবে অন্তর্দৃষ্টিপূর্ণ ছিল। তবে মনে রাখবেন যে তারা ধারাবাহিকতা নিয়ে আলোচনা করার সময়, কারণ সম্পর্কে কোনও দাবি কখনও করা হয় না।

Comments

সমস্ত তথ্যসূত্র, বিশেষত জুডিয়া পার্ল প্রতিক্রিয়াগুলির জন্য আপনাকে ধন্যবাদ (এই সংক্ষিপ্ত প্রতিক্রিয়া প্রবন্ধগুলিতে আমার সমস্ত দুর্দান্ত তথ্যের উপর ভিত্তি করে বইটি কিনতে হবে।)

— অ্যান্ডি ডব্লিউ

ডাউনভোটের জন্য মন্তব্যগুলি সর্বদা স্বাগত!

— chl

Answer 2

এটি একটি সত্যিই আকর্ষণীয় প্রশ্ন এবং আমি কোনও নির্দিষ্ট উদ্ধৃতি দেই না। তবে, সাধারণভাবে, আমি বলব, না এবং কোনওক্রমে, ক্রস-বৈধতা কার্যকারণের কোনও অন্তর্দৃষ্টি দেয় না। নকশা করা পরীক্ষার অভাবে কার্যকারিতার বিষয়টি সর্বদা অনিশ্চিত থাকে। আপনার পরামর্শ অনুসারে, ক্রস-বৈধকরণ ভবিষ্যদ্বাণীমূলক যথার্থতাকে উন্নত করতে পারে এবং করবে। এটি, একা, কারণ সম্পর্কে কিছুই বলে না।

নকশা করা পরীক্ষার অনুপস্থিতিতে, কার্যকারিতা অনুমানের জন্য এমন একটি মডেল প্রয়োজন যা প্রাসঙ্গিক সমস্ত ভবিষ্যদ্বাণীকে অন্তর্ভুক্ত করে - এমন একটি বিষয় যা আমরা খুব কমই পর্যবেক্ষণ গবেষণায় গ্যারান্টি দিতে পারি। তদুপরি, একটি সরল ল্যাগ ভেরিয়েবল, উদাহরণস্বরূপ (বা আমরা যে ফলাফলের সাথে ভবিষ্যদ্বাণী করার চেষ্টা করছিলাম তার সাথে অত্যন্ত সংযুক্ত কিছু) একটি ভাল মডেল এবং একটিকে একাধিক নমুনায় বৈধ করা যেতে পারে produce তবে এর অর্থ এই নয় যে আমরা কার্যকারিতা অনুমান করতে পারি। ক্রস-বৈধতা পূর্বাভাসগুলিতে পুনরাবৃত্তিযোগ্যতা এবং আরও কিছুতেই আশ্বাস দেয়। কার্যকারিতা নকশা এবং যুক্তিযুক্ত বিষয়।

সম্পাদনা: এখানে উদাহরণ দেওয়ার জন্য একটি উদাহরণ। আমি ভাল ভবিষ্যদ্বাণীমূলক নির্ভুলতার সাথে এমন একটি মডেল তৈরি করতে পারি যা কোনও নগরীর জনসংখ্যা পূর্বাভাস দেয় যে নগরের পরিমাণ জঞ্জাল অপসারণে ব্যয় করে। পূর্বাভাসের যথার্থতা উন্নত করতে এবং আরও স্থিতিশীল পরামিতিগুলি পেতে আমি সেই মডেলের যথার্থতা এবং সেইসাথে অন্যান্য পদ্ধতিগুলির পরীক্ষা করতে ক্রস-বৈধকরণ ব্যবহার করতে পারি। এখন, যখন এই মডেলটি পূর্বাভাসের জন্য দুর্দান্ত কাজ করে, কার্যকারণ যুক্তিটি ভুল - কারণের দিকটি বিপরীত হয়। গণপূর্ত বিভাগের লোকেরা যেভাবেই তর্ক করতে পারে তা বিবেচনা না করেই, আবর্জনা অপসারণের জন্য তাদের বাজেট বৃদ্ধি করা শহরের জনসংখ্যা (কার্যকারণীয় ব্যাখ্যা) বাড়ানোর পক্ষে ভাল কৌশল হবে না।

কোনও মডেলের যথার্থতা এবং পুনরাবৃত্তির বিষয়গুলি আমরা যে সম্পর্কগুলি পর্যবেক্ষণ করি সে সম্পর্কে কার্যকারণ সূচনা করার আমাদের ক্ষমতা থেকে পৃথক। ক্রস-বৈধতা আমাদের পূর্বের সাথে নয় এবং পরবর্তীকালের সাথে নয়। এখন, যদি আমরা একটি নৈমিত্তিক সম্পর্ক নির্দিষ্ট করার ক্ষেত্রে একটি "সঠিক" মডেলটি অনুমান করি (উদাহরণস্বরূপ, আমাদের আবর্জনা অপসারণ বাজেটটি আমাদের প্রত্যাশিত জনসংখ্যার ভিত্তিতে পরবর্তী বছর কী হবে তা নির্ধারণের চেষ্টা করা), ক্রস-বৈধতা আমাদের আরও বেশি হতে সহায়তা করতে পারে আমাদের প্রভাব সম্পর্কে আমাদের বিশ্বাসের উপর আস্থা। তবে ক্রস-বৈধকরণ কার্যকারণ সম্পর্কিত সম্পর্কের ক্ষেত্রে "সঠিক" মডেলটি চয়ন করতে আমাদের সহায়তা করার জন্য কিছুই করে না। আবার, এখানে আমাদের অধ্যয়নের নকশা, আমাদের বিষয়াদির দক্ষতা, তত্ত্ব এবং যুক্তি নির্ভর করতে হবে।

Comments

সুতরাং আপনি কি মনে করেন না যে প্রভাবের প্রাক্কলনে পুনরাবৃত্তিযোগ্যতা কার্যকর হতে পারে? যদিও কার্যকারণের প্রমাণ কী তা নিয়ে আপনার ধারণায় আপনি একা নন, আমি মনে করি এটি বেশ সংকীর্ণ। মহাবিশ্বের সমস্ত প্রমাণ অনুপস্থিত রেখেও আমরা কখনও অনির্দিষ্টকালের জন্য কার্যকারণ সম্পর্ক প্রমাণ করতে সক্ষম হব না। সুতরাং আমার মতে লক্ষ্যটি হ'ল প্রমাণটি প্রমাণ করা যে আমরা যে সম্পর্কটি অনুমান করি তা আমাদের জানা তথ্য প্রদত্ত সত্যের কাছাকাছি। আপনি কি মনে করেন না যে কোনও প্রশিক্ষণ থেকে হোল্ড আউট নমুনায় সেট করার পূর্বাভাসে পুনরাবৃত্তিযোগ্যতাগুলি অন্তর্নিহিত গবেষণাগুলিতে দরকারী চেক হতে পারে?

— অ্যান্ডি ডব্লিউ

আমি আপনার মতামত এছাড়াও প্রশংসা করি, এবং আমি সম্পূর্ণরূপে সম্মত যে ইনফারেন্সগুলি যুক্তি এবং গবেষণা নকশার উপর নির্ভরশীল।

— অ্যান্ডি ডব্লিউ

অ্যান্ডি, আমি আপনার মন্তব্যগুলি সম্বোধন করার জন্য আমার পোস্টটি সম্পাদনা করেছি। এছাড়াও, আমি বোঝাতে চাইছি না যে কোনও নকশাকৃত পরীক্ষার প্রেক্ষাপটের বাইরে কার্যকারণ অনুমান করা যায় না। তবুও, এটি পর্যবেক্ষণমূলক স্টাডিতে আরও কঠিন এবং কম সুনিশ্চিত এবং সেই সমস্যাটি নিয়ে আমাদের সহায়তা করার জন্য আমাদের মডেল বিল্ডিং পদ্ধতিগুলির দিকে নজর দেওয়া উচিত নয়। বরং যে সমস্যাগুলির জন্য আমরা কার্যকরী সম্পর্কগুলি বোঝার চেষ্টা করছি তার আরও ভাল করে বোঝার চেষ্টা করা উচিত।

— ব্রেট

সন্দেহের মুখে সঠিক তথ্য নির্ধারণের জন্য নির্ভুলতা এবং পুনরাবৃত্তিযোগ্যতার বিষয়গুলি বাদ দিয়ে আপনি যা বলছেন তা আমি বেশ কিছুটাতেই সম্মত। বিশেষজ্ঞরা যে যুক্তিযুক্ত মডেল তৈরি করছেন সে সন্দেহের সুবিধা আমি দিতে পারি। যেখানে আমি উদ্বিগ্ন তা হ'ল বহু পর্যবেক্ষণমূলক প্রসঙ্গে অনুসন্ধানগুলির পুনরাবৃত্তিযোগ্যতা। যদিও আমি সম্মত হই যে পুনরাবৃত্তিযোগ্যতা পরীক্ষামূলক সেটিংগুলিতে সর্বোত্তমভাবে মোকাবেলা করা বিস্ময়কর প্রভাবগুলির জন্য প্রয়োজন হয় না।

— অ্যান্ডি ডব্লিউ

(+1) আমার ক্ষমা। দেখে মনে হচ্ছে আমিও আপনার খুব সুন্দর উত্তরটিকে উড়িয়ে দিতে ভুলে গেছি। ইতিমধ্যে আপনার সহায়ক মন্তব্যগুলিতে ভোট দিয়েছেন।

— chl

Answer 3

আমার কাছে মনে হয় আপনার প্রশ্নটি সাধারণত একটি ভবিষ্যদ্বাণীমূলক মডেলটির বৈধতার বিভিন্ন স্বাদের সাথে সম্পর্কিত হয়: অভ্যন্তরীণ বৈধতা বা কমপক্ষে প্রাথমিক মডেলিংয়ের পর্যায়ে ক্রস-বৈধকরণের আরও কিছুটা সম্পর্ক রয়েছে, তবে বিস্তৃত জনসংখ্যার উপর কার্যকারণের লিঙ্কগুলি আঁকানো আরও সম্পর্কিত থেকে বহিরাগত বৈধতা। এর মাধ্যমে (এবং @ ব্রেটের দুর্দান্ত মন্তব্যের পরে আপডেট হিসাবে), আমি বলতে চাইছি যে আমরা সাধারণত একটি অনুমানমূলক ধারণাগত মডেল ধরে ধরে একটি কার্যকারী নমুনায় একটি মডেল তৈরি করি (যেমন আমরা ভবিষ্যদ্বাণীকারীদের এবং আগ্রহের ফলাফল (গুলি) এর মধ্যে সম্পর্ক নির্দিষ্ট করি), এবং আমরা একটি ন্যূনতম শ্রেণিবদ্ধার ত্রুটি হার বা একটি ন্যূনতম পূর্বাভাস ত্রুটি সহ নির্ভরযোগ্য অনুমানগুলি পাওয়ার চেষ্টা করি। আশা করি, মডেল যত ভাল পারফর্ম করবেন ততই আমাদের অদেখা তথ্যের ফলাফল (গুলি) সম্পর্কে পূর্বাভাস দিতে দেবে; এখনও, সিভি অনুমানকৃত কার্যকারণ লিঙ্কগুলির "বৈধতা" বা পর্যাপ্ততা সম্পর্কে কিছুই জানায় না। আমরা অবশ্যই এমন একটি মডেল সহ শালীন ফলাফল অর্জন করতে পারি যেখানে কিছু সংযম এবং / বা মধ্যস্থতার প্রভাব উপেক্ষিত বা সহজভাবে আগে থেকে জানা যায় না।

আমার বক্তব্যটি হ'ল আপনার মডেলটি যাচাই করতে আপনি যে পদ্ধতিটিই ব্যবহার করেন না কেন (এবং হোল্ডআউট পদ্ধতি অবশ্যই সর্বোত্তম নয় তবে তবুও ধাপে ধাপে মডেল বিল্ডিং থেকে উদ্ভূত সমস্যাগুলি নিরসনে মহামারীবিজ্ঞানের গবেষণায় এটি ব্যাপকভাবে ব্যবহৃত হয়), আপনি একই নমুনা নিয়ে কাজ করেন (যা আমরা ধরে নিয়েছি একটি বৃহত জনসংখ্যার প্রতিনিধি)। বিপরীতে, ফলাফলগুলিকে সাধারণীকরণ এবং কার্যকারণীয় লিঙ্কগুলি এইভাবে নতুন নমুনাগুলির বা অনুমানযুক্ত সম্পর্কিত জনসংখ্যার সাথে অনুমিত করা হয় প্রতিলিপি গবেষণা দ্বারা সাধারণত করা হয় । এটি নিশ্চিত করে যে আমরা আমাদের "মডেল" এর ভবিষ্যদ্বাণীপূর্ণ দক্ষতা নিরাপদে একটি "সুপারপোপুলেশন" তে পরীক্ষা করতে পারি যা স্বতন্ত্র বৈচিত্রের বৃহত পরিসীমা বৈশিষ্ট্যযুক্ত এবং আগ্রহের অন্যান্য সম্ভাব্য কারণগুলি প্রদর্শন করতে পারে।

আপনার মডেল আপনার কাজের নমুনার জন্য বৈধ ভবিষ্যদ্বাণী সরবরাহ করতে পারে এবং এতে আপনার মনে হতে পারে এমন সমস্ত সম্ভাব্য কনফন্ডারও অন্তর্ভুক্ত রয়েছে; তবে এটি সম্ভব যে এটি নতুন উপাত্তের সাথেও পারফরম্যান্স করবে না, কারণ অন্যান্য মডেলগুলি মধ্যবর্তী কার্যকারণ পথে উপস্থিত হয় যা প্রাথমিক মডেলটি তৈরি করার সময় সনাক্ত করা যায়নি। এটি ঘটতে পারে যদি ভবিষ্যদ্বাণীকারী এবং এর মধ্য থেকে অনুমান করা কার্যকারণের লিঙ্কগুলি নির্দিষ্ট পরীক্ষামূলক কেন্দ্রের উপর নির্ভর করে যেখানে রোগীদের নিয়োগ করা হয়েছিল, উদাহরণস্বরূপ।

জেনেটিক এপিডেমিওলজিতে, অনেক জিনোম-বিস্তৃত অ্যাসোসিয়েশন স্টাডিগুলি কেবল কারণ প্রতিলিপি করতে ব্যর্থ হয় কারণ আমরা ডিএনএ চিহ্নিতকারী এবং পর্যবেক্ষিত ফিনোটাইপের মধ্যে কার্যকরী সম্পর্কের বিষয়ে একটি জটিল দৃষ্টিভঙ্গি সহ জটিল রোগের মডেল তৈরি করার চেষ্টা করছি, যদিও সম্ভবত এটি জিন-জিন (এপিস্টেসিস), জিন-ডিজিজ (প্লিওট্রপি), জিন-পরিবেশ এবং জনসংখ্যার কাঠামো সবই কার্যকর হয়, তবে উদাহরণস্বরূপ দেখুন জেনোম-ওয়াইড অ্যাসোসিয়েশন সংকেতকে বৈধকরণ, বৃদ্ধি এবং পরিমার্জন(আইওনানিডিস এট আল।, প্রকৃতি পর্যালোচনা জেনেটিক্স, ২০০৯ 10)। সুতরাং, আমরা জেনেটিক মার্কারগুলির একটি সেট (খুব কম এবং বিরল প্রভাবের আকার সহ) এবং পর্যবেক্ষিত ফিনোটাইপগুলির একটি বহুবিধ প্যাটার্নের (যেমন, সাদা / ধূসর পদার্থের ভলিউম বা এফএমআরআই এর মাধ্যমে মস্তিষ্কে স্থানীয়করণকৃত ক্রিয়াকলাপগুলি, নিউরোপাইকোলজিকাল মূল্যায়নের প্রতিক্রিয়া বা ব্যক্তিত্বের তালিকা) এখনও স্বতন্ত্র নমুনায় প্রত্যাশার মতো এটি সম্পাদন করে না।

এই বিষয়ে সাধারণ রেফারেন্স হিসাবে , ইডাব্লু স্টিয়ারবার্গ (স্প্রঞ্জার, ২০০৯) থেকে ক্লিনিকাল প্রেডিকশন মডেলগুলির ১ chapter তম অধ্যায় এবং তৃতীয় অংশের সুপারিশ করতে পারেন । আমিও ইওনিডিসের নীচের নিবন্ধটি পছন্দ করি:

আয়নানিডিস, জেপিএ, সর্বাধিক প্রকাশিত গবেষণা ফলাফলগুলি মিথ্যা কেন? পিএলওএস মেড। 2005 2 (8): e124

Comments

@ সিএইচএল: আপনার অভ্যন্তরীণ বনাম বাহ্যিক বৈধতার প্রথম অনুচ্ছেদে আপনার বক্তব্যটি ব্যাখ্যা করতে পারবেন? যে traditionতিহ্যটির সাথে আমি পরিচিত: অভ্যন্তরীণ বৈধতা নির্দিষ্ট নমুনার মধ্যে ভেরিয়েবলের মধ্যে কারণ ও প্রভাবের সম্পর্ককে দৃsert় করার ক্ষমতা বোঝায়; বাহ্যিক বৈধতা একটি নমুনা থেকে অন্যান্য ব্যক্তি, স্থান এবং সময়গুলিতে সাধারণকরণের দক্ষতা সম্পর্কে। Ditionতিহ্যগতভাবে, ক্রস-বৈধকরণটি উত্তরোত্তর সম্পর্কে এবং সুতরাং বাহ্যিক বৈধতা সম্পর্কে উপরের সংজ্ঞা দ্বারা, যেখানে আপনি বলে থাকেন যে এটি অভ্যন্তরীণ বৈধতা সম্পর্কে। আমি কি আপনার বক্তব্য ভুল বুঝেছি?

— ব্রেট

@ ব্রেট আমি সিভি সম্পর্কে একটি অতিরিক্ত পরিসংখ্যান এড়াতে বা কাজের নমুনায় ভবিষ্যদ্বাণী যথার্থতার একটি পরিমাপ সরবরাহ করার জন্য (তাই অভ্যন্তরীণ বৈধতা প্রদর্শনের জন্য উত্সর্গীকৃত সরঞ্জাম হিসাবে প্রয়োজনীয় নয়) হিসাবে সিভি নিয়ে ভাবছিলাম। আমি খুব স্পষ্ট ছিল না, ধন্যবাদ বা এটি নির্দেশ করে। আমি সম্মত হই যে এটি তখন হাতের নমুনার উপরে সাধারণীকরণের জন্য ব্যবহৃত হয়, তবে সেখানে আমি মনে করি এটির কার্যকারণ অনুক্রমের সাথে কোনও সম্পর্ক নেই (কার্যকারী নমুনার মডেল হিসাবে সিভি কার্যকারণ সম্পর্কিত লিঙ্কগুলির কিছুই প্রমাণ করে না)। আমি বাহ্যিক বৈধতার বিষয়ে আপনার দৃষ্টিভঙ্গিটি ভাগ করি, তবে এটি প্রদর্শন করতে আমাদের অন্যান্য নমুনার দরকার, না?

— chl

আপনি প্রথম অনুচ্ছেদটি পরিষ্কার করতে পারেন। আমি মনে করি আপনি বলার চেষ্টা করছেন যে সিভি অভ্যন্তরীণ বৈধতা করে না। এটি অন্যান্য প্রক্রিয়াগুলির জন্য বিষয়। তবে, যদি আমরা অন্যান্য কারণে ভাল অভ্যন্তরীণ বৈধতা পেয়েছি তবে তা যাই হোক না কেন, সিভি ব্যক্তি, স্থান এবং সময় জুড়ে এই প্রভাবটির আরও সঠিকভাবে অনুমান করতে সহায়তা করবে - অর্থাৎ বাহ্যিক বৈধতা উন্নত করবে। অভ্যন্তরীণ বৈধতা প্রশ্ন নিজেই - - কেবল একটি প্রতিষ্ঠিত কার্যকারিতা সম্পর্ককে সাধারণীকরণে সহায়তা করার জন্য সিভি আমাদের যেভাবে ভেরিয়েবলের মধ্যে সম্পর্ক সম্পর্কে কার্যকারিতা দাবি করতে সহায়তা করে তা আমি এখনও ভাবতে পারি না।

— ব্রেট

@ ব্রেট আমি মনে করি এই প্রশ্নে আপনার মন্তব্যগুলি খুব প্রাসঙ্গিক এবং কিছু বিষয় খুব সুন্দরভাবে সংকলন করেছেন। আমি সন্দেহ করি এটি এই মুহুর্তে অভ্যন্তরীণ এবং বাহ্যিক বৈধতার মধ্যে যে কোনও বিভ্রান্তিকে সহায়তা করবে, তবে chl এর জেনেটিক মহামারীবিজ্ঞানের উদাহরণটি আসলে অভ্যন্তরীণ বৈধতার একটি সমস্যা যা বাহ্যিক বৈধতা নয় (ডেটাসেট ভিন্ন ভিন্নতা (বা জনসংখ্যার কাঠামোর মধ্যে) বাদে) তবে আইএমও এর এই উদাহরণগুলিতে অভ্যন্তরীণ বৈধতার চেয়ে কম উদ্বেগ)।

— অ্যান্ডি ডব্লিউ

অভ্যন্তরীণ এবং বাহ্যিক বৈধতার মধ্যে ব্রেটের সংজ্ঞাটি সঠিক, তবে আমাদের উদ্দেশ্যে এটি এটি বিভিন্ন পদে সংজ্ঞায়িত করতে সহায়তা করবে। বাহ্যিক বৈধতা কেবলমাত্র নমুনার সাথে সম্পর্কিত এবং কীভাবে সেই নমুনা অন্যান্য জনগোষ্ঠীর সাথে সম্পর্কিত is অভ্যন্তরীণ বৈধতা প্রভাব অনুমান সম্পর্কে বিভিন্ন দিক এবং এই প্রভাবগুলি অনুমান করার জন্য ব্যবহৃত কনস্ট্রাক্টগুলি নিয়ে উদ্বিগ্ন।

— অ্যান্ডি ডব্লিউ

Answer 4

এটি একটি ভাল প্রশ্ন, তবে উত্তরটি অবশ্যই হ'ল: ক্রস-বৈধকরণ কার্যকারিতা নির্ধারণের উন্নতি করবে না। যদি আপনার লক্ষণ এবং রোগের মধ্যে ম্যাপিং থাকে তবে ক্রস-বৈধতা আপনার বীমা মডেলটি তাদের যৌথ বিতরণটির চেয়ে আরও ভালভাবে মেলে পুরো কাঁচা ডেটা সেটে আপনার মডেলটিকে ফিট করে থাকলে তা নিশ্চিত করতে সহায়তা করবে তবে এটি আপনাকে কখনই কিছু বলতে পারে না কার্যকারণের দিকনির্দেশনা।

ক্রস-বৈধকরণ খুব গুরুত্বপূর্ণ এবং অধ্যয়নের জন্য মূল্যবান, তবে এটি আপনাকে আপনার ডেটা সেটে ওভারফিট করা থেকে রোধ করা ছাড়া আর কিছুই করে না। আপনি যদি এটি আরও বুঝতে চান তবে আমি ইএসএলের Chapter ষ্ঠ অধ্যায়টি প্রস্তাব করব: http://www-stat.stanford.edu/~hastie/Papers/ESLII.pdf

Comments

রেফারেন্সের জন্য আপনাকে ধন্যবাদ। সুতরাং বলুন যে আপনি মডেল নির্বাচনের বিষয়ে উদ্বিগ্ন নন, ডেটাসেটটি হোল্ড আউট সেট করে রাখা প্রশিক্ষণের ডেটাগুলির প্রভাব অনুমানের বৈধতা প্রমাণ করতে পারে?

— অ্যান্ডি ডব্লিউ

এটি হতে পারে তবে আমি বলব যে আপনি মূলত সেই মুহুর্তে বুটস্ট্র্যাপিং (বা এর কিছু পরিবর্তন) করছেন।

— জন মাইলস হোয়াইট

আমি সম্মত, আমি এবং মনে করি নিয়মিতভাবে অন্যান্য কিছু কাজ করা হয়েছে যা এই একই ধরণের যুক্তির প্রতিফলন করে (যেমন সাবসেট স্পেসিফিকেশন পরীক্ষা বা অ-সমতুল্য নির্ভরশীল ভেরিয়েবল)। আমি কেবল প্রশ্নটি উত্থাপন করেছি কারণ আমি কল্পনা করেছি যে আরও আনুষ্ঠানিক চিকিত্সা বিদ্যমান।

— অ্যান্ডি ডব্লিউ

ডাউনভোটের জন্য মন্তব্যগুলি সর্বদা স্বাগত!

— chl

এই বইটি উপহার হিসাবে রাখে!

— হাইয়েড

Answer 5

এখানে উত্তর হিসাবে পোস্ট করা @ অ্যান্ডি ফলোআপে প্রতিক্রিয়া জানাতে ...

যদিও আমি কোনটি অনুমান সঠিক এবং কোনটি মিথ্যা তা বলতে পারি নি, তবে দুটি মডেলের মধ্যে অ্যাসল্ট কনভিকশন এবং বন্দুক প্রত্যয় অনুমানের অসঙ্গতিটি সন্দেহ প্রকাশ করতে পারে যে উভয়েরই সাজার দৈর্ঘ্যের সত্যিকার কার্যকারিতা রয়েছে?

আমি মনে করি আপনার প্যারামিটারের অনুমানগুলির মধ্যে পার্থক্যটি কী তা বোঝাতে আমাদের যুক্তি দেয় যে প্যারামিটারের অনুমানটি সত্যিকারের কার্যকারিতাটিকে উপস্থাপন করে না। আমি এর সাথে একমত, যদিও ইতিমধ্যে আমাদের কাছে সংশয়যুক্ত হওয়ার যথেষ্ট কারণ ছিল যে এই জাতীয় মডেলটি সত্যিকার কার্যকারিতা প্রদান করবে।

আমার গ্রহণযোগ্যতাগুলি : ওভার-ফিটিং ডেটা পক্ষপাতদুষ্ট প্যারামিটারের অনুমানের উত্স এবং কোনও বিশ্বাস করার কোনও কারণ নেই যে এই পক্ষপাতটি কোনও নির্দিষ্ট কার্যকারিতা প্রভাব অনুমান করার ক্ষেত্রে পক্ষপাতের অন্যান্য উত্সকে অফসেট করে, কার্যকারণ প্রভাবগুলি অনুমান করার জন্য এটি অবশ্যই আরও ভাল হওয়া উচিত অতিরিক্ত ফিট করে ডেটা ছাড়াই। ক্রস-বৈধতা অতিরিক্ত-ফিটনেস প্রতিরোধ করে, সুতরাং এটি সাধারণত কার্যকারণ প্রভাবগুলির অনুমানের উন্নতি করে।

তবে যদি কেউ আমাকে পর্যবেক্ষণের তথ্য থেকে কার্যকারণমূলক প্রভাব সম্পর্কে তাদের অনুমানের উপর বিশ্বাস করার চেষ্টা করতে চেষ্টা করে যে তারা প্রমাণ করে যে তারা তাদের ডেটা বেশি ফিট করে না তবে যদি তাদের কাছে মডেলিংয়ের কৌশলটি সন্দেহ হওয়ার আমার দৃ reason় কারণ না থাকে তবে ওভার মাপসই করা হবে।

আমি যে সামাজিক বিজ্ঞান অ্যাপ্লিকেশনগুলির সাথে কাজ করি সেগুলিতে আমি যথেষ্ট বিষয়গুলি, পরিমাপের সমস্যাগুলি এবং সংবেদনশীলতা পরীক্ষার সাথে অনেক বেশি উদ্বিগ্ন। সংবেদনশীলতা পরীক্ষার মাধ্যমে আমি বোঝাতে চাইছি যে পদগুলিকে যুক্ত করা বা সরিয়ে দেওয়া হয়েছে সেই মডেলটির পার্থক্যের অনুমান করা, এবং ইন্টারঅ্যাকশন সহ এমন মডেলগুলির অনুমান করা যা আগ্রহের প্রভাব উপ-গ্রুপগুলিতে পৃথক হতে দেয়। পরিসংখ্যানগত মডেলের এই পরিবর্তনগুলি কার্যকারণটির সাথে ব্যাখ্যা করতে চাইলে পরামিতি অনুমানকে কতটা প্রভাবিত করে? মডেল স্পেসিফিকেশন বা উপ-গোষ্ঠীগুলি জুড়ে এই পরামিতি অনুমানের ত্রুটিগুলি কি আপনি বলার চেষ্টা করছেন এমন কার্যকারণের ক্ষেত্রে বিবেচনাযোগ্য, বা তারা কোনও প্রভাব দ্বারা চিহ্নিত করেছেন, উদাহরণস্বরূপ নির্বাচন।

বাস্তবে, আপনি এই বিকল্প স্পেসিফিকেশন চালানোর আগে। আপনার পরামিতি অনুমানটি কীভাবে পরিবর্তিত হবে বলে মনে করেন তা লিখুন Write এটি দুর্দান্ত যদি আপনার আগ্রহের প্যারামিটারের অনুমানটি উপ-গোষ্ঠীগুলিতে বা স্পেসিফিকেশনগুলিতে আলাদা হয় না - আমার কাজের প্রসঙ্গে, এটি ক্রস-বৈধতার চেয়ে গুরুত্বপূর্ণ। তবে আমার ব্যাখ্যাকে প্রভাবিত করে অন্যান্য গুরুত্বপূর্ণ বিষয়গুলি এখনও আরও গুরুত্বপূর্ণ।

Comments

আপনাকে ভারী করার জন্য অনেক ধন্যবাদ! আপনার দৃষ্টিভঙ্গি অবশ্যই কার্যকরী মডেলগুলিতে ক্রস-বৈধতার জন্য খুব সরাসরি অনুপ্রেরণা জাগিয়ে তোলে যা আমি কখনই নিজেকে জোর করে তৈরি করি নি। আইএমও আপনার এমনকি ওভার-ফিটিংয়ের লেবেল ব্যবহার করে নিজেকে কিছুটা ছোট বিক্রি করে। উদাহরণস্বরূপ, প্রাথমিক অনুসন্ধানের সেটটিতে আমি লগ স্কেলের বিপরীতে প্রাথমিক স্কেলে স্বতন্ত্র ভেরিয়েবল ব্যবহার করে সমীকরণের মধ্যে মডেল ফিট দেখতে পারি। আমি লগ স্কেল সহ মডেলটি আরও ভাল ফিট করি এবং তারপরে হোল্ড আউট মডেলটিতে এটি ব্যবহার করি। এটি সাধারণত অতিরিক্ত-ফিটিং হিসাবে বিবেচনা করা হবে না (একে অপরের মধ্যে চয়ন করা), বিপরীতে ...

— অ্যান্ডি ডাব্লু

তবে এখনও আপনি এখানে দেওয়া আমার অনুচ্ছেদে প্রস্তাবিত দৃষ্টান্তের মধ্যে ফিট করে।

— অ্যান্ডি ডাব্লু

Answer 6

আমি প্রত্যেককে তাদের জবাবের জন্য ধন্যবাদ জানাই, তবে প্রশ্নটি এমন কিছুতে বেড়ে গেছে যেটার মূল উদ্দেশ্য ছিল না, মূলত সঠিক উত্তর না দিয়ে কার্যকারণ সম্পর্কিত সাধারণ ধারণার উপর একটি প্রবন্ধ।

কার্যত অনুমানের জন্য ক্রস বৈধকরণের উদাহরণগুলির উদাহরণগুলির জন্য শ্রোতাদের তদন্ত করার জন্য আমি প্রাথমিকভাবে প্রশ্নটি উদ্দেশ্য করেছিলাম। আমি অনুমান করেছি যে এ জাতীয় পদ্ধতিগুলির অস্তিত্ব রয়েছে, কারণ পরীক্ষার নমুনা ব্যবহার করার ধারণা এবং প্রভাব অনুমানের পুনরাবৃত্তির মূল্যায়ন করতে নমুনা ধরে রাখা আমার কাছে যৌক্তিক বলে মনে হয়েছিল। জন যেমন উল্লেখ করেছেন, বুটস্ট্র্যাপিংয়ের সাথে আমার যা পরামর্শ ছিল তা ভিন্ন নয় এবং আমি বলব যে এটি ফলাফলগুলি যাচাই করতে আমরা অন্যান্য পদ্ধতির সাথে সাদৃশ্য রাখি যেমন সাবসেট নির্দিষ্টতা পরীক্ষা বা অ-সমতুল্য নির্ভরশীল ভেরিয়েবলগুলি (বুটস্ট্র্যাপিং মডেলগুলির প্যারামেট্রিক অনুমানগুলি শিথিল করে, এবং সাবসেট) আরও সাধারণ পদ্ধতিতে পরীক্ষাগুলি এমন একটি চেক হিসাবে ব্যবহৃত হয় যে ফলাফলগুলি বিভিন্ন পরিস্থিতিতে যুক্তিসঙ্গত হয়)। এই পদ্ধতির কোনওটিই কার্যকারিতা অনুক্রমের জন্য প্রমাণের অন্যান্য উত্তরগুলির কোনওটির সাথে মেলে না, তবে আমি বিশ্বাস করি যে তারা এখনও কার্যকারণ অনুমানের জন্য দরকারী।

সিএলএর মন্তব্যটি সঠিক যে ক্রস বৈধতা ব্যবহারের জন্য আমার দাবিটি কার্যকারিতা অনুসারে সহায়তা করার জন্য অভ্যন্তরীণ বৈধতার একটি চেক। তবে আমি জিজ্ঞাসা করি আমরা আপাতত অভ্যন্তরীণ এবং বাহ্যিক বৈধতার মধ্যে পার্থক্যটি ছুঁড়ে ফেলি, কারণ এটি তর্কটিকে আরও এগিয়ে দেওয়ার কিছুই করে না। মহামারীবিজ্ঞানে জিনোম বিস্তৃত স্টাডিজের chl এর উদাহরণটি আমি অভ্যন্তরীণভাবে সন্দেহজনক হয়ে শক্তিশালী সূত্রগুলি তৈরি করে দরিদ্র অভ্যন্তরীণ বৈধতার একটি প্রধান উদাহরণ বিবেচনা করব। আমি মনে করি জিনোম অ্যাসোসিয়েশন স্টাডিজ আসলে আমি যা চেয়েছিলাম তার একটি উদাহরণ। আপনি কি মনে করেন যে জিন এবং রোগের মধ্যে পার্থক্যগুলি ক্রস-বৈধতা ব্যবহারের মাধ্যমে উন্নত করা হয়েছে (কেবলমাত্র সমস্ত চিহ্নিতকারীকে একটি মডেলে ফেলে দেওয়া এবং সেই অনুযায়ী পি-মানগুলি সামঞ্জস্য করার বিপরীতে?)

নীচে আমি আমার প্রশ্নে উদ্ধৃত বার্ক নিবন্ধে একটি টেবিলের একটি অনুলিপি আটকে রেখেছি। এই সারণীগুলি একই ধাপে পদক্ষেপ অনুসারে নির্বাচনের মানদণ্ড এবং কার্যকারণ সূচনা ব্যবহারের ভ্রান্ত যুক্তি প্রদর্শন করার জন্য দেখানো হয়েছিল, কোনও মডেল নির্বাচনের মানদণ্ড ব্যবহার করা হয়নি তা ভঙ্গ করতে দেয় এবং প্রশিক্ষণ এবং নমুনা উভয়ই পরামিতি নির্ধারণ করা হয়েছিল একটি অগ্রাধিকার। এটি আমাকে অবাস্তব ফলাফল হিসাবে আঘাত করে না। যদিও আমি কোনটি অনুমান সঠিক এবং কোনটি মিথ্যা তা বলতে পারি নি, তবে দুটি মডেলের মধ্যে অ্যাসল্ট কনভিকশন এবং বন্দুক প্রত্যয় অনুমানের অসঙ্গতিটি সন্দেহ প্রকাশ করতে পারে যে উভয়েরই সাজার দৈর্ঘ্যের সত্যিকার কার্যকারিতা রয়েছে? যে প্রকরণটি জেনে রাখা কি কার্যকর নয়? যদি আমাদের মডেলটি পরীক্ষা করার জন্য আমরা হোল্ড আউট নমুনা না রেখে কিছু না হারিয়ে ফেলি তবে আমরা কার্যকারিতা অনুমানের উন্নতি করতে ক্রস-বৈধতা কেন ব্যবহার করতে পারি না (বা হোল্ড আউট নমুনা ব্যবহার করে আমরা কী হারাচ্ছি তা আমি মিস করছি?)

Comments

কেন এটিকে হ্রাস করা হয়েছে তার একটি নোট প্রশংসিত হবে।

— অ্যান্ডি ডাব্লু

আমি অ্যান্ডিকে দ্বিতীয় করব এবং ডাউনটিভোট করার সময় কোনও মন্তব্য দেওয়ার পরামর্শ দেব: ভুলটি যদি হয় তবে তা জানার জন্য এটি সর্বদা সহায়ক। বিশেষত এই ক্ষেত্রে: অ্যান্ডি ডব্লিউ সিডাব্লু প্রসারিত মন্তব্য নিয়ে ফিরে এসেছিলেন যা আমার মতে আসল প্রশ্নটিতে আরও সমর্থন যোগ করে। এখানে কোনও কিছুর দাম কমিয়ে দেওয়ার দরকার নেই!

— chl

ইতিমধ্যে মানক ত্রুটি / আত্মবিশ্বাসের ব্যবধান আপনাকে পরিবর্তনশীলতার এই ইঙ্গিত দেয় না? আপনার পরীক্ষার সেট অনুমানগুলি আপনার প্রশিক্ষণ সেট থেকে আপনার স্ট্যান্ডার্ড আত্মবিশ্বাসের অন্তরগুলির মধ্যে রয়েছে। আমি ভেবেছিলাম ছোট স্ট্যান্ডার্ড ত্রুটিগুলি এবং সংকীর্ণ সিআইগুলি কার্যকারণের জন্য গুরুত্বপূর্ণ।

— সম্ভাব্যতাব্লোগিক

হ্যাঁ @ প্রব্যাবিলিটিস্লোগিক আপনি সঠিক। আমি বিশ্বাস করি যখন আমি এই বিষয়টি তৈরি করেছি তখন এটি এমন পরিস্থিতির জন্য নয় যা আপনি ইতিমধ্যে উপলব্ধ ডেটাসেটের জন্য সিভি প্রয়োগ করেন, তবে অন্য কোনও সময় সংগৃহীত কোনও ডেটাসেটের জন্য নয়। আমি ভেবেছিলাম সিভি এখানে কার্যকারণমূলক বক্তব্যকে শক্তিশালী করতে কার্যকর হতে পারে তবে এটি এখনও আমার কাছে স্পষ্ট নয় that আমি কেবল মডেল নির্বাচনের ক্ষেত্রে এটি বিতর্কিতভাবে কার্যকর হতে দেখেছি, কোনওভাবেই মডেলটিকে বৈধতা দিচ্ছি না (যেমন এই নতুন ডেটাতে আমার মডেল খুব নিকটতম ফিট তৈরি করে)।

— অ্যান্ডি ডব্লু

@ AriB.Friedman, এড আমাকে মনে করিয়ে দেয় Tufte এর দার্শনিক লক্ষণ , সংশ্লেষন করণ নয়, কিন্তু এটা নিশ্চিত করতে সাহায্য করে ।

— অ্যান্ডি ডাব্লু

Answer 7

আমার ধারণা, সিভি এবং কার্যকারণ অনুমানের মধ্যে সম্পর্ক সম্পর্কে চিন্তা করার একটি স্বজ্ঞাত উপায়: (আমি ভুল হলে দয়া করে সংশোধন করুন)

পূর্বাভাসে কোনও মডেলের পারফরম্যান্সকে মূল্যায়নের উপায় হিসাবে আমি সবসময় সিভি সম্পর্কে চিন্তা করি। তবে কার্যকারিতা অনুসারে আমরা ওসামের রেজার (পার্সিমনি) সমতুল্য কিছু নিয়ে বেশি উদ্বিগ্ন, সুতরাং সিভি সাহায্য করবে না।

ধন্যবাদ।

Comments

আমি যে প্রশ্নটি উত্থাপন করেছি তার কারণ হ'ল ক্রস বৈধকরণকে কেবলমাত্র একটি মডেলের ভবিষ্যদ্বাণীপূর্ণ দক্ষতার মূল্যায়ন করার উপায় হিসাবে ভাবা উচিত নয়। এটি সম্পর্কে উদ্বিগ্ন হওয়া অস্বাভাবিক কিছু নয় যে কোনও মডেলের ফলাফল (এবং এর ফলে ইনফারেন্সগুলি তৈরি করা হয়) অনেকগুলি সম্ভাব্য কারণে নিদর্শন। তাই আমরা অনুসন্ধানগুলির দৃust়তা পরীক্ষা করতে চাই এবং আমি মনে করেছি যে ক্রসের বৈধতা ফলাফলের দৃust়তা পরীক্ষা করার জন্য একটি দরকারী প্রসঙ্গ হতে পারে।

— অ্যান্ডি ডব্লিউ

ভুল ব্যাখ্যার জন্য দুঃখিত।

— সানকুলসু

ক্ষমা চাওয়ার দরকার নেই। আমি হ'ল এমন একজন যা আপাতদৃষ্টিতে কিছুটা ঝাঁকুনির পরামর্শ দিচ্ছেন এবং ক্রস বৈধতা যা আপনার পরামর্শের প্রেক্ষিতে দৃশ্যত সর্বদা ব্যবহৃত হয়।

— অ্যান্ডি ডব্লিউ

@ সানকুলসু, যখন আমি কার্যকারিতা সম্পর্কে চিন্তাভাবনা করি কখনই আমি ওসামের রেজার অর্পার্সিমনি সম্পর্কে চিন্তা করি না, আপনি কি আমার সাথে সংযোগটি ব্যাখ্যা করতে পারবেন?

— মাইকেল বিশপ