ডেটা "অনুসন্ধান" বনাম ডেটা "স্নুপিং" / "নির্যাতন"?


30

অনেক সময় আমি "ডেটা স্নুপিং" (এখানে একটি মজাদার উদাহরণ ) এর বিরুদ্ধে অনানুষ্ঠানিক সতর্কতাগুলি পেয়েছি এবং আমি মনে করি এর মোটামুটি অর্থ কী, এবং কেন এটি সমস্যা হতে পারে সে সম্পর্কে আমার একটি স্বজ্ঞাত ধারণা রয়েছে।

অন্যদিকে, "অনুসন্ধানের তথ্য বিশ্লেষণ" পরিসংখ্যানগুলিতে একটি যথাযথ সম্মানজনক পদ্ধতি বলে মনে হচ্ছে, কমপক্ষে এই শিরোনামযুক্ত একটি বই এখনও শ্রদ্ধার সাথে ক্লাসিক হিসাবে উদ্ধৃত হয়েছে তা বিচার করে ।

আমার কাজের লাইনে আমি প্রায়শই আমার কাছে প্রচুর "ডেটা স্নুপিং" এর মতো দেখতে পাই, বা সম্ভবত এটি "ডেটা অত্যাচার " হিসাবে আরও ভালভাবে বর্ণনা করা হবে , যদিও তারা এটি করছে তারা একই কার্যকলাপকে সম্পূর্ণ যুক্তিসঙ্গত এবং অযোগ্য "অনুসন্ধান হিসাবে দেখছে বলে মনে হচ্ছে "।

এখানে সাধারণ পরিস্থিতিটি: ব্যয়বহুল পরীক্ষা-নিরীক্ষা করা হয় (পরবর্তী বিশ্লেষণে খুব বেশি চিন্তাভাবনা না করে) মূল গবেষকরা সহজেই জড়ো করা উপাত্তগুলিতে একটি "গল্প" চিহ্নিত করতে পারবেন না, কেউ কেউ "পরিসংখ্যানের জাদুকরী" প্রয়োগ করতে আনেন, এবং কে , ডেটা কেটে ও ডাইস করার পরে , শেষ পর্যন্ত এটি থেকে কিছু প্রকাশযোগ্য "গল্প" বের করার ব্যবস্থা করে।

অবশ্যই, পরিসংখ্যান বিশ্লেষণ আপ-আপ-এ রয়েছে তা দেখানোর জন্য সাধারণত চূড়ান্ত প্রতিবেদন / কাগজে কিছু "বৈধতা" ছুঁড়ে দেওয়া হয় তবে এর পিছনে নির্মোহ প্রকাশ-অ-ব্যয়বহুল মনোভাব আমাকে সন্দেহজনক করে দেয়।

দুর্ভাগ্যক্রমে, ডেটা বিশ্লেষণের করণীয় ও করণ সম্পর্কে আমার সীমাবদ্ধ বোঝাপড়া আমাকে এ জাতীয় অস্পষ্ট সন্দেহের অতিক্রম করতে বাধা দেয়, তাই আমার রক্ষণশীল প্রতিক্রিয়াটি মূলত এই জাতীয় অনুসন্ধানগুলি উপেক্ষা করা।

আমার আশা এই যে অনুসন্ধান ও স্নুপিং / অত্যাচারের মধ্যে পার্থক্য সম্পর্কে কেবল আরও ভাল বোঝাপড়াই নয়, এবং আরও গুরুত্বপূর্ণ, সেই রেখাটি কখন পেরিয়ে গেছে তা সনাক্ত করার জন্য নীতি ও কৌশলগুলি সম্পর্কে আরও ভাল উপলব্ধি আমাকে এই জাতীয় অনুসন্ধানগুলি মূল্যায়নের অনুমতি দেবে এমন একটি উপায় যা যুক্তিসঙ্গতভাবে সর্বোত্তম-বিশ্লেষণী পদ্ধতির চেয়ে কম পরিমাণে হিসাব করতে পারে এবং এইভাবে কম্বল অবিশ্বাসের জন্য আমার বর্তমানের চেয়ে বরং সহজ-মনের প্রতিক্রিয়া ছাড়িয়ে যেতে সক্ষম হতে পারে।


সম্পাদনা: খুব আকর্ষণীয় মন্তব্য এবং উত্তরের জন্য আপনাকে সবাইকে ধন্যবাদ। তাদের বিষয়বস্তু দ্বারা বিচার করে, আমি মনে করি আমি আমার প্রশ্নটি যথেষ্টভাবে ব্যাখ্যা করতে পারি নি। আমি আশা করি এই আপডেটটি বিষয়গুলি পরিষ্কার করে দেবে।

এখানে আমার প্রশ্ন এত কি উদ্বেগ আমি অত্যাচার এড়াতে কী করা উচিত আমার আমি বিবেচনা করা উচিত (অথবা মূল্যায়ন) ফলাফল যে: ডেটা, বরং (যদিও এই একটি প্রশ্ন যে স্বার্থ আমার হয়) আমি জানি একটা সত্য জন্য মাধ্যমে আগত হয়েছে যেমন "তথ্য নির্যাতন।"

পরিস্থিতি তাদের (অনেক বিরল) ক্ষেত্রে আরও আকর্ষণীয় হয়ে ওঠে, এগুলি ছাড়াও, আমি প্রকাশের জন্য জমা দেওয়ার আগে এই জাতীয় "ফলাফলগুলি" সম্পর্কে একটি মতামত জানাতে পারি।

এই মুহুর্তে সর্বাধিক আমি যা করতে পারি তা হ'ল "আমি জানি না যে আমি এই আবিষ্কারগুলিতে কতটা বিশ্বাসযোগ্যতা দিতে পারি, সেগুলি অনুধাবন এবং পদ্ধতিগুলি সম্পর্কে যা আমি জানি তা প্রদত্ত।" এমনকি এটি বলার অপেক্ষা রাখে না too এই ধরণের অস্পষ্টতার বাইরে যাওয়ার ইচ্ছা ছিল আমার পোস্টের প্রেরণা।

মোট কথা, এখানে আমার সন্দেহগুলি আপাতদৃষ্টিতে প্রশ্নোত্তর প্রশ্নাবলীর পরিসংখ্যানগত পদ্ধতির চেয়ে বেশি ভিত্তিক are প্রকৃতপক্ষে, আমি আরও গভীরতর সমস্যার ফলস্বরূপ পরে দেখতে পাচ্ছি: পরীক্ষাগুলির নকশার প্রতি অশ্বারোহী মনোভাবের সংমিশ্রণ এবং ফলাফলগুলি দাঁড়ানোর সাথে সাথে (যেমন কোনও পরীক্ষা-নিরীক্ষা ব্যতীত) প্রকাশ করার স্পষ্ট প্রতিশ্রুতি রয়েছে। অবশ্যই, ফলো-আপ প্রকল্পগুলি সর্বদা কল্পনা করা হয়, তবে এটি কেবলমাত্র প্রশ্ন-বহির্ভূত যে কোনও একটি কাগজই বের হবে না, এটি বলে, "100,000 নমুনায় ভরাট একটি রেফ্রিজারেটর"।

পরিসংখ্যান কেবল এই সর্বোচ্চ উদ্দেশ্য পূরণের একটি উপায় হিসাবে ছবিতে আসে। পরিসংখ্যানগুলিতে ল্যাচিংয়ের একমাত্র যুক্তি (গৌণ হিসাবে তারা পুরো দৃশ্যে রয়েছে) হ'ল "প্রকাশনা-সর্ব-ব্যয়" অনুমানের জন্য একটি সামনের চ্যালেঞ্জ কেবল অর্থহীন।

প্রকৃতপক্ষে, আমি এই জাতীয় পরিস্থিতিতে কেবলমাত্র একটি কার্যকর প্রতিক্রিয়া সম্পর্কে ভাবতে পারি: কিছু পরিসংখ্যানগত পরীক্ষার প্রস্তাব দেওয়ার জন্য (অতিরিক্ত পরীক্ষার প্রয়োজন নেই) যা বিশ্লেষণের গুণমানকে সত্যই পরীক্ষা করে। তবে আমার কাছে এটির পরিসংখ্যানের চপস নেই। আমার আশা (বিপরীতমুখী নিষ্পাপ) আমি কী অধ্যয়ন করতে পারি তা সন্ধান করা ছিল যা আমাকে এই ধরনের পরীক্ষাগুলি নিয়ে আসতে সক্ষম করতে পারে ...

আমি যখন এটি লিখছি এটি আমার উপরে প্রমাণিত হয়েছে যে, এটি ইতিমধ্যে বিদ্যমান না থাকলে, বিশ্ব পরিসংখ্যানগুলির একটি নতুন উপ-শাখা ব্যবহার করতে পারে, "ডেটা-অত্যাচার" সনাক্ত এবং প্রকাশের জন্য কৌশলগুলিতে নিবেদিত। (অবশ্যই, আমার অর্থ এই নয় যে "অত্যাচার" রূপক দ্বারা বাহিত হওয়া: বিষয়টি প্রতি সেচ "ডেটা-অত্যাচার" নয়, তবে উদ্দীপনাজনিত "অনুসন্ধান" হতে পারে))


1
@ বাবাকপি সেই উদ্ধৃতিটি এখানে ছয়টি উত্তরে প্রদর্শিত হবে , এতে পরিসংখ্যানের রসিকতা এবং পরিসংখ্যানের উদ্ধৃতি থ্রেডও রয়েছে। (আপনি যদি কিছুটা নিচে শিকার করে থাকেন তবে পরবর্তীটি প্রাসঙ্গিক উদ্ধৃতিগুলির জন্য ভাল উত্স))
শুকনো

7
আমি মনে করি না যে 'তথ্য স্নোপিং' এবং 'অনুসন্ধানী ডেটা বিশ্লেষণ'-এ ব্যবহৃত কৌশলগুলির মধ্যে কোনও পার্থক্য রয়েছে - পূর্ববর্তী শব্দটির অবমাননাকর ব্যবহার একটি অনুসন্ধানী বিশ্লেষণের জন্য যা ভুলভাবে একটি নিশ্চিতকরণ বিশ্লেষণ হিসাবে উপস্থাপিত হয়েছিল presented
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

8
ফেনম্যান, আপনার উল্লেখ বইটিতে ইতিমধ্যে এই প্রশ্নের উত্তর দিয়েছে: "যদি তিনি এই অনুমানটি [অনুসন্ধানের মাধ্যমে পাওয়া] পরীক্ষা করতে চান, ... তাকে অবশ্যই আরও একটি পরীক্ষা করতে হবে।" আপনি কী উদ্বেগ জিজ্ঞাসা করছেন বলে মনে হচ্ছে যে ফেনম্যান খুব চরম হয়ে উঠেছে ("কিছুটা অতিরঞ্জিত করে"): যদি একই অনুমানগুলি একই ডেটা অন্বেষণ করে গড়ে তোলা হয়েছিল তখন কি পরিমাণে, যদি তা অনুমান করা যায় ?
হোবার

2
@ হুইবার: বাস্তবে এটি আরও বেশি নাটকীয়, কারণ প্রায়শই বিভিন্ন ডেটা দিয়ে পরীক্ষা করা হয়, তবে একই পরীক্ষামূলক সেটআপ বা পরীক্ষার ধরণ অজান্তে একই রকম ফলাফলের দিকে নিয়ে যায়।
জানুয়ারী

1
@ জানুয়ারী: যা আপনার মনে হয় আপনার ডেটা / পরীক্ষাগুলির উপর নির্ভর করে। যেমন জৈব / চিকিত্সা গবেষণা বিবেচনা করুন। আমি যে ডেটা দেখছি তার জন্য, সবচেয়ে বড় প্রকরণটি সাধারণত রোগীদের (বিষয়) মধ্যে হয়। নতুন রোগীদের সাথে পরীক্ষার পুনরাবৃত্তি আশাবাদী একইরকম ফলাফলের দিকে নিয়ে যাবে, তবে বাস্তবে এটি প্রায়শই ঘটে না (অর্থাত্ রোগীদের প্রথম সেটে উন্নত মডেলগুলির পূর্বাভাস ফলাফল প্রত্যাশার চেয়ে অনেক খারাপ হয়, যার অর্থ অত্যধিক মানানসই ঘটনা ঘটে) প্রথম পরীক্ষায় ডেটা "অত্যাচারিত" ছিল)
সিবিলেটরা মোনিকাকে

উত্তর:


22

একটি পার্থক্য আছে যা কখনও কখনও পর্যাপ্ত মনোযোগ পায় না, যথা অনুমানমূলক প্রজন্ম বনাম অনুমান পরীক্ষা , বা অনুসন্ধান বিশ্লেষণ বনাম অনুমান পরীক্ষা। আপনাকে বিশ্বের সমস্ত নোংরা কৌশলগুলি আপনার ধারণা / হাইপোথিসিসের সাথে আসতে দেওয়া হয়। তবে আপনি যখন পরে এটি পরীক্ষা করেন, আপনাকে অবশ্যই নির্মমভাবে আপনার প্রিয়তমকে হত্যা করতে হবে।

আমি একজন জীববিজ্ঞানী সর্বদা উচ্চ থ্রুপুট ডেটা নিয়ে কাজ করি এবং হ্যাঁ, আমি প্রায়শই এই "স্লাইসিং এবং ডাইসিং" করি। পরীক্ষাগুলি সম্পাদিত বেশিরভাগ ক্ষেত্রে যত্ন সহকারে নকশা করা হয়নি; অথবা সম্ভবত যারা এটি পরিকল্পনা করেছিলেন তারা সমস্ত সম্ভাব্য ফলাফলের জন্য অ্যাকাউন্ট করেন নি। বা পরিকল্পনা করার সময় সাধারণ মনোভাব ছিল "আসুন সেখানে কী আছে তা দেখি"। আমরা ব্যয়বহুল, মূল্যবান এবং তাদের মধ্যে মজাদার ডেটা সেটগুলি সমাপ্ত করি যা আমি তারপরে একটি গল্প নিয়ে আসতে ঘুরে ফিরে ঘুরে দেখি।

তবে, এটি কেবল একটি গল্প (সম্ভাব্য শোবার সময়) bed আপনি কয়েকটি আকর্ষণীয় কোণ নির্বাচন করার পরে - এবং এখানে গুরুত্বপূর্ণ বিষয় - আপনাকে অবশ্যই এটি কেবলমাত্র स्वतंत्र ডেটা সেট বা স্বতন্ত্র নমুনাগুলির সাহায্যে পরীক্ষা করতে হবে না, তবে অগ্রাধিকার হিসাবে একটি স্বাধীন পদ্ধতির সাথে , একটি স্বাধীন পরীক্ষামূলক সিস্টেম।

এই শেষ জিনিসটির গুরুত্ব - একটি স্বাধীন পরীক্ষামূলক সেটআপ, কেবলমাত্র পরিমাপ বা নমুনার স্বতন্ত্র সেট নয় - প্রায়শই হ্রাস করা হয় না। যাইহোক, যখন আমরা উল্লেখযোগ্য পার্থক্যের জন্য 30,000 ভেরিয়েবল পরীক্ষা করি তখন প্রায়শই এমন ঘটে থাকে যে একই একই দল থেকে একই রকম (তবে পৃথক) নমুনাগুলি একই পদ্ধতির সাথে বিশ্লেষণ করলে আমরা পূর্ববর্তী সেটটির ভিত্তিতে অনুমানটিকে প্রত্যাখ্যান করবে না। তবে তারপরে আমরা অন্য ধরণের পরীক্ষা-নিরীক্ষা এবং অন্য এক গোষ্ঠীর দিকে ফিরে যাই এবং আমাদের অনুসন্ধানগুলি কোনও পদ্ধতিগত পক্ষপাতিত্বের ফলস্বরূপ পরিণত হয় বা তাদের প্রয়োগযোগ্যতার মধ্যে সীমাবদ্ধ থাকে।

এ কারণেই সত্যিকার অর্থে একটি অনুমান বা মডেল গ্রহণ করতে আমাদের বেশিরভাগ স্বতন্ত্র গবেষকের বেশ কয়েকটি কাগজপত্র প্রয়োজন।

সুতরাং আমি মনে করি যে এই জাতীয় ডেটা নির্যাতন ঠিক আছে, যতক্ষণ না আপনি এই পার্থক্যটি মাথায় রাখেন এবং আপনি কী করছেন তা মনে রাখবেন, আপনি বৈজ্ঞানিক প্রক্রিয়ার কোন পর্যায়ে আছেন। যতক্ষণ না আপনার কাছে ডেটার স্বতন্ত্রতা থাকে ততক্ষণ আপনি চাঁদ পর্যায়ক্রমে বা 2 + 2 পুনরায় সংজ্ঞায়িত করতে পারেন । এটি একটি ছবিতে রাখার জন্য:

এখানে চিত্র বর্ণনা লিখুন

দুর্ভাগ্যক্রমে, যারা কিছু মাইক্রোরেয়েকে কাগজটি গুছিয়ে দেওয়ার আদেশ দিয়েছিলেন বেশ কয়েকটি পরীক্ষা-নিরীক্ষার পরেও এবং কোনও গল্প উত্থিত হয়নি, এই আশায় যে উচ্চতর মাধ্যমে আউটপুট বিশ্লেষণ কিছু দেখায়। অথবা তারা পুরো অনুমানের পরীক্ষা বনাম প্রজন্মের জিনিস সম্পর্কে বিভ্রান্ত।


আমি মনে করি যে আমি "হাইপোথিসিস প্রজন্ম" হিসাবে যা দেখেছি তা বোঝাতে পারে তবে আমি যে হেরফেরের কথা বলছি তার লক্ষ্য হ'ল "নির্যাতিত" ডেটা থেকে প্রাপ্ত ফলাফলগুলি প্রকাশ করা এবং সর্বোচ্চভাবে করা - ইমপ্যাক্ট জার্নাল যা কাগজটি গ্রহণ করবে। বলা বাহুল্য, এই জাতীয় কাগজপত্রগুলি কখনই তাদের আবিষ্কারগুলির অত্যাচারিত উত্স সম্পর্কে কোনও পরামর্শ বহন করে না। আসলে এএএএফআইটি, লেখকরা এ নিয়ে মোটেই ঝামেলা করেন না। এবং তবুও, আমি মনে করি যে এই জাতীয় গবেষণাপত্রের বেশিরভাগ পাঠক খুব
সহজেই আবিষ্কারগুলি ছাড়িয়ে দিতেন

1
@ কেজো: হাইপোথিসিস প্রজন্ম বৈজ্ঞানিক প্রক্রিয়ার একটি অংশ যা অবশ্যই প্রকাশিত হতে পারে। সুতরাং যে কোন কারণ।
ক্যাবেলাইটস মনিকাকে

@ জানুয়ারী: আপনি "আমরা যে নমুনা পেতে পারি সেগুলি নিখুঁত করে নিন - আপনি যেভাবেই হোক খুব কম হবেন" - যা আমার সবচেয়ে বেশি ঘন ঘন দেখা হয় তা উল্লেখ করতে ভুলে গিয়েছিলেন।
ক্যাবেলাইটস মনিকাকে

@ কেবেলাইটস: ভাল, আমি সাধারণভাবে এই মনোভাবের সমালোচনা করার স্বপ্ন দেখব না; সাধারণত পরীক্ষাগুলি বিপুল সংখ্যক প্রতিলিপি থেকে উপকৃত হতে পারে। তবে আমি সম্মত হই যে প্রায়শই পরীক্ষাগারীরা কেবল শারীরিকভাবে সম্ভব হিসাবে অনেকগুলি শর্ত (নমুনার প্রকার, স্ট্রেন, রূপ, শ্রেণি ইত্যাদি) অন্তর্ভুক্ত করে, বিশ্লেষণকে দুঃস্বপ্ন করে এবং কখনও কখনও পুরোপুরি প্রশ্নটিকে অস্পষ্ট করে তোলে।
জানুয়ারী

12

গ্রেড স্কুলে আমার প্রিয় অধ্যাপক হারমান ফ্রাইডম্যান তা বলতেন

"আপনি যদি অবাক না হন তবে আপনি কিছু শিখেননি"

কোনও পূর্বনির্ধারিত হাইপোথেসিসের সর্বাধিক কঠোর পরীক্ষা ব্যতীত অন্য কোনও কিছুর কঠোর পরিহার আপনার অবাক হওয়ার ক্ষমতা মারাত্মকভাবে সীমিত করে দেয়।

আমি মনে করি মূল বিষয়টি হ'ল আমরা যা করছি সে সম্পর্কে আমরা সৎ । আমরা যদি একটি উচ্চ অনুসন্ধানের মোডে থাকি তবে আমাদের এটি বলা উচিত। বিপরীত প্রান্তে, আমি জানি এমন একজন অধ্যাপক তার ছাত্রকে বলেছিলেন যে তাঁর অনুমানগুলি পরিবর্তিত করুন কারণ মূল বিষয়গুলি তাত্পর্যপূর্ণ বলে মনে হয় নি।


4
অক্ষরে অক্ষরে অবরোহমার্গী সংজ্ঞায়িত অনুমানের পরীক্ষাটি কিছুই ভুল এবং পরবর্তী অবরোহমার্গী সংজ্ঞায়িত অনুমানের সুপারিশ একই তথ্য গোপনে ভেদ অক্ষরে অক্ষরে পরীক্ষা করবে। এবং আমরা যদি কিছুটা অনুসন্ধানের মোডে থাকি তবে আমাদের এটাই বলা উচিত - কেবল আমরা যা করেছি তা বলুন - এবং অন্যরা ঠিক কত বড় চিমটি লবণের সাথে আমাদের ফলাফল নিতে চান তা সিদ্ধান্ত নিতে দিন, তবে তাদের বৈধতার বিষয়ে আমরা নিশ্চিত হতে পারি নিজেদেরকে। আমি এই উত্তরটি সততার উপর জোর দেওয়ার জন্য একাধিক ভোট দিতে চাই।
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

7

আমাকে কয়েকটি পয়েন্ট যোগ করুন:

  • প্রথমত, হাইপোথিসিস প্রজন্ম বিজ্ঞানের একটি গুরুত্বপূর্ণ অঙ্গ। এবং অ-ভবিষ্যদ্বাণীমূলক (অনুসন্ধান / বর্ণনামূলক) ফলাফল প্রকাশ করা যেতে পারে।

  • আইএমএইচও সমস্যাটি কোনও উপায়ে নয় যে ডেটা অন্বেষণ কোনও ডেটা সেটে ব্যবহৃত হয় এবং কেবলমাত্র সেগুলি অনুসন্ধানের অংশ প্রকাশিত হয়। সমস্যাগুলি হ'ল

    • কত চেষ্টা করা হয়েছে তা বর্ণনা না করে
    • তারপর সিদ্ধান্তে অঙ্কন যেন গবেষণায় কিছু ভবিষ্যদ্বাণীপূর্ণ মডেল জন্য একটি বৈধতা অধ্যয়ন ছিল / একটি হাইপোথিসিস টেস্টিং অধ্যয়ন
  • বিজ্ঞান এবং পদ্ধতির বিকাশ কেবলমাত্র অনুমানের প্রজন্মের চেয়ে অনেক বেশি সাধারণ পদ্ধতিতে পুনরাবৃত্তি প্রক্রিয়া - পরীক্ষা - নতুন অনুমান তৈরি করা - পরীক্ষা করা .... আইএমএইচও এটি কোন পর্যায়ে সঠিক আচরণের প্রয়োজন তা পেশাদার বিচারের বিষয় (উদাহরণ দেখুন নিচে).

আমি কি করবো:

  • লোকদের আশাবাদী পক্ষপাত সম্পর্কে সচেতন করার চেষ্টা করুন
    যখন আমার একটি সুযোগ হয় তখন আমি লোকদের দেখান যে কতটা পার্থক্য হয় (বেশিরভাগ ক্ষেত্রে একই সমস্যার নিম্ন স্তরের সাথে সম্ভাব্য, যেমন অভ্যন্তরীণ পারফরম্যান্সের সাথে রোগী-স্বতন্ত্রভাবে বৈধতাযুক্ত ডেটা তুলনা করুন) হাইপার-প্যারামিটার অপ্টিমাইজেশন রুটিনগুলির অনুমান, যেমন এসভিএম প্যারাটারগুলির জন্য গ্রিড অনুসন্ধান, "পিসিএ-এলডিএ-র মতো" সম্মিলিত মডেলগুলি "। বাস্তব ডেটা ড্রেজিংয়ের পক্ষে সত্যিই সম্ভবপর নয়, কারণ এখনও পর্যন্ত কেউ আমাকে টাকা দেওয়ার জন্য টাকা দেয়নি একটি বুদ্ধিমান আকারের অধ্যয়নের সত্য প্রতিলিপি ...)
  • আমি যে কাগজপত্রের সহকর্মী: সেগুলি সিদ্ধান্তের সীমাবদ্ধতার বিষয়ে আলোচনার জন্য জোর দিন। অধ্যয়নের অনুমতি দেওয়ার চেয়ে সিদ্ধান্তটি আরও সাধারণ উপায়ে তৈরি করা হয়নি তা নিশ্চিত করুন।
  • কো-কর্মীদের গবেষণা ব্যয় এবং ডেটা প্রজন্মের প্রক্রিয়া সম্পর্কে তাদের বিশেষজ্ঞ জ্ঞান ব্যবহার করার জন্য উত্সাহিত করুন যাতে ব্যয়বহুল সম্পাদনের পরিবর্তে উপাত্তকে কীভাবে আচরণ করা যায় সে বিষয়ে সিদ্ধান্ত নিতে (নমুনা আকারের ভিত্তিতে আপনাকে এটি সঠিকভাবে করা দরকার) অপ্টিমাইজেশন মডেল- "হাইপার" -পরিমিতি (যেমন কোন ধরণের প্রাক প্রসেসিং ব্যবহার করতে হবে)।
  • সমান্তরালভাবে: জনগণকে সচেতন করার চেষ্টা করুন যে এই অপ্টিমাইজেশন ব্যবসায়টি যদি সঠিকভাবে করা হয় (তবে এটি যদি অনুসন্ধান হিসাবে বলা হয় বা অপ্রাসঙ্গিক না হয়, ভুলভাবে করা হয় তবে এটি ডেটা ড্রেজিংয়ের মতোই ফলাফলযুক্ত হবে ), যেমন: বেলাইটস, সি এবং নিউজবাউর , মার্কিন যুক্তরাষ্ট্র এবং বকলিটজ, টি। এবং ক্রাফ্ট, সি এবং পপ, জে .: শ্রেণিবদ্ধকরণের মডেলগুলির জন্য নমুনা আকারের পরিকল্পনা। পায়খানা চিম অ্যাক্টা, 2013, 760, 25-33। ডিওআই: 10.1016 / জে.এ.সি.এ.এল.এল .11.11.007 আরএক্সআইভিতে
    স্বীকৃত পান্ডুলিপি: 1211.1323
  • এই গবেষণায় দেখা গেছে যে অন্ধের চেষ্টা করা প্রায়শই বৃথা যায়, যেমন
    জে এঞ্জেল, জে গেরেটজেন, ই। সাইজেমস্কা, জে জেসেন, জি ডাউনি, এল ব্লাচেট, এলএমসি বাইডেনস: প্রাক প্রক্রিয়াজাতকরণের প্রবণতাগুলি ভেঙে ?, বিশ্লেষণামূলক রসায়ন, 2013, 50, 96-106 এ ট্র্যাক ট্রেন্ডস। ডিওআই: 10.1016 / জে.ট্রাক .২০.০৪.০১15
    (তারা প্রি-প্রসেসিং পদক্ষেপের সংখ্যক সংমিশ্রণ চেষ্টা করেছিল এবং দেখেছিল যে প্রাক-প্রসেসিংয়ের চেয়ে খুব কম সংখ্যক উন্নত মডেলের দিকে নেতৃত্ব দেয়)

  • জোর দিয়ে বলুন যে আমি আমার ডেটা প্রয়োজনীয়তার চেয়ে বেশি নির্যাতন করছি না:
    উদাহরণস্বরূপ :

    সমস্ত প্রিপ্রোসেসিং একচেটিয়াভাবে বর্ণালী জ্ঞান ব্যবহার করে সিদ্ধান্ত নেওয়া হয়েছিল, এবং কোনও ডেটা-চালিত প্রাকপ্রসেসিং করা হয়নি।

    (বিভিন্ন) তত্ত্ব বিকাশের জন্য উদাহরণ হিসাবে একই ডেটা ব্যবহার করে একটি ফলো-আপ পেপার

    সমস্ত প্রাক-প্রক্রিয়াকরণ বর্ণালী সংক্রান্ত জ্ঞান দ্বারা সিদ্ধান্ত নেওয়া হয়েছিল, কোনও ডেটা-চালিত পদক্ষেপ অন্তর্ভুক্ত করা হয়নি এবং কোনও প্যারামিটার অপ্টিমাইজেশন করা হয়নি। তবে, আমরা পরীক্ষা করে দেখলাম যে এলআর প্রশিক্ষণের প্রাক প্রসেসিংয়ের কারণে 25 টি সুপ্ত ভেরিয়েবলের বর্ণালীর একটি পিএলএস প্রজেকশন [45] ভবিষ্যদ্বাণীতে সামান্য পরিবর্তনের চেয়ে বেশি হয়নি (পরিপূরক চিত্র এস .2 দেখুন)।

    কারণ ইতিমধ্যে আমাকে স্পষ্টভাবে জিজ্ঞাসা করা হয়েছিল (সিআইএলএস জার্নাল জার্নালের একটি সম্পাদক দ্বারা একটি সম্মেলনে) পিএলএস প্রাক প্রসেসিংয়ের সাথে মডেলগুলির তুলনা করতে।

  • একটি বাস্তব দৃষ্টিভঙ্গি দেখুন: উদাহরণস্বরূপ উপরে জড়িত অ্যাস্ট্রোকাইটোমা গবেষণায় অবশ্যই আমি এখনও তথ্যগুলি দেখার পরে কিছু পয়েন্টগুলি স্থির করেছিলাম (যেমন নমুনার বাইরে থেকে নেওয়া পরিমাপের সাথে কী তীব্রতা প্রান্তিক হয় - যা পরে বাতিল করা হয়েছিল)। আমি অন্যান্য সিদ্ধান্তগুলি অবৈধ হতে জানি (রৈখিক বনাম চতুর্ভুজ বেসলাইন: type ধরণের ডেটা নিয়ে আমার অভিজ্ঞতা থেকে বোঝা যায় যে এটি আসলে খুব বেশি পরিবর্তন হয় না - যা জ্যাস্পার এঞ্জেল একই ধরণের বিভিন্ন ডেটাতে কী খুঁজে পেয়েছিল তার সাথে নিখুঁত চুক্তিতেও তাই) আমি ডেটা দেখে বেসলাইন ধরণের সিদ্ধান্ত নেওয়ার থেকে বড় পক্ষপাতের আশা করব না (কাগজটি কেন এটি বোধগম্য তা একটি যুক্তি দেয়)।
    আমরা যে অধ্যয়ন করেছি তার উপর ভিত্তি করে, আমরা এখন বলতে পারি যে কী কী কাজ করা উচিত এবং কী পরিবর্তন করা উচিত। এবং কারণ আমরা পদ্ধতি উন্নয়নের তুলনামূলকভাবে তাড়াতাড়ি পদক্ষেপ এখনও (এ খুঁজছেন সাবেক ভিভো নমুনা), এটা না মূল্য যখন সমস্ত "হোমওয়ার্ক" যে পরিণামে আগে পদ্ধতি ব্যবহার করা যেতে পারে প্রয়োজন হবে মধ্য দিয়ে যেতে ইন-ভিভো । উদাহরণস্বরূপ, অ্যাস্ট্রোকাইটোমা গ্রেডিংয়ের বর্তমান পর্যায়ে, পুনর্নির্মাণের বৈধতা বাহ্যিক পরীক্ষার সেটের চেয়ে বেশি বুদ্ধিমান পছন্দ। আমি এখনও জোর দিয়েছি যে, সত্যিকারের বাহ্যিক বৈধতা অধ্যয়নের কোনও পর্যায়ে প্রয়োজন হবে, কারণ কিছু কর্মক্ষমতা বৈশিষ্ট্যগুলি কেবল সেভাবেই পরিমাপ করা যায় (উদাহরণস্বরূপ, যন্ত্রের চালকের প্রভাব / প্রমাণ করে যে আমরা এগুলির জন্য সংশোধন করতে পারি)। তবে এখনই আমরা প্রাক্তন ভিভো নিয়ে খেলছিনমুনা এবং বড় সমস্যার অন্যান্য অংশগুলি সমাধান করছে (সংযুক্ত কাগজপত্রগুলিতে: সীমান্তরেখার ক্ষেত্রে কীভাবে মোকাবেলা করতে হবে), একটি প্রাক্তন ভিভো বৈধতা অধ্যয়ন থেকে দরকারী জ্ঞানের লাভ খুব কম হবে না প্রচেষ্টা (আইএমএইচও: যদি না) যা ডেটা ড্রেজিংয়ের কারণে পক্ষপাতটি পরিমাপ করার জন্য করা হয়েছিল)।

  • আমি একবার পরিসংখ্যানগত এবং প্রতিবেদনের মান সম্পর্কে একটি যুক্তি পড়েছিলাম, এবং এই জাতীয় জার্নালের জন্য প্রয়োজনীয় হওয়ার সিদ্ধান্ত নেওয়া উচিত কিনা (কোনটি মনে রাখবেন না) যা আমাকে বিশ্বাস করেছিল: সেখানে প্রকাশিত ধারণাটি ছিল যে সম্পাদকদের চেষ্টা করার দরকার নেই সম্মত হন এবং কিছু মান প্রয়োগ করে (যা অনেক বেশি নিরর্থক আলোচনার কারণ ঘটবে) কারণ:

    • যিনি যথাযথ কৌশলগুলি ব্যবহার করেন সাধারণত এটি সম্পর্কে অত্যন্ত সচেতন / গর্বিত এবং তাই (এবং হওয়া উচিত) তাই কী হয়েছিল তা বিশদ বিবরণ দিন।
    • যদি একটি নির্দিষ্ট পয়েন্ট (যেমন ডেটা ড্রেজিং, বৈধতা রোগীর স্তরে স্বতন্ত্র নয়) স্পষ্টভাবে বানান না হয় তবে পর্যালোচক / পাঠকদের জন্য ডিফল্ট অনুমান যে অধ্যয়নটি সেই প্রশ্নের যথাযথ নীতিগুলি মেনে চলেনি (সম্ভবত কারণ তারা করেন নি ' ভাল জানি না)

4

কখনও কখনও আপনি "ডেটা নির্যাতন" হিসাবে দেখেন এমন জিনিসগুলি আসলে হয় না। আপনি যতক্ষণ না পরীক্ষা না হওয়া অবধি পরীক্ষার আসল ফলাফল তা আপনি যা বিশ্বাস করেন তা দেওয়ার জন্য আপনি ডেটা দিয়ে ঠিক কী করতে যাচ্ছেন তা এটি আগেই পরিষ্কার নয়।

উদাহরণস্বরূপ, কোনও সিদ্ধান্ত কার্যের জন্য প্রতিক্রিয়া সময়ের ডেটা সহ, আপনি প্রায়শই এমন সময়গুলি প্রত্যাখ্যান করতে চান যা সিদ্ধান্ত সম্পর্কে নয় (যেমন, যখন তারা এত দ্রুত এগিয়ে চলেছে তখন তারা অবশ্যই অনুমান করে থাকেন এবং সিদ্ধান্ত নেন না)। আপনি আরটি-র বিরুদ্ধে সিদ্ধান্তের যথার্থতার জন্য প্লট করতে পারেন যে অনুমানটি সাধারণত ঘটে থাকে তা দেখতে। তবে আপনি সেই নির্দিষ্ট দৃষ্টান্তটি পরীক্ষা না করা অবধি আপনার কাট অফগুলি কোথায় রয়েছে তা (সময় মতো সঠিকতা নয়) জানার কোনও উপায় নেই। কিছু পর্যবেক্ষকের কাছে এ জাতীয় প্রক্রিয়াটি ডেটাটিকে নির্যাতনের মতো বলে মনে হয় তবে যতক্ষণ না এর অনুমান পরীক্ষাগুলির সাথে সরাসরি কোনও সম্পর্ক না থাকে (আপনি পরীক্ষার ভিত্তিতে এটি সামঞ্জস্য করছেন না) তবে এটি ডেটাটিকে নির্যাতন করছে না।

কোনও পরীক্ষার সময় ডেটা স্নুপিং যতক্ষণ না এটি সঠিকভাবে করা হয় ততক্ষণ ঠিক। আপনার পরীক্ষাকে একটি কালো বাক্সে আটকে রাখা সম্ভবত অনৈতিক এবং শুধুমাত্র যখন পরিকল্পনা করা বিষয়গুলি চালিত হয়েছে তখনই বিশ্লেষণ করুন। কখনও কখনও বলা মুশকিল যে পরীক্ষায় সমস্যা রয়েছে যতক্ষণ না আপনি ডেটা দেখুন এবং আপনার যত তাড়াতাড়ি সম্ভব কিছু দেখার উচিত। ডেটা পিকিং দৃ strongly়ভাবে অস্বীকার করা হয়েছে কারণ এটি পি <0.05 এবং চালিয়ে যাওয়ার সিদ্ধান্ত নিয়েছে কিনা তা সমান। তবে এমন অনেকগুলি মানদণ্ড রয়েছে যার দ্বারা আপনি সংগ্রহ চালিয়ে যাওয়ার সিদ্ধান্ত নিতে পারেন যা আপনার ত্রুটির হারের জন্য কোনও ক্ষতিকারক কাজ করবেন না।

বলুন যে আপনি নিশ্চিত করতে চান যে আপনার বৈকল্পিক অনুমানটি একটি সম্ভাব্য সম্ভাব্য সীমার মধ্যে রয়েছে। ছোট নমুনাগুলিতে ভেরিয়েন্সের প্রাক্কালনের পরিমাণ অনেক বেশি হতে পারে তাই আপনি যতক্ষণ না জানেন যে নমুনাটি আরও প্রতিনিধিত্বশীল না হয় আপনি অতিরিক্ত তথ্য সংগ্রহ করেন। নিম্নলিখিত সিমুলেশনটিতে আমি প্রতিটি শর্তের বৈকল্পিকতা প্রত্যাশা করি 1 আমি সত্যই ক্রেজি কিছু করতে যাচ্ছি এবং প্রতিটি গ্রুপকে 10 টি নমুনার জন্য স্বতন্ত্রভাবে নমুনা দেব এবং তারপরে প্রকরণটি 1-এর কাছাকাছি না হওয়া পর্যন্ত বিষয় যুক্ত করব।

Y <- replicate(1000, {
    y1 <- rnorm(10)
    while(var(y1) < 0.9 | var(y1) > 1.1) y1 <- c(y1, rnorm(1))
    y2 <- rnorm(10)
    while(var(y2) < 0.9 | var(y2) > 1.1) y2 <- c(y2, rnorm(1))
    c( t.test(y1, y2, var.equal = TRUE)$p.value, length(y1), length(y2) )
    })
range(Y[2,]) #range of N's in group 1
[1]   10 1173
range(Y[3,]) #range of N's in group 2
[1]   10 1283
sum(Y[1,] < 0.05) / ncol(Y)
[1] 0.045

সুতরাং, আমি স্যাম্পলিংয়ের সাথে আমার বৈকল্পিকগুলি প্রত্যাশার কাছাকাছি করে ফেলেছি এবং আমি এখনও আলফাটিকে খুব বেশি প্রভাবিত করি না (এটি 0.05 এর নীচে কিছুটা)। এন এর মতো আরও কয়েকটি প্রতিবন্ধকতা অবশ্যই প্রতিটি গ্রুপে সমান হতে হবে এবং ৩০ এর বেশি হতে পারে না এবং ০.০৫-তে আলফা বেশ সঠিক। তবে এসই সম্পর্কে কী হবে? আমি যদি পরিবর্তে এসইকে একটি প্রদত্ত মান বানানোর চেষ্টা করি? এটি আসলেই একটি আকর্ষণীয় ধারণা কারণ আমি সিআই এর প্রস্থ অগ্রিম সেট করেছিলাম (তবে স্থানটি নয়)।

se <- function(x) sqrt(var(x) / length(x))
Y <- replicate(1000, {
        y1 <- rnorm(10)
        y2 <- rnorm(10)
        while(se(y1) > 0.2 | se(y2) > 0.2) {
            y1 <- c(y1, rnorm(1)); y2 <- c(y2, rnorm(1))
        }
        c( t.test(y1, y2, var.equal = TRUE)$p.value, length(y1) )
        })
range(Y[2,]) #range of N's in group 1 and 2 (they're equal now)
[1] 10 46
sum(Y[1,] < 0.05) / ncol(Y)
[1] 0.053

আবার, আলফা একটি ছোট পরিমাণ পরিবর্তন করেছে যদিও আমি এন 10 এর ডেটা স্নুপিংয়ের উপর ভিত্তি করে মূল 10 থেকে 46 এ ঘোরাফেরা করতে দিয়েছি। আরও গুরুত্বপূর্ণ, এসই এর সমস্ত পরীক্ষার প্রতিটি সংকীর্ণ পরিসীমা মধ্যে পড়ে। এটি যদি উদ্বেগজনক হয় তবে তা ঠিক করতে একটি ছোট আলফা সামঞ্জস্য করা সহজ। মুল বক্তব্যটি হ'ল কিছু ডেটা স্নুপিং কোনও ক্ষতি করতে পারে না এবং এমনকি সুবিধাও বয়ে আনতে পারে।

(বিটিডাব্লু, আমি যা দেখছি তা কোনও ম্যাজিক বুলেট নয় You আপনি আসলে দীর্ঘমেয়াদে এটি করার জন্য বিষয়গুলির সংখ্যা হ্রাস করেন না কারণ পরিবর্তিত এন এর সিমুলেশনটির শক্তি গড় এন এর অনুকরণের মতোই হয়) )

উপরের কোনটি পরীক্ষা-নিরীক্ষা শুরুর পরে বিষয় যুক্ত করার বিষয়ে সাম্প্রতিক সাহিত্যের বিরোধিতা করে না। এই অধ্যয়নগুলিতে তারা সিমুলেশনগুলির দিকে নজর রেখেছিল যেখানে আপনি পি-মান কম করার জন্য অনুমানের পরীক্ষা করার পরে বিষয়গুলি যুক্ত করেছিলেন। এটি এখনও খারাপ এবং অসাধারণভাবে আলফা ফুলে উঠতে পারে। তদুপরি, আমি জানুয়ারী এবং পিটার ফ্লমের উত্তরগুলি সত্যিই পছন্দ করি। আমি কেবল এটি উল্লেখ করতে চেয়েছিলাম যে আপনি এটি সংগ্রহ করার সময় ডেটা সন্ধান করছেন এবং সংগ্রহ করার সময় একটি পরিকল্পিত এন পরিবর্তন করাও অগত্যা খারাপ জিনিস নয়।


আপনার পরীক্ষার পরিসংখ্যানের নমুনা বিতরণকে প্রভাবিত না করার দিক থেকে এই জিনিসগুলির কোনওটিই 'সূক্ষ্ম' নয়। অবশ্যই অবাক হওয়ার জন্য পুরোপুরি বুদ্ধিমান প্রতিক্রিয়া (সিএফ @ পিটারের উত্তর), তবে তারা 'স্বাধীনতার গবেষক ডিগ্রি' বৃদ্ধি করে আপনার পরীক্ষার নিশ্চিতকরণমূলক প্রকৃতির কিছুটা কমিয়ে দেয়। প্রোটোকল সংশোধন করার জন্য আমরা পাইলট স্টাডিজ করি এবং বিশ্লেষণগুলিতে এটিকে বিবেচনায় রেখে এগুলি বন্ধ করার নিয়মগুলি আগেই সংজ্ঞায়িত করা অবাক হওয়ার জন্য অবিকল এটি। লক্ষ্যটি একটি সু-সংজ্ঞায়িত পদ্ধতি যা আপনার ফলাফলগুলির বৈধতা প্রদর্শনের জন্য স্বতন্ত্রভাবে প্রতিলিপি করা যেতে পারে।
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

আপনি নিজেই সিমুলেশনগুলি চালাতে নির্দ্বিধায় পারেন তবে ভেরিয়েন্স ভিত্তিক স্টপিং রুল (যুক্তিসঙ্গত ন্যূনতম এন এর চেয়ে বেশি) থাকায় আলফার উপর কোনও প্রভাব পড়বে না এবং একটি প্রত্যাশিত শক্তি উত্পন্ন করবে। এমনকি আপনার কাছে এসই ভিত্তিক স্টপিং নিয়ম থাকতে পারে এবং ধারাবাহিক এসই পাওয়া যায় এবং সেগুলি আলফা বা বিটাকে প্রভাবিত করে না। আপনার কেবল pভিত্তিক থামার নিয়ম থাকতে পারে না । এন সংশোধন করার সমস্ত সমালোচনা একটি অনুমান পরীক্ষার পরে এটি করা সম্পর্কে রয়েছে (অন্যান্য বিষয়গুলিও এতে অন্তর্ভুক্ত থাকা উচিত)। এমন সম্ভাবনা রয়েছে যা এর দ্বারা প্রলোভনের কারণ হয় ... তবে আমি এটিকে উপেক্ষা করছি।
জন

প্রতিক্রিয়া সময় বিতরণ হিসাবে, আপনি পরামর্শ দিচ্ছেন যে প্রতিটি বিষয় যখন লজিস্টিক রিগ্রেশন ভিত্তিক অনুমান করছে এবং তাদের নিজস্ব কাটা পয়েন্ট ব্যবহার করবে তখন কোনও পাইলটের ভিত্তিতে স্থির কাট পয়েন্টটি বেছে নেওয়া ভাল? (অবশ্যই নির্ভুলতার কাট পয়েন্টটি ঠিক করা হয়েছে, কেবল প্রতিক্রিয়া সময় নয়)।
জন

(1) ভেরিয়েন্স ভিত্তিক স্টপিং নিয়ম: এটি বৈকল্পিক প্রাক্কলনকে প্রভাবিত করে, এবং অতএব পরীক্ষার বিশ্লেষণ করা হলে ত্রুটির হারকে প্রভাবিত করতে পারে যেমন নমুনার আকার আগেই স্থির করা হয়েছিল। আপনার মন্তব্যে দেওয়া "যুক্তিসঙ্গত ন্যূনতম এন এর বাইরে" এর উত্তেজনা এবং আপনার উত্তরে উল্লেখ করা "ছোট নমুনার আকার" এর মধ্যে একটি উত্তেজনা রয়েছে; সন্দেহ নেই আপনার কাছে পরিসংখ্যানসম্মত সুনির্দিষ্ট বিষয়গুলি জানতে কখন কী অনুমানগুলি যথেষ্ট ভাল। তবে সবাই তা করে না। আরও সাধারণভাবে, অবিচ্ছেদ্য পন্থা হ'ল পরীক্ষার আগে থামার নিয়মটি স্পষ্টভাবে সংজ্ঞায়িত করা।
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

(২) প্রতিক্রিয়া সময় বিতরণ: না (যদিও আমি স্বীকার করেছি যে এরকম কিছু মনে ছিল); আমি পরামর্শ দিচ্ছিলাম যে অবিশ্বাস্য পর্যবেক্ষণ অপসারণের জন্য যে পদ্ধতিটিই ব্যবহার করা হোক না কেন এটি একটি পাইলট স্টাডি থেকে আরও উন্নত হবে, এবং তারপরে একটি নিশ্চিতকরণ পরীক্ষায় প্রয়োগ করা হবে।
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

0

এটি সত্যই ভারসাম্যহীন চিন্তার একটি সাংস্কৃতিক সমস্যা, যেখানে প্রকাশনা পক্ষপাত ইতিবাচক ফলাফলের পক্ষে যায় এবং আমাদের প্রতিযোগিতামূলক প্রকৃতির প্রয়োজন সম্পাদক এবং গবেষকদের উপন্যাস বা বিতর্কিত আগ্রহের ফলাফল উত্পাদন করে দেখা উচিত, উদাহরণস্বরূপ, অর্থে অন্য কারও ফলাফল প্রত্যাখ্যান। চিকিত্সা গবেষণায় বিচারের বাধ্যতামূলক নিবন্ধকরণ এবং পরিত্যক্ত পরীক্ষার রেকর্ড সহ ফলাফল প্রকাশের মাধ্যমে এই সমস্যা সমাধানের জন্য যথেষ্ট অগ্রগতি হচ্ছে। আমি বুঝতে পেরেছি যেহেতু জার্নালগুলিতে ব্যর্থ গবেষণার জন্য প্রকাশনা অনুশীলনযোগ্য না হতে পারে, তাই তাদের প্রকাশ্যে উপলব্ধ ডেটাবেস রাখার পরিকল্পনা রয়েছে। যে অনন্য ফলাফলগুলি অনুলিপি করা যায় না তা অপ্রয়োজনীয় ফলস্বরূপ অপ্রয়োজনীয় ফলস্বরূপ হয় না, সম্ভবত 50 হিসাবেও,

বিভিন্ন পদ্ধতি ব্যবহার করাও সমাধানের অগত্যা নয়। উদাহরণস্বরূপ, কোন রসায়নবিদ বিভিন্ন পরিস্থিতিতে বিভিন্নভাবে রেএজেন্টগুলি মিশ্রিত করবেন এবং অবশ্যই অবশ্যই একই ফলাফল আশা করবেন?

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.