প্রাথমিক পর্যায়ে ক্লিনিকাল ট্রায়াল বন্ধ হয়ে গেলে পক্ষপাত কেন প্রভাবিত হয়?


24

একটি অন্তর্বর্তীকালীন বিশ্লেষণ হ'ল এক বা একাধিক সময় পয়েন্টে ডেটা বিশ্লেষণ যা অধ্যয়নের সরকারী ঘনিষ্ঠতার আগে যেমন, সম্ভবত অধ্যয়নটি প্রাথমিকভাবে সমাপ্ত করে।

Piantadosi এস (মতে ক্লিনিকাল ট্রায়াল - একটি methodologic দৃষ্টিকোণ ): " যখন একটি ট্রায়াল প্রাথমিক পর্যায়ে সমাপ্ত করা হয়ে থাকে একটি চিকিত্সা প্রভাব অনুমান পক্ষপাতমূলক হবে তার আগে সিদ্ধান্ত, বৃহত্তর পক্ষপাত।। "

আপনি কি আমাকে এই দাবিটি ব্যাখ্যা করতে পারেন? আমি সহজেই বুঝতে পারি যে নির্ভুলতা প্রভাবিত হতে চলেছে, তবে পক্ষপাত সম্পর্কে দাবিটি আমার কাছে সুস্পষ্ট নয় ...


আমি মনে করি যে এটি বায়সিয়ান এবং ফ্রিকোয়েন্সিবাদী পদ্ধতিটির মধ্যে পার্থক্যকে "দেহ আউট" করার জন্য একটি সঠিক প্রশ্ন
— সম্ভাব্যতাব্লোগিক

উত্তর:


13

প্রথমত, আপনাকে প্রসঙ্গটি নোট করতে হবে: এটি কেবল তখনই প্রযোজ্য যখন অন্তর্বর্তীকালীন পর্যবেক্ষণের কার্যকারিতা / নিরর্থকতা দেখানোর কারণে বিচার শুরু হওয়া বন্ধ হয়ে যায়, কিছু এলোমেলো কারণে নয় not যে ক্ষেত্রে অনুমান প্রভাব আকারের একটি সম্পূর্ণরূপে statististical অর্থে পক্ষপাতমূলক করা হবে না। যদি আপনি কার্যকারিতা বন্ধ করে দেন তবে অনুমানিত প্রভাবটি খুব বেশি হবে (ধরে নিলে এটি ইতিবাচক), যদি আপনি নিরর্থকতার জন্য থেমে থাকেন তবে এটি খুব কম হবে।

পিয়ানোডোসি একটি স্বজ্ঞাত ব্যাখ্যাও দিয়েছেন (আমার সংস্করণে সেক 10.5.4)। ধরুন দুটি মাধ্যমে সত্য পার্থক্যটি 1 ইউনিট। যখন আপনি প্রচুর ট্রায়াল পরিচালনা করেন এবং আপনার অন্তর্বর্তী বিশ্লেষণের সময় এগুলি দেখেন, তাদের মধ্যে কয়েকটি প্রভাবের আকারগুলি 1 এরও বেশি উপরে দেখবেন, কিছুটি একের নিচে এবং প্রায় 1 এর কাছাকাছি - বিতরণটি প্রশস্ত হবে, তবে প্রতিসামান্য। এই মুহুর্তে আনুমানিক প্রভাবের আকারটি খুব নির্ভুল হবে না তবে পক্ষপাতহীন হবে। তবে আপনি কেবল থামান এবং প্রভাবের আকারের প্রতিবেদন করুন যদি পার্থক্যটি উল্লেখযোগ্য (একাধিক পরীক্ষার জন্য সামঞ্জস্য করা হয়), তবে অনুমানটি উচ্চতর দিকে। অন্য সমস্ত ক্ষেত্রে আপনি চালিয়ে যান এবং কোনও অনুমানের প্রতিবেদন করবেন না। তার মানে শীঘ্রই বন্ধ হওয়া শর্তযুক্ত, প্রভাব আকারের বিতরণটি প্রতিসম নয়, এবং এর প্রত্যাশিত মান অনুমানের সত্য মানের থেকেও বেশি।

এই প্রভাবটি প্রথম দিকে আরও তীব্র হওয়ার বিষয়টি বিচার বন্ধ করার জন্য আরও বড় বাধা থেকে আসে, সুতরাং শীতকালীন সময়ে বিতরণের একটি বড় অংশ ফেলে দেওয়া হয়।


1
প্রথমে আমি এটিও ভেবেছিলাম, তবে যখন আমি এটি প্রমাণ করতে বসেছিলাম, তখন আমি পারিনি: আমি কেবল এটিই প্রমাণ করতে পারি যে ফলাফল অনুমানটি বাস্তবে নিরপেক্ষ is (নতুন অন্তর্দৃষ্টি: শর্তসাপেক্ষ স্টপ থেকে নেওয়া ইতিবাচক পক্ষপাতটি নেতিবাচক পক্ষপাতটিকে সামঞ্জস্য রেখে পরীক্ষা-নিরীক্ষা চালিয়ে যাওয়ার ক্ষেত্রে ভারসাম্য বজায় রাখে )) সুতরাং: আপনি আরও কঠোর বিক্ষোভ প্রদর্শন করতে পারবেন?
— whuber

@whuber আমি এটা লেখার আপ করার চেষ্টা করব, কিন্তু পয়েন্ট যে Piantodosi বক্তব্য কেবল ঘটে যখন আপনার সম্পর্কে হয় না স্টপ গোড়ার দিকে। এটির ভারসাম্য অর্জনের কোনও সমাপ্তি নেই।
— অনিকো

2
@ হু হ্যাঁ, এটিই মূল বক্তব্যটি দাবি করে। আপনার বক্তব্য যে অধ্যয়ন শেষ করার ক্ষেত্রে শর্তাধীন বিপরীত পক্ষপাতিত্ব থাকবে তাও বৈধ also পুরো বার্তাটি হ'ল একবার অন্তর্বর্তী পর্যবেক্ষণ করা শুরু করার পরে, প্রভাবের আকারটি অনুমান করার ক্ষমতাকে মজার বিষয়গুলি ঘটতে শুরু করে।
— অনিকো

3
@ অ্যানিকো প্রাথমিক পর্যায়ে সমাপ্তির সময় পক্ষপাতের জন্য সামঞ্জস্য করা উচিত। সুতরাং আমরা স্থির আকারের এলোমেলো নমুনাগুলির উদ্দেশ্যে নির্ধারিত একটি স্ট্যান্ডার্ড অনুমানকারীর নিষ্পাপ ব্যবহার নিয়ে আলোচনা করছি বলে মনে হচ্ছে শর্তাধীন সমাপ্ত পরীক্ষায়, যেখানে এই জাতীয় অনুমানকারীদের পছন্দসই বৈশিষ্ট্য নেই। (+1, উপায়ে।)
— শুশুক

2
@ হুবুহু অবশ্যই, আপনি এই পক্ষপাতিত্বের জন্য সামঞ্জস্য করতে পারেন, তবে প্রথমে আপনাকে সনাক্ত করতে হবে যে এটি বিদ্যমান। এবং তারপরে আপনাকে তদন্তকারীকে বিক্রি করতে হবে যে 10 রোগীর মধ্যে 5 জনের মধ্যে পরিষ্কারভাবে সাড়া ফেলেছে, তাড়াতাড়ি থামার কারণে পক্ষপাতের জন্য সামঞ্জস্য করার পরে প্রতিক্রিয়ার আনুমানিক হার 40% (সংখ্যাগুলি আপ))
— অনিকো

3

সিদ্ধান্তে কীভাবে পক্ষপাত উত্থাপিত হতে পারে এবং কেন এটি সম্পূর্ণ গল্প না হতে পারে তার একটি চিত্র এখানে is ধরুন আপনার কাছে এমন কোনও ড্রাগের ক্রমিক ক্রিয়াকলাপ রয়েছে যা ইতিবাচক (+1) প্রভাবের প্রত্যাশিত তবে এর নেতিবাচক প্রভাব থাকতে পারে (-1)। একের পর এক পাঁচটি গিনি পিগ পরীক্ষা করা হয়। একটি একক ক্ষেত্রে একটি ইতিবাচক ফলাফল অজানা সম্ভাব্যতা আসলে এবং নেতিবাচকই ।3414

সুতরাং পাঁচটি পরীক্ষার পরে বিভিন্ন ফলাফলের সম্ভাবনাগুলি

 Outcome     Probability
+5-0 = +5    243/1024
+4-1 = +3    405/1024
+3-2 = +1    270/1024
+2-3 = -1     90/1024
+1-4 = -3     15/1024
+0-5 = -5      1/1024

সুতরাং সামগ্রিকভাবে ইতিবাচক ফলাফলের সম্ভাবনা 918/1024 = 0.896 এবং গড় ফলাফলটি +2.5। 5 টি পরীক্ষার দ্বারা ভাগ করা, এটি প্রতি পরীক্ষার গড় +0.5 ফলাফল।

যেমন হয় এটা নিরপেক্ষ ব্যক্তিত্ব ।+ +1×34-1×14

মনে করুন যে গিনি পিগ রক্ষার জন্য, যদি কোনও পর্যায়ে ক্রমবর্ধমান ফলাফল নেতিবাচক হয় তবে অধ্যয়নটি সমাপ্ত হবে। তারপরে সম্ভাবনা হয়ে যায়

 Outcome     Probability
+5-0 = +5    243/1024
+4-1 = +3    324/1024
+3-2 = +1    135/1024
+2-3 = -1     18/1024
+1-2 = -1     48/1024
+0-1 = -1    256/1024

সুতরাং সামগ্রিকভাবে ইতিবাচক ফলাফলের সম্ভাবনা হ'ল 702/1024 = 0.6855, এবং গড় ফলাফল +1.953। যদি আমরা পূর্ববর্তী গণনায় পরীক্ষার জন্য ফলাফলের গড় মান দেখে থাকি, যেমন , , + 1 ব্যবহার করি+ +55+ +35 ,-1+ +15 ,-1-15 এবং-1-13 পরে আমরা +0.184 পেতাম।-11

এগুলি সেই সংজ্ঞাগুলি যেখানে দ্বিতীয় স্কিমের প্রথম দিকে থামিয়ে পক্ষপাত হয় এবং পক্ষপাত পূর্বাভাসিত দিকে থাকে। তবে এটি সম্পূর্ণ গল্প নয়।

কেন whuber এবং সম্ভাব্যতা আলোচনা প্রাথমিকভাবে থামানো নিরপেক্ষ ফলাফল উত্পন্ন করা উচিত বলে মনে করেন? আমরা জানি দ্বিতীয় স্কিমের বিচারের প্রত্যাশিত ফলাফলটি +1.953। প্রত্যাশিত পরীক্ষার সংখ্যাটি 3.906 এ পরিণত হয়েছে। সুতরাং একে অপরের সাথে ভাগ করে নেওয়া আমরা ঠিক আগের মতোই এবং0 কে নিরপেক্ষ বলে বর্ণনা করা হয়েছিল +


আপনি "প্রাক ডেটা" বিশ্বের দৃষ্টিভঙ্গি নিচ্ছেন। আপনি যা বলছেন তা সত্য, যে থামার নিয়মটি গুরুত্বপূর্ণ তবে কেবল আপনি ডেটা বিবেচনা করার আগে । এর কারণ এই স্টপিং বিধি তথ্য সম্পর্কিত তথ্য সরবরাহ করে তবে সত্যিকারের সম্ভাব্যতা সম্পর্কে নয়। সুতরাং একবার ডেটা পরে, থামার নিয়ম আর গুরুত্বপূর্ণ নয়। মনে রাখবেন যে প্রকৃত সম্ভাব্যতা প্রকৃত পরীক্ষায় অজানা। সুতরাং আপনার সম্ভাব্যতাগুলি সম্পর্কেও পরিস্থিতি বিবেচনা করতে হবে, এবংপি(-)=3পি(+ +)=14 , পাশাপাশি অন্য কোনও সম্ভাব্য সংমিশ্রণ। পি(-)=34
— সম্ভাব্যতাব্লোগিক

সুতরাং আমি আপনার উদাহরণটি তুলে ধরে বলছি যে । এটা অবশ্যই সত্য! আমার উত্তরটি ডি তেও শর্তযুক্ত । এটি কারণ, যদি আপনি আমাকে থামানোর নিয়মটি জানান, তবে আপনি আসলে থামেননি বা না, আমি আমার কাছে থাকা ডেটা সেট থেকে এটি বের করতে পারি। আসলে, আমি ডেটা জানার পরে কোনও থামার নিয়মটি আসলে বন্ধ হয়ে গেছে কিনা তা আমি বুঝতে পারি। পি(এইচ|এস,আমি)≠পি(এইচ|আমি)ডি
— সম্ভাব্যতাব্লোগিক

1

ঠিক আছে, এ সম্পর্কে আমার জ্ঞান ২০০৮ সালে হার্ভিয়ান ভাষণ থেকে এসেছে http://bookshop.rcplondon.ac.uk/details.aspx?e=262 মূলত, আমার স্মরণে সবচেয়ে ভাল ফলাফলগুলি পক্ষপাতিত্ব করা হবে 1) তাড়াতাড়ি থামানো সাধারণত এর অর্থ হ'ল হয় চিকিত্সাটি একজনের চেয়ে কম বা কম কার্যকর ছিল এবং এটি যদি ইতিবাচক হয় তবে আপনি সম্ভবত সুযোগটি বিনিয়োগ করবেন। আমি বিশ্বাস করি যে পরিকল্পিত নমুনা আকারের ভিত্তিতে পি মানগুলি গণনা করা হয় (তবে আমি এতে ভুলও হতে পারি), এবং আপনি যদি কোনও প্রভাব দেখানো হয়েছে কিনা তা দেখার জন্য যদি আপনি ক্রমাগত আপনার ফলাফলগুলি পরীক্ষা করে দেখেন তবে আপনাকে একাধিক তুলনার জন্য সংশোধন করতে হবে যাতে আপনি কেবল কোনও সুযোগের প্রভাব খুঁজে পাচ্ছেন না তা নিশ্চিত করার জন্য। উদাহরণস্বরূপ, আপনি নীচে পি মানগুলির জন্য 20 বার পরীক্ষা করে থাকেন তবে পরিসংখ্যানগতভাবে বলতে গেলে, আপনি একটি উল্লেখযোগ্য ফলাফল খুঁজে পেতে প্রায় নিশ্চিত।


পার্ট 1 সবার আগে, আপনার উত্তরের জন্য আপনাকে ধন্যবাদ। প্রকৃতপক্ষে, একাধিক পরীক্ষার জন্য ঘন ঘন পদ্ধতিগুলি সঠিক। সুতরাং, পক্ষপাতদুষ্ট চিকিত্সার প্রভাব অনুমানের সমস্যা সেখান থেকে আসতে পারে না। একটি অন্তর্বর্তী বিশ্লেষণে, পরীক্ষাটি বর্তমান তথ্যের উপর ভিত্তি করে, বর্তমান নমুনা আকার ব্যবহার করে, সামগ্রিকভাবে পরিকল্পিত নমুনা আকার নয়। সুতরাং সমস্যাটি সেখান থেকেও আসে না।
— অক্রাম 10

পার্ট 2 আমি সম্মত হচ্ছি যে তাড়াতাড়ি থামার অর্থ এই চিকিত্সা "একের চেয়ে বেশি কার্যকর" is সেই অর্থে, অনুমানের চিকিত্সার প্রভাবটি প্রত্যাশার চেয়ে বেশি হবে। তবে, আমার মতে এটি পক্ষপাতদুষ্ট নয় ... পরিবর্তে আমার মতে কিছুটা অর্থে "আমাদের আশা পক্ষপাতিত্বশীল ছিল"।
— অক্টোবরে

1

আমি এই দাবির সাথে একমত নই, যদি না "পক্ষপাত" পেন্টাডোসির অর্থ হল নির্ভুলতার সেই অংশটিকে যা সাধারণত পক্ষপাত বলা হয়। অনুমানটি "পক্ষপাতদুষ্ট" হবে না কারণ আপনি প্রতি সেচ থামাতে চেয়েছিলেন: এটি "পক্ষপাতদুষ্ট" হবে কারণ আপনার কাছে ডেটা কম রয়েছে। তথাকথিত "সম্ভাবনা নীতি" বলে যে অনুমানটি কেবল পর্যবেক্ষণ করা ডেটার উপর নির্ভর করে, এবং যে ডেটা পর্যবেক্ষণ করা হতে পারে তার উপর নয়, তবে তা ছিল না। এলপি বলেছেন

পি(এইচ|ডি,এস,আমি)=পি(এইচ|ডি,আমি)

এইচডিএসআমিডিআমিএস=ছ(ডি,আমি)একজনএকজন=একজনএস=ছ(ডি,আমি)ডিআমিডি,এস,আমি=ডি,ছ(ডি,আমি),আমি=ডি,আমিডিআমি এটি গুরুত্বপূর্ণ।


@ প্রোব্যাবিলিটিস্লোগিক: আপনাকে ধন্যবাদ! আমি যদি এটি ভালভাবে বুঝতে পারি তবে "পক্ষপাত" কোনও পরিসংখ্যানগত দিক থেকে নেওয়া উচিত নয়। আমি মনে করি এটি উপলব্ধি করেছে কারণ
— পিয়েন্টাডোসি

ই(μ-μ^)2=বনামএকটিR(μ^)+ +বিআমিএকটিগুলি(μ^)μμ^"অনুমানকারী"। যদি দ্বিতীয় শব্দটি (পক্ষপাত) নমুনা আকারের উপর নির্ভর করে, তবে আপনি আশা করতে পারেন যে তাড়াতাড়ি থামানো পক্ষপাত বাড়িয়ে তুলবে, কারণ এটি নমুনার আকার হ্রাস পেয়েছে, পরীক্ষা চালিয়ে যাওয়ার সাথে সম্পর্কিত কিনা। তবে আপনি যা বলছেন তা থেকে মনে হয় পিয়ানোডোসির দৃষ্টিকোণ থেকে "পক্ষপাতিত্ব" ব্যাখ্যা করা উচিত "ত্রুটি" হিসাবে।
— সম্ভাব্যতাব্লোগিক

1
এই যুক্তি পক্ষপাতদুষ্ট সম্পর্কে কিছুই বলে না, কেবল সমস্যার অনুমানের পরীক্ষার দিকটি, যা কেউ প্রশ্ন করে না।
— অনিকো

@ প্রোব আমাকে @ অ্যানিকোর সাথে একমত হতে হবে: এটা স্পষ্ট যে নাল সত্য হলে প্রাথমিক পর্যায়ে সমাপ্তির ইতিবাচক সম্ভাবনা থাকে, এক্ষেত্রে প্রভাবটির অনুমানটি ননজারো হবে। সুতরাং প্রাক্কলিত সমাপ্তির শর্তসাপেক্ষে অনুমিত প্রভাবের প্রত্যাশাটি ইতিবাচক, যেখানে নিঃশর্ত প্রত্যাশা শূন্য। (লক্ষ করুন যে, ওপি অ্যাড্রেসিং হয় প্রাক্কলন না হাইপোথিসিস টেস্টিং।)
— whuber

Hμ(a,a+da)SDISSSDIμ
— সম্ভাব্যতাব্লোগিক

0

সেখানে হবে পক্ষপাত হোন ( "পরিসংখ্যানগত অর্থে" এ) যদি গবেষণার পরিসমাপ্তি র্যান্ডম নয়।

পরিসংখ্যানের দিকে চালিত পরীক্ষাগুলির একটি সেটে, (ক) "পরীক্ষার" প্রারম্ভিক ফলাফল (ক) শেষ পর্যন্ত "কোনও প্রভাব" খুঁজে না পাওয়া কিছু প্রভাব দেখায় (সুযোগের ফলস্বরূপ) এবং (খ) কিছু পরীক্ষা-নিরীক্ষা যা শেষ পর্যন্ত একটি ফলাফল খুঁজে পায় প্রভাব "কোনও প্রভাব" প্রদর্শন করবে না (সম্ভবত বিদ্যুতের অভাবের ফলে)। এমন একটি পৃথিবীতে যেখানে আপনি বিচারের অবসান ঘটান, আপনি যদি (ক) আরও বেশি বার (খ) থামান, তবে আপনি প্রভাব খুঁজে পাওয়ার পক্ষে পক্ষপাত নিয়ে পড়াশোনা চালিয়ে যাবেন। (একই লজিক প্রভাবের জন্য প্রযোজ্য মাপ ; গবেষণায় যে বেশী যে দেখান "প্রত্যাশিত বা কম হিসাবে" ফলাফল গণনা ফোলান হবে চেয়ে ভোরে দেন "প্রত্যাশিত চেয়ে বড়" প্রভাব আরো প্রায়ই সসীম "বিগ প্রভাব।")

প্রাথমিকভাবে ফলাফলগুলি যদি ইতিবাচক প্রভাব দেখায় - যদি প্লাসেবো বা অন্যান্য ক্ষেত্রে বিষয়গুলির জন্য চিকিত্সা উপলব্ধ করার জন্য - তবে প্রাথমিক ফলাফলগুলি অনিবার্য নয়, তবে চিকিত্সাগুলি ট্রায়ালগুলি যদি বন্ধ করা হয় তবে পরীক্ষার ক্ষেত্রে আরও 1 ধরণের ত্রুটি থাকবে সমস্ত পরীক্ষাগুলি উপসংহারে চালানো হয় যদি সেখানে হবে। তবে এর অর্থ এই নয় যে অনুশীলনটি ভুল; নৈতিকভাবে বলতে গেলে, টাইপ 1 ত্রুটির ব্যয়টি চিকিত্সা অস্বীকার করার চেয়ে কম হতে পারে যত তাড়াতাড়ি অন্যথায় চিকিত্সার জন্য সম্পূর্ণ পরীক্ষার শেষে কাজ করার জন্য প্রদর্শিত হবে would


আনিকোর জবাব সম্পর্কে আমার মন্তব্যটি দেখুন, কারণ আমি আপনাকে একই প্রশ্ন করতে চাই: আপনি কি আরও কঠোর বিক্ষোভ প্রদর্শন করতে পারেন?
— শুক্র

আমি অনিকোকে পিছিয়ে দিলাম - সে আমার চেয়ে আরও ভাল কাজ করে। তবে যদি আপনি সম্মত হন যে "ডেস্ক ড্রয়ারের প্রভাব" পক্ষপাতিত্বের ফলাফল, তবে এখানে যুক্তি অভিন্ন। হাইপোথিসিসের ডেটা সহায়ক তথ্য দেওয়ার পক্ষে পক্ষপাত রয়েছে - পূর্বের ক্ষেত্রে খ / সি না-সমর্থনকারী তথ্য প্রকাশিত হয় না, পরবর্তী বি / সি-তে কিছু সমর্থন না করে সমর্থিত ডেটা সংগ্রহ করা হয় না: বিচারের সমাপ্তি গোড়ার দিকে ফলাফল ভাল বাদ চেহারা যখন যে বিচারের যে তাদের খারাপ ফল হবে জনবহুল "খারাপ ফলাফল" বিতরণের অংশ প্রয়াত । হয়তো এই পক্ষপাতিত্বের জন্য সামঞ্জস্য করা যেতে পারে - তবে সামঞ্জস্যের প্রয়োজনে পক্ষপাতও রয়েছে।
— dmk38

@dmk আমি আপনাকে কেবল উভয়কে @ প্রবলেবিলিটি নিয়ে বিতর্ক করতে উত্সাহিত করার চেষ্টা করছি, যার সাথে আপনি তীব্রভাবে একমত নন বলে মনে করছেন ;-)।
— শুশুক

1
পি(ডি|এইচ,এস,আমি)

1
@ সম্ভাব্যতা এটি দেখার এক উপায়। আরেকটি হ'ল হাইপোথিসিসকে পুরোপুরি ডজ করা এবং আসলে যে প্রশ্নটি করা হচ্ছে তা সম্বোধন করা; বুদ্ধিমানভাবে, চিকিত্সার প্রভাবের আকারটি কী ? এই দৃষ্টিকোণ থেকে সমাপ্তি ঘটতে পারে একবার অনুমানটি সিদ্ধান্ত গ্রহণের পক্ষে সমর্থন করার জন্য পর্যাপ্ত যথার্থতার সাথে পরিচিত হয়। উদাহরণস্বরূপ, আমরা উচ্চ আস্থা রাখতে চাই যে চিকিত্সা নির্ধারণ করে স্বাস্থ্যের মধ্যে লাভ চিকিত্সার ব্যয়গুলি (এবং পার্শ্ব প্রতিক্রিয়া) ছাড়িয়ে যাওয়ার সম্ভাবনা রয়েছে।
— হোবার
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.