যখন আমরা নিয়ন্ত্রণ ভেরিয়েবলগুলিতে গ্রুপগুলি তুলনা করি তখন কি আমাদের সমতার পরীক্ষা ব্যবহার করা উচিত?


13

চিকিত্সা এবং ফলাফলগুলি বিবেচনা করে এমন অনেকগুলি গবেষণাপত্রে, আমি "গ্রুপগুলি বিস্তৃতভাবে একই রকম ছিল, সেখানে তাত্পর্য (সাধারণত" টেবিল 1 ") যা উপদ্রব ভেরিয়েবল (প্রায়শই ডেমোগ্রাফিক্স, কখনও কখনও চিকিত্সার পরিস্থিতি) বলা যেতে পারে তার টেবিগুলি দেখতে পাই such XXXXX এ কোনও উল্লেখযোগ্য পার্থক্য ছিল না, টেবিল দেখুন "। সুতরাং স্পষ্ট লক্ষ্যটি দেখাতে হবে যে বিভিন্ন চিকিত্সার জন্য নির্ধারিত গ্রুপগুলি একই রকম।

যাইহোক, এটি আমার কাছে মনে হচ্ছে এটি "নাল গ্রহণ করা" হতে পারে এবং আমাদের যা করা উচিত (বা করার দাবি করা) তা হল সমতার পরীক্ষা।

এটি এলোমেলোভাবে পরীক্ষাগুলিতে বা পর্যবেক্ষণ গবেষণায় প্রযোজ্য হতে পারে। আমি কি এখানে কিছু মিস করছি?


1
আমি সংগ্রহ করেছি আপনি 'টেবিল 1' উল্লেখ করছেন। আপনি কি প্রতি সেমি আরসিটি সম্পর্কে জিজ্ঞাসা করছেন, না পর্যবেক্ষণমূলক গবেষণাও?
গুং - মনিকা পুনরায়

@ হ্যাঁ, এটি সাধারণত টেবিল ১। এটি পর্যবেক্ষণমূলক গবেষণা বা আরসিটি হতে পারে। আপনার মন্তব্য প্রতিবিম্বিত করতে আমি আমার প্রশ্ন সম্পাদনা করেছি।
পিটার ফ্লুম - মনিকা পুনরায়

1
এমনকি যদি আমি স্পষ্ট করে বলার ঝুঁকিটি চালাই তবে: এমন কিছু কাগজপত্র রয়েছে যা এই সমস্যাটিকে সম্বোধন করে (যেমন: ডি বোয়ার এট আল। (২০১৫) )। আমি ধারণা করি যে অনুমানের পরীক্ষাটি বেসলাইন সারণীতে ছেড়ে দেওয়া উচিত base সঙ্গী বিবৃতি ক্লিনিকাল ট্রায়াল জন্য সেইসাথে strobe বিবৃতি পর্যবেক্ষণ কেন্দ্রিক গবেষণাও হাইপোথিসিস এড়ানো সুপারিশ বেসলাইন সারণিতে পরীক্ষার জন্য। সমতা পরীক্ষা যদি আরও ভাল হয়, আমি জানি না।
COOLSerdash

আপনি নাল বিরুদ্ধে পরীক্ষা বা সমতার জন্য পরীক্ষা কিনা তা অনুপ্রেরণার উপর নির্ভর করে এবং সারণী থেকে আঁকা যায় এমন আলোচনাকে প্রভাবিত করে। সমতুল্যতা বলা খুব শক্তিশালী শর্ত এবং আমি লেখক ডেমোগ্রাফিক্স সম্পর্কে দৃ strong় সিদ্ধান্ত গ্রহণ করতে না চাইলে বেশিরভাগ ক্ষেত্রেই প্রয়োজনীয় না হওয়ার সন্দেহ করি associated জনমিতি। আমি এটিকে লক্ষ্য করি নি তবে এটির মতো দেখতে অন্যের মতামত নিয়ে আগ্রহী।
রিনিব্যাট

উত্তর:


10

এটি একটি জটিল সমস্যা যা এর সাথে সম্পর্কিত অনেকগুলি বিষয়কে উপস্থাপন করে: ১) স্পষ্টভাবে একটি অনুমানকে নির্দিষ্ট করে, ২) কোন কার্যকারিতাটি (কোনও) একটি অনুমানযুক্ত প্রভাবকে প্রভাবিত করতে পারে এবং 3) পছন্দ / উপস্থাপনের স্টাইলটি বোঝা।

তুমি ঠিক, যদি আমরা শব্দ পরিসংখ্যানগত অনুশীলন প্রযোজ্য, দাবির যে "গোষ্ঠীতে হয় অনুরূপ", এক সমানতা একটি পরীক্ষা সঞ্চালন করা হবে। তবে, সমতুল্যতার পরীক্ষাগুলি তাদের এনএইচএসটি সমকক্ষের মতো একই সমস্যার মুখোমুখি হয়: শক্তিটি কেবলমাত্র নমুনার আকার এবং তুলনার সংখ্যার প্রতিচ্ছবি: আমরা পার্থক্য প্রত্যাশা করি, তবে একটি মূল বিশ্লেষণে তাদের ব্যাপ্তি এবং প্রভাব আরও বেশি গুরুত্বপূর্ণ।

এই পরিস্থিতিতে যখন মুখোমুখি হয়, বেসলাইন তুলনা প্রায় সবসময় লাল-হেরিংস হয়। আরও ভাল পদ্ধতি (বিজ্ঞান এবং পরিসংখ্যান) প্রয়োগ করা যেতে পারে। এই জাতীয় প্রশ্নের উত্তর দেওয়ার সময় আমার কয়েকটি স্টক ধারণা / প্রতিক্রিয়া রয়েছে যা আমি বিবেচনা করি।

একটি "মোট" কলামটি বিভাজন দ্বারা চিকিত্সা কলামগুলির চেয়ে বেশি গুরুত্বপূর্ণ; একটি আলোচনা সেই মানগুলিকে নিশ্চিত করে।

ক্লিনিকাল পরীক্ষায়, সুরক্ষা নমুনা সাধারণত বিশ্লেষণ করা হয়। এটি যারা তাদের কাছে প্রথমে যোগাযোগ করা হয়েছিল, তারপরে সম্মতি জানানো হয়েছিল, তারপরে এলোমেলো করে দেওয়া হয়েছিল এবং শেষ পর্যন্ত নিয়ন্ত্রণ বা চিকিত্সার অন্তত একটি পুনরাবৃত্তির সংস্পর্শে এসেছিলেন তাদের উপসেট এটি। এই প্রক্রিয়াটিতে, আমরা অংশগ্রহণ পক্ষপাতের বিভিন্ন ডিগ্রি সম্মুখীন।

সম্ভবত এই অধ্যয়নের সবচেয়ে গুরুত্বপূর্ণ এবং বাদ দেওয়া দিকটি সারণী 1 ফলাফলকে সামগ্রিকভাবে উপস্থাপন করছে । এটি একটি সারণী 1-এর সবচেয়ে গুরুত্বপূর্ণ উদ্দেশ্য অর্জন করেছে: অন্যান্য তদন্তকারীদের কাছে প্রদর্শন করা হচ্ছে যে বিস্তৃত জনসংখ্যার যেখানে ফলাফল প্রয়োগ করা হয় তার জন্য অধ্যয়নের নমুনা কতটা সাধারণীকরণযোগ্য।

আমি আশ্চর্যজনকভাবে খুঁজে পাই যে স্থির অন্তর্ভুক্তি / বর্জনীয় মানদণ্ড এবং নমুনার সাধারণীকরণের ক্ষেত্রে যখন সম্পূর্ণ অবজ্ঞা করা হয় তখন নির্ধারিত তদন্তকারী, পাঠক এবং পর্যালোচকরা রোগীর বৈশিষ্ট্যগুলির মধ্যে স্পর্শকাতর প্রবণতাগুলিতে কীভাবে থাকেন।

আমি এই বলে লজ্জা পেয়েছি যে আমি একটি বিচারের বিশ্লেষক হয়েছি যা এটিকে একটি বিষয় হিসাবে এড়িয়ে গেছে। আমরা রোগীদের নিয়োগ দিয়েছিলাম এবং তারপরে, যৌক্তিক সমস্যার কারণে আমরা হস্তক্ষেপটি কার্যকর করার আগে প্রায় এক বছর অপেক্ষা করেছিলাম। সঙ্গম চিত্রটি সেই সময়কালের মধ্যে কেবল বিশাল ড্রপ দেখায়নি, তবে নমুনাটি স্থানান্তরিত হয়েছিল। ফলাফলটি আমরা পৌঁছানোর উদ্দেশ্যে যে লোকদের চেয়েছি তার চেয়ে অনেকাংশেই অবারিত / বেকার, বয়স্ক এবং স্বাস্থ্যকর। অধ্যয়নের সাধারণীকরণযোগ্যতা সম্পর্কে আমার গভীর উদ্বেগ ছিল, তবে এই উদ্বেগগুলি প্রকাশ করা লবি করা কঠিন ছিল।

বেসলাইন বৈশিষ্ট্যগুলিতে ভারসাম্যহীনতা সনাক্ত করতে পরীক্ষার শক্তি এবং প্রকার -1 ত্রুটি বৈশিষ্ট্যের প্রকৃত সংখ্যার উপর নির্ভর করে

পূর্বে উল্লিখিত হিসাবে বেসলাইন ভেরিয়েবলগুলির এই জাতীয় তালিকা উপস্থাপনের বিষয়টি হ'ল নমুনার একটি সম্পূর্ণ স্ন্যাপশট দেওয়া; তাদের রোগীর ইতিহাস, ল্যাব, ওষুধ এবং জনসংখ্যারতত্ত্ব। ক্লিনিশিয়ানরা রোগীদের চিকিত্সার পরামর্শ দেওয়ার জন্য এটি ব্যবহার করেন। তারা সবাই ফলাফলের পূর্বাভাস দেয় বলে বিশ্বাস করা হয়। তবে এ জাতীয় কারণগুলির সংখ্যা বিস্ময়কর। প্রায় 30 টির মতো বিভিন্ন ভেরিয়েবলের সাথে তুলনা করা যায়। প্রকার I ত্রুটির অপরিশোধিত ঝুঁকি 1- (1-0.05) ^ 30 = 0.79। বনফেরনি বা ক্রম সংশোধনগুলি পরামর্শ দেওয়া হয় যদি পরীক্ষা করা অবশ্যই হয়।

এর বিশুদ্ধতম আকারে পরিসংখ্যানগত পরীক্ষা নিরপেক্ষ হতে বোঝানো হয়েছে, এবং এটি পূর্বনির্ধারিত বলে মনে করা হচ্ছে। তবে বেসলাইন বৈশিষ্ট্যগুলির পছন্দ এবং উপস্থাপনা প্রায়শই আপেক্ষিক। আমি মনে করি যে পরবর্তী পদ্ধতিটি যথাযথ: আমাদের পরীক্ষার মতো যদি আমরা খুঁজে পাই, এমন আকর্ষণীয় বৈশিষ্ট্য রয়েছে যা নমুনাকে কার্যকরভাবে বর্ণনা করে তবে আমাদের সেই মানগুলি অ্যাডহক উপস্থাপন করার জন্য স্বাধীনতা থাকা উচিত । এটি যদি কোনও মূল্যযুক্ত হয় তবে টেস্টিং করা যেতে পারে তবে সাধারণ সতর্কতাগুলি প্রয়োগ হয়: এগুলি আগ্রহের অনুমান নয়, তাৎপর্যপূর্ণ এবং অ-তাত্পর্যপূর্ণ ফলাফলগুলি কী বোঝায় তা নিয়ে বিভ্রান্তির উচ্চ ঝুঁকি রয়েছে এবং ফলাফলগুলি আরও প্রতিফলিত হয় কোনও সত্যের চেয়ে নমুনার আকার এবং উপস্থাপনা বিবেচনা।

পুনঃনির্মাণ করা যেতে পারে তবে রোগীদের চিকিত্সার সংস্পর্শে আসার আগেই

যেমনটি আমি উল্লেখ করেছি, বিশ্লেষিত নমুনাটি সাধারণত সুরক্ষা নমুনা। যাইহোক, পুনঃনির্দেশকরণ এমন একটি রোগী যাঁরা অধ্যয়নের চিকিত্সার দ্বারা প্রকাশিত হন নি তাদের পক্ষে তাত্ত্বিকভাবে এবং তাত্ত্বিকভাবে সামঞ্জস্যপূর্ণ পদ্ধতি। এটি কেবলমাত্র সেটিংগুলিতে প্রযোজ্য যেখানে ব্যাচের তালিকাভুক্তি সম্পাদিত হয়। এখানে, 100 জন অংশগ্রহণকারী নিয়োগ এবং এলোমেলোভাবে করা হয়। উদাহরণস্বরূপ, যদি সম্ভাব্যতা একটি বয়স্ক ব্যক্তিদের একটি উচ্চ অনুপাতকে এক গোষ্ঠীতে বরাদ্দ করে, তবে বয়সের ভারসাম্য রক্ষার জন্য নমুনাটিকে পুনরায় আকার দেওয়া যেতে পারে। এটি ক্রমিক বা অচলিত তালিকাভুক্তির সাথে সম্পন্ন করা যাবে না, এটিই সেটিংস যা বেশিরভাগ ট্রায়াল পরিচালিত হয়। এর কারণ কারণ তালিকাভুক্তির সময় প্রচলিত কেস "পক্ষপাত" (বিভ্রান্তিকর ঘটনা এবং প্রচলিত যোগ্যতার মানদণ্ড) দ্বারা রোগীর অবস্থানের পূর্বাভাস দেয়।

বৈধ অনুমানের জন্য ভারসাম্যযুক্ত নকশার প্রয়োজন নেই

র্যান্ডমাইজেশান অনুমানটি বলে যে, তাত্ত্বিকভাবে, সমস্ত অংশগ্রহণকারীদের গড়ে তুলনামূলকভাবে সমান বিতরণ করা হবে। যাইহোক, পূর্বে উল্লিখিত হিসাবে, 30 বা ততোধিক স্তরের তুলনা করার সময়, ভারসাম্যহীনতার সম্ভাব্যতা তুচ্ছ নয়। প্রকৃতপক্ষে, পুরোটি বিবেচনা করার সময় কোভারিয়েটগুলির ভারসাম্যহীনতা অপ্রাসঙ্গিক হতে পারে।

যদি এলোমেলোকরণটি ন্যায্য হয় তবে আমরা দেখতে পাচ্ছি যে চিকিত্সা গোষ্ঠীতে বয়স উন্নত হয় তবে ধূমপান নিয়ন্ত্রণ গ্রুপে উন্নত হয়: উভয়ই ফলাফলের ঝুঁকিতে স্বতন্ত্রভাবে অবদান রাখে। দক্ষ এবং বৈধ অনুমানের জন্য যা প্রয়োজন তা হ'ল প্রপোসিটি স্কোর গ্রুপগুলির মধ্যে ভারসাম্যপূর্ণ। এটি অনেক দুর্বল অবস্থা। দুর্ভাগ্যক্রমে, ঝুঁকিপূর্ণ মডেল ছাড়া ভারসাম্যের জন্য প্রপেনসিটি পরীক্ষা করা যায় না। যাইহোক, এটা দেখতে যে এই ধরনের প্রবৃত্তি covariates সংমিশ্রণ উপর নির্ভর করে সহজ, এবং একটি ভারসাম্যহীনতা সম্ভাবনা propensities একটি এলোমেলোভাবে নমুনা অনেক কম সম্ভাব্য ঠিক দেখানোর জন্য অসম্ভব থাকা সত্ত্বেও।

যদি কোনও ঝুঁকিপূর্ণ মডেলটি পরিচিত হয় বা ফলাফলটির দৃ strong় ভবিষ্যদ্বাণী উপস্থিত থাকে তবে চিকিত্সা গোষ্ঠীর মধ্যে ভারসাম্যহীন তা নির্বিশেষে কেবল সেই কারণগুলির জন্য সামঞ্জস্য করে আরও দক্ষ ও বৈধ আরসিটি করা হয়

আমার পছন্দের একটি পেপার, র্যান্ডমাইজড নিয়ন্ত্রিত ট্রায়ালের 7 পুরাণ এটি নিয়ে আলোচনা করে। সামঞ্জস্যতা দক্ষতার উন্নতি করে যখন সমন্বয় পরিবর্তনশীল ফলাফলের দৃ strongly়ভাবে ভবিষ্যদ্বাণীপূর্ণ হয়। দেখা যাচ্ছে যে এমনকি নিখুঁত 50/50 ভারসাম্য সহ, অবরুদ্ধ র্যান্ডমাইজেশন বলুন বা র্যান্ডমাইজেশন কীভাবে সঞ্চালিত হয়েছে তার একটি কাকতালীয়ভাবে, সমন্বয় সিআইগুলিকে সঙ্কুচিত করবে, এতে কম অংশগ্রহণকারীদের সমানভাবে চালিত অধ্যয়নের প্রয়োজন হবে; এটি ব্যয় এবং ঝুঁকি হ্রাস করে। অবাক করা বিষয় যে এটি প্রায়শই করা হয় না।

সারণী 1 যা দেখায় তা নির্বিশেষে বিস্মিত হওয়ার জন্য পর্যবেক্ষণের অধ্যয়নের জন্য নিয়ন্ত্রণ প্রয়োজন

র্যান্ডমাইজেশন অনুমান বিভ্রান্তিমূলক দূর করে। ননর্যান্ডমাইজড চিকিত্সার সাথে, বিভ্রান্তিকর। একটি বিস্ময়কর একটি পরিবর্তনশীল যা ফলাফলের কার্যকারণ এবং কোয়াস্টি-পরীক্ষামূলক চিকিত্সার প্রাপ্তির পূর্বাভাস দেয়। কোন ভেরিয়েবল (গুলি) কনফাউন্ডার / তা নির্ধারণ করার জন্য কোনও পরীক্ষা নেই। এই প্রশ্নের উত্তর দেওয়ার জন্য ডেটাতে উঁকি দেওয়ার ঝুঁকি হ'ল বিস্মৃত ব্যক্তিরা দ্রাঘিমাংশীয় মানগুলির পুরোপুরি নিখুঁত পরিমাপ (এবং তারপরেও ...) ছাড়াই মধ্যস্থতাকারী বা সংঘর্ষকারীদের কাছ থেকে কার্যত পৃথক হতে পারে। মধ্যস্থতাকারীদের জন্য সামঞ্জস্য করা কোনও প্রভাবকে তত্পর করে, কোলাইডার-সমন্বয় কোনও ধরণের পক্ষপাতিত্ব ঘটাতে পারে। তদ্ব্যতীত, মোট এক বিস্ময়কর সংস্থার জন্য সামঞ্জস্য করা উচিত নয়, বরং তাদের অবশ্যই পিছনের দিকের মানদণ্ডটি সরিয়ে ফেলতে হবে।

উদাহরণস্বরূপ, কৈশোর বয়সে ফুসফুস ফাংশন এবং ধূমপান সম্পর্কে একটি সমীক্ষায়: বয়স্ক বাচ্চারা ধূমপানের সম্ভাবনা বেশি, তবে যেহেতু তারা লম্বা হয়, তাই তাদের ফুসফুসের কার্যকারিতা বেশি। এটি পিছনের মানদণ্ডকে সন্তুষ্ট করার কারণে বিভ্রান্তিকরতা অপসারণের জন্য উচ্চতার সামঞ্জস্য একাই যথেষ্ট। বয়সের জন্য আরও সমন্বয় কেবল দক্ষতা হারায়। তবে ধূমপায়ী এবং ধূমপায়ীদের ক্ষেত্রে কেবল সারণি 1 এর "ভারসাম্য" পরীক্ষা করে দেখাতে হবে যে বয়স এবং উচ্চতা উভয়ই "ভারসাম্যহীন" এবং সুতরাং এর জন্য নিয়ন্ত্রণ করা উচিত। এটা ভুল।


1
আমি এটির সাথে একমত এবং p মানগুলির সমস্যাগুলি সম্পর্কে ভালভাবে অবগত। (আপনি এই সাইটে খুব কম লোক খুঁজে পাবেন বা আমার চেয়ে আরও অ্যান্টি-পি মান হবেন)। এবং আমি সমস্ত ভাল পদ্ধতির জন্য, যার মধ্যে কয়েকটি আপনি উত্থাপিত। অবশ্যই কিছু ভেরিয়েবল দমনকারী হতে পারে (যাতে এগুলি অন্তর্ভুক্ত করে মূল প্রভাবের আকার বাড়ে)। যাইহোক, যদি আমি বলি, একটি জার্নালের জন্য একটি কাগজ পর্যালোচনা করছি, তবে আপনি কি মনে করেন যে টেবিল 1 এর জন্য সমতুল্য পরীক্ষার সুপারিশ করা ভাল, বা আপনি এখানে আপনার সম্পূর্ণ উত্তরের জন্য যাবেন?
পিটার ফ্লুম - মনিকা পুনরায়

1
@ পিটারফ্লম আমি এখন প্রসঙ্গটি আরও ভাল দেখতে পাচ্ছি। একটি পরিসংখ্যান পর্যালোচক হিসাবে, আমি মন্তব্যটি পরবর্তী বিশ্লেষণগুলির সাথে প্রাসঙ্গিক কিনা তা বিবেচনা করব। যদি এটি প্রাসঙ্গিক না হয়, তবে আমি তাদের মন্তব্যটি কার্যকর করার জন্য হরতাল করতে উত্সাহিত করব। যদি এটি প্রাসঙ্গিক হয় তবে আমি তাদেরকে উত্সাহিত করব) ক) আরও শক্তিশালী বিশ্লেষণ পদ্ধতির বিষয়টি বিবেচনা করুন বা খ) সম্ভাব্য প্রভাব রয়েছে কিনা তা নির্ধারণ করার জন্য সংবেদনশীলতা বিশ্লেষণগুলি ব্যবহার করুন। সংবিধানের ভারসাম্য কেবল ইনসোফারকেই গুরুত্ব দেয় কারণ এটি বিশ্লেষণকে প্রভাবিত করে, সুতরাং যেখানে আমি মনোযোগ দেওয়া পছন্দ করি। এটি কোনও প্রবণতা-মিলিত নকশা নয়, সম্ভবত এটি কি?
অ্যাডমো

1
@ পিটারফ্লম একজন পর্যালোচক হিসাবে, পুরোপুরি "টেবিল 1" তে পি-মানগুলি থেকে মুক্তি পাওয়ার পরামর্শ দেওয়ার অর্থ কি হবে না?
অ্যামিবা বলছে মনিকাকে

1
অ্যাডামো, দুর্দান্ত উত্তর (+1), তবে আমি "সারণী 1" এর প্রসঙ্গে একাধিক পরীক্ষার সমন্বয়গুলি "পরামর্শদায়ক" বলে সুপারিশ করে কিছুটা উদ্বিগ্ন। টাইপ আমি এখানে কোনও উদ্বেগের ত্রুটি? আমি অনুভব করি যে এই ক্ষেত্রে, দ্বিতীয় ধরণের ত্রুটিটি আসলে আরও অনেক গুরুত্বপূর্ণ (কেউই চিকিত্সা এবং নিয়ন্ত্রণ গোষ্ঠীর মধ্যে কিছু বেসলাইন ভেরিয়েবলের পার্থক্যটি ভুল করতে চায় না)। বনফেরোনি ব্যবহার করে, দ্বিতীয় ধরণের ত্রুটি অনেক বেড়ে যাবে। এটি সমপরিমাণের পরীক্ষাগুলি সম্পর্কে @ পিটারের পয়েন্টের সাথে সম্পর্কিত: এক অর্থে, টাইপ করুন I এবং টাইপ 2 এক্সচেঞ্জের জায়গাগুলি যদি আপনি "সমতা" দৃষ্টিভঙ্গিতে স্যুইচ করেন।
অ্যামিবা

1
নিখুঁতভাবে যদি আমরা এই পদ্ধতির উপর জোর দিয়ে থাকি (আমার প্রস্তাবনা নয়) এনএইচএসটিগুলির প্রয়োজন হয় যে আমরা টাইপ আই ত্রুটিটি নিয়ন্ত্রণ করি। আমি মনে করি আমার বক্তব্যটি হ'ল আমাদের FWER নিয়ন্ত্রণ করা উচিত কারণ কোন ভেরিয়েবল ভারসাম্যহীন তা আমাদের পাত্তা দেয় না। এটি 0.2 এর মতো উদার মানতে সেট করা যেতে পারে। আমি কোনো সমানতা পরীক্ষা, যার জন্য ক্ষমতা যায় সচেতন নই আপ নমুনা আকার বাড়লে, তাই এই ধরনের পরীক্ষার জন্য যুক্তি শব্দময় বিষয়ী এবং যথাযথ নয় এমন হয়।
অ্যাডমো
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.