ক্রস-বৈধতা ব্যবহার করার সময় এক মান ত্রুটির নিয়মের জন্য অভিজ্ঞতাগত ন্যায়সঙ্গততা


39

পার্সিমোনির পক্ষে একক স্ট্যান্ডার্ড ত্রুটি বিধি ব্যবহারকে ন্যায্যতা প্রমাণ করার জন্য কি কোন অভিজ্ঞতামূলক গবেষণা রয়েছে? স্পষ্টতই এটি ডেটা ডেটা-প্রজন্মের প্রক্রিয়ার উপর নির্ভর করে, তবে যে কোনও কিছু যা ডেটাসেটের একটি বৃহত কর্পাস বিশ্লেষণ করে তা খুব আকর্ষণীয় পঠনযোগ্য হবে।


"এক স্ট্যান্ডার্ড ত্রুটি বিধি" প্রয়োগ করা হয় যখন ক্রস-বৈধকরণের মাধ্যমে মডেলগুলি নির্বাচন করা হয় (বা আরও সাধারণভাবে কোনও র্যান্ডমাইজেশন ভিত্তিক পদ্ধতির মাধ্যমে)।

অনুমান আমরা মডেল বিবেচনা একটি জটিলতা পরামিতি দ্বারা সূচীবদ্ধ , যেমন যে "আরো জটিল" চেয়ে ঠিক যখন । আরও ধরে নিন যে আমরা কিছু র্যান্ডমাইজেশন প্রক্রিয়া, যেমন, ক্রস-বৈধকরণের মাধ্যমে একটি মডেল এর মানের মূল্যায়ন করি । যাক বোঝাতে এর "গড়" মানের , যেমন, অনেক ক্রস বৈধতা রান জুড়ে গড় আউট-অফ-ব্যাগ ভবিষ্যদ্বাণী ত্রুটি। আমরা এই পরিমাণটি হ্রাস করতে চাই ।MττRMτMττ>τMq(M)M

তবে, যেহেতু আমাদের মান পরিমাপটি কিছু র্যান্ডমাইজেশন প্রক্রিয়া থেকে আসে তাই এটি পরিবর্তনশীলতার সাথে আসে। যাক মান আদর্শ ত্রুটি বোঝাতে র্যান্ডোমাইজেশন রান জুড়ে, যেমন, এর আউট-অফ-ব্যাগ ভবিষ্যদ্বাণী ত্রুটির স্ট্যানডার্ড ডেভিয়েশন ক্রস বৈধতা রান করে।s(M)MM

তারপর আমরা মডেল নির্বাচন করুন , যেখানে সবচেয়ে ছোট যেমন যেMτττ

q(Mτ)q(Mτ)+s(Mτ),

যেখানে সূচকগুলি (গড়) সেরা মডেল, ।τq(Mτ)=minτq(Mτ)

এটি হ'ল, আমরা সহজতম মডেলটি (সবচেয়ে ছোট τ ) চয়ন করি যা এলোমেলোকরণের পদ্ধতিতে সেরা মডেল এম _ \ \ টাউ ' than এর চেয়ে এক স্ট্যান্ডার্ড ত্রুটির চেয়ে খারাপ আর কোনও নয় Mτ

নিম্নলিখিত জায়গাগুলিতে উল্লিখিত এই "একটি স্ট্যান্ডার্ড ত্রুটি বিধি "টি আমি পেয়েছি, তবে কখনই কোনও স্পষ্ট সমর্থনযোগ্যতা সহ নয়:


7
যদিও আমি জানি আপনি "ওয়ান স্ট্যান্ডার্ড ত্রুটি বিধি" দ্বারা কী উল্লেখ করছেন, আমি দৃ strongly়ভাবে সন্দেহ করি যে প্রচুর লোক তা করবে না, তবে তারা যদি তা করে তবে এই প্রশ্নে আগ্রহী হবেন। সম্ভবত আপনি কয়েকটি ব্যাখ্যামূলক বাক্য যুক্ত করতে সম্পাদনা করতে পারেন? (কেবলমাত্র একটি পরামর্শ ...)
জোবোম্যান

2
@ জাবোম্যান: আমি কেবলমাত্র একটি সাধারণ ত্রুটি নিয়মটি ব্যাখ্যা করার জন্য প্রশ্নটি সম্পাদনা করেছি, কারণ এটি সম্পর্কে আমিও বেশ আগ্রহী ... এবং নীচের উত্তরটি আমার প্রশ্নের সত্যই উত্তর দেয় না। যে কেউ, দয়া করে উন্নত নির্দ্বিধায়।
এস। কোলাসা - মনিকা


2
এটি একটি কাগজের জন্য একটি দুর্দান্ত বিষয় তৈরি করবে। এটি বোধগম্য ইঞ্জিনিয়ারিং হিউরিস্টিকের মতো মনে হয় তবে সমস্ত এসইএইচই অনুশীলনে কাজ করে না, তাই প্রচুর সংখ্যক ডেটাসেটের উপর পড়াশোনাটি আকর্ষণীয় হবে। আমি যদি একাধিক হাইপোথিসিস টেস্টিংয়ের সাথে জড়িত থাকি তবে এটি খুব ভালভাবে ক্যালিব্রেটেড হয় না, তবে আমি ভাবতাম যে ডেটাসেটগুলিতে এই ধরণের ওভার-টিউনিংয়ের সম্ভাবনা রয়েছে এমন কিছু না করাই ভাল হবে I সমস্যা। প্রশ্নটি হ'ল ডেটাসেটগুলিতে এটি কার্য সম্পাদনকে আরও খারাপ করে তোলে যেখানে এটি কোনও সমস্যা নয়?
ডিকরান মার্সুপিয়াল

উত্তর:


12

নিম্নলিখিতটি কোনও অভিজ্ঞতামূলক অধ্যয়ন নয়, এ কারণেই আমি মূলত এটি একটি মন্তব্য হিসাবে পোস্ট করতে চেয়েছিলাম, উত্তর নয় - তবে এটি কোনও মন্তব্যের জন্য খুব দীর্ঘ হতে পারে।

কাওলি অ্যান্ড টালবোট ( জে মেশিন লার্নিং রিসার্চ , ২০১০) মডেল বাছাই পর্বের সময় ওভারফিট করা এবং মডেল ফিটিংয়ের সময় বেশি ফিট করার মধ্যে পার্থক্যের দিকে দৃষ্টি আকর্ষণ করেন।

দ্বিতীয় ধরণের ওভারফিটিং হ'ল সবচেয়ে বেশি লোক যার সাথে পরিচিত: একটি নির্দিষ্ট মডেল দেওয়া হলেও আমরা এটির চেয়ে বেশি ফিট করতে চাই না, অর্থাত্ সাধারণত আমাদের একক ডেটা সেটের নির্দিষ্ট আইডিয়াসক্র্রেসিগুলির সাথে এটি খুব ঘনিষ্ঠভাবে ফিট করতে চাই। ( এটি হ'ল সংক্ষিপ্তকরণ / নিয়মিতকরণ প্রকরণের বৃহত হ্রাসের বিপরীতে পক্ষপাতের সামান্য বৃদ্ধিকে ব্যবসায়ের মাধ্যমে সহায়তা করতে পারে ))

তবে কাওলি ও টালবোট যুক্তি দিয়েছেন যে আমরা মডেল বাছাইয়ের পর্যায়ে ঠিক সেইসাথেই ওভারফিট করতে পারি। সর্বোপরি, আমাদের এখনও সাধারণভাবে কেবল একটি একক ডেটা সেট থাকে এবং আমরা বিভিন্ন মডেলের মধ্যে বিভিন্ন জটিলতার সিদ্ধান্ত নিই। অনুক্রমে প্রতিটি প্রার্থী মডেল মূল্যায়ন এক সাধারণত নির্বাচন করতে জড়িত ঝুলানো যে মডেল, যা নিয়মিতকরণ না ব্যবহার বা করা যাবে। তবে এই মূল্যায়ন নিজেই আবার এলোমেলো পরিবর্তনশীল, কারণ এটি আমাদের নির্দিষ্ট ডেটা সেটের উপর নির্ভর করে। সুতরাং আমাদের "সর্বোত্তম" মডেলটির পছন্দটি নিজেই একটি পক্ষপাতিত্ব প্রদর্শন করতে পারে এবং আমরা জনসংখ্যার থেকে আঁকতে পারি এমন সমস্ত ডেটা সেট থেকে নির্দিষ্ট ডেটা সেট করার উপর নির্ভর করে তারতম্য প্রদর্শন করবে

কাওলি ও টালবোট তর্ক করেছেন যে এই মূল্যায়নে সবচেয়ে ভাল অভিনয় করে এমন মডেলটি বেছে নেওয়া ছোট পক্ষপাত সহ একটি নির্বাচনের নিয়ম হতে পারে - তবে এটি বড় বৈকল্পিকতা প্রদর্শন করতে পারে। অর্থাত্, একই তথ্য উত্পন্নকরণ প্রক্রিয়া (ডিজিপি) থেকে বিভিন্ন প্রশিক্ষণ ডেটাসেট দেওয়া, এই নিয়মটি খুব আলাদা মডেল নির্বাচন করতে পারে, যা পরে আবার একই ডিজিটিকে অনুসরণ করে নতুন ডেটাসেটগুলিতে ভবিষ্যদ্বাণী করার জন্য লাগানো হবে। এই আলোকে, মডেল নির্বাচন পদ্ধতির বৈকল্পিকতা সীমাবদ্ধ করা কিন্তু সহজ মডেলের দিকে সামান্য পক্ষপাতের ফলে সামান্য নমুনা ছাড়াই ত্রুটি হতে পারে।

কাওলি ও টালবোট এটিকে একটি স্ট্যান্ডার্ড ত্রুটির নিয়মের সাথে সুস্পষ্টভাবে সংযুক্ত করবেন না এবং "মডেল নির্বাচন নিয়মিতকরণ" এর উপর তাদের বিভাগটি খুব সংক্ষিপ্ত। তবে, একটি স্ট্যান্ডার্ড ত্রুটি নিয়ম এই নিয়মিতকরণটি সম্পাদন করবে এবং মডেল নির্বাচনের বৈকল্পিকতা এবং ব্যাগের বাইরে থাকা ক্রস-বৈধতা ত্রুটির অ্যাকাউন্টের মধ্যে বৈকল্পিকের মধ্যে সম্পর্ক গ্রহণ করবে।

উদাহরণস্বরূপ, নীচ থেকে চিত্র 2.3 হয় Sparsity সঙ্গে পরিসংখ্যানগত শিক্ষণ Hastie, Tibshirani & Wainwright, (2015) দ্বারা । মডেল নির্বাচনের ভেরিয়েন্সটি তার সর্বনিম্নতম কালো রেখার উত্তেজনা দ্বারা দেওয়া হয়। এখানে, সর্বনিম্ন খুব উচ্চারণ করা হয় না, এবং লাইনটি বরং দুর্বল উত্তল, সুতরাং মডেল নির্বাচন সম্ভবত উচ্চতর বৈকল্পিকতার সাথে বরং অনিশ্চিত। এবং ওওবি সিভি ত্রুটি অনুমানের প্রকরণটি অবশ্যই একাধিক হালকা নীল লাইনের দ্বারা স্ট্যান্ডার্ড ত্রুটিগুলি নির্দেশ করে।

একটি স্ট্যান্ডার্ড ত্রুটি বিধি


1
হাহা, এই অনুসন্ধানটি চেষ্টা করুন (বা আপনার ক্যোয়ারিতে হাইফেন রাখুন)।
অ্যামিবা বলছেন মনিকা পুনরায়

2
আপনার যদি কেবলমাত্র একটি নিয়মিতকরণ প্যারামিটার থাকে, তবে সেই ধরণের ওভার-ফিটিং খুব বেশি সমস্যাযুক্ত হবে না (যেমন অপ্টিমাইজেশান সমস্যায় কেবল এক ডিগ্রি স্বাধীনতা রয়েছে) তবে আপনার যদি অনেকগুলি নিয়মিতকরণ প্যারামিটার থাকে (যেমন নিউরাল নেটগুলির জন্য স্বয়ংক্রিয় প্রাসঙ্গিকতা নির্ধারণ) তাহলে এটি খুব তাত্পর্যপূর্ণ হয়ে শেষ হতে পারে। ওয়ানডি পদ্ধতিটি নিয়মিতকরণের প্যারামিটারকে অত্যধিক-অনুকূলকরণ এড়ানোর জন্য দুর্দান্ত উপাসনাবাদী, তবে কিছুটা আরও ন্যায়সঙ্গততার সাথে চেষ্টা করার চেষ্টা করা ভাল হবে (1/2)
ডিকরান মার্শুপিয়াল

1
আমরা (শ্রীমতি মার্সুপিয়াল এবং আমি) যে দুটি পদ্ধতির তদন্ত করেছি তা হ'ল হাইপার-প্যারামিটারগুলিকে একটি হাইপার-হাইপার-প্যারামিটারগুলি নিয়মিত করা যা বিশ্লেষণাত্মকভাবে সংহত করা হয় ( jmlr.csail.mit.edu/papers/volume8/cawley07a/cawley07a.pdf ) বা হাইপার-প্যারামিটারগুলির কিছুটিকে প্যারামিটারে রূপান্তর করতে এবং অতিরিক্ত নিয়মিতকরণের প্যারামিটার যুক্ত করার ব্যয়ে এগুলি সরাসরি ডেটাতে ফিট করে (তবে এটি এখনও মডেল নির্বাচনের স্বাধীনতার ডিগ্রি হ্রাস করে, তাই এটি এখনও সহায়তা করে) ( theoval.cmp.uea.ac.uk/publications/pdf/nn2014a.pdf ) (2/2)
ডিকরান মার্সুপিয়াল

1
ঘটনাক্রমে, মডেল নির্বাচনের ওভার-ফিটিংয়ের ফলে মডেলকে ওভার-ফিটিং বা প্রশিক্ষণ সংস্থার অধীনে-ফিট করা যেতে পারে, যা রোগ নির্ণয়ে সমস্যাটি আরও জটিল করে তুলতে পারে। বায়েশীয় দৃষ্টিকোণ থেকে, করণীয় সর্বোত্তম জিনিসটি অনুকূলিতকরণ নয়, বরং ছাড়িয়ে যাওয়া , তবে এটি গণনামূলকভাবে ব্যয়বহুল বা কৌশলযুক্ত বা উভয়ই। 1 তম নিয়মের একটি বড় সুবিধা হ'ল এটি সেই বর্ণালীটির অন্য প্রান্তে রয়েছে, এবং প্রকৌশলী হওয়ায়, আমি কাজ করে এমন সরল জিনিসগুলি পছন্দ করি; ও) (3/2)λ
ডিকরান মার্শুপিয়াল

1
লিম্বদা-বনাম-মার্জিনালাইজিং-ওভার-ল্যাম্বদা বিষয়টিকে অপ্টিমাইজ করার বিষয়ে একটি থ্রেড যা @ ডিক্রানমারসুপিয়াল উল্লেখ করেছেন তা হ'ল স্ট্যাটসস্ট্যাককেেক্সচেঞ্জ / সেকশনস / 24799 । এই আলোচনাটি রিজ রিগ্রেশন সম্পর্কিত, এবং প্রান্তিককরণ সম্ভবত (?) লাসো / ইলাস্টিক নেট / ইত্যাদির জন্য কৌশলযুক্ত, যদিও সিভিটির সৌন্দর্য এটি কার্যকর করা এত সহজ।
অ্যামিবা বলেছেন মনিকাকে

12

একটি অভিজ্ঞতামূলক ন্যায়সঙ্গততার জন্য, এই তিবশিরানী ডেটা মাইনিং কোর্স নোটগুলির পৃষ্ঠা 12 দেখুন , যা নির্দিষ্ট মডেলিং সমস্যার জন্য লাম্বদার একটি ফাংশন হিসাবে সিভি ত্রুটি দেখায়। পরামর্শটি মনে হয় যে, একটি নির্দিষ্ট মানের নীচে, সমস্ত ল্যাম্বডাস একই সিভি ত্রুটি দেয়। এটি বোধগম্য হয় কারণ, রিজ রিগ্রেশন থেকে ভিন্ন, লাসো সাধারণত পূর্বাভাসের যথাযথতা উন্নত করতে কেবল বা এমনকি প্রাথমিকভাবে ব্যবহৃত হয় না। এর প্রধান বিক্রয় বিন্দুটি হ'ল এটি নূন্যতম প্রাসঙ্গিক / মূল্যবান ভবিষ্যদ্বাণীকারীদের অপসারণ করে মডেলগুলিকে সহজ এবং আরও ব্যাখ্যাযোগ্য করে তোলে।

এখন, একটি স্ট্যান্ডার্ড ত্রুটির নিয়ম বুঝতে, আসুন আমরা বিভিন্ন models থেকে প্রাপ্ত মডেলগুলির পরিবার সম্পর্কে চিন্তা করি । তিবশিরানীর চিত্রটি বলছে যে আমাদের কাছে মাঝারি থেকে উচ্চতর জটিলতা মডেলগুলির একটি গুচ্ছ রয়েছে যা পূর্বাভাসের যথাযথতার সাথে প্রায় একই রকম এবং নিম্ন-জটিলতার মডেলগুলির একটি গুচ্ছ যা পূর্বাভাস দিতে ভাল নয়। আমাদের কী নির্বাচন করা উচিত? ঠিক আছে, আমরা যদি ব্যবহার করি তবে আমরা সম্ভবত একটি আগ্রহী, তাই আইনস্টাইনকে প্যারাফ্রেজ করতে আমরা সম্ভবত সবচেয়ে সহজ মডেলটিকে পছন্দ করব যা আমাদের ডেটাগুলি যথাযথভাবে ব্যাখ্যা করে। তাহলে কীভাবে সর্বনিম্ন জটিলতার মডেল যে সমস্ত উচ্চতর জটিলতার মডেলগুলির "প্রায় ভাল" আছে? এবং "ভাল হিসাবে ভাল" পরিমাপ করার একটি ভাল উপায় কী? একটি মান ত্রুটি।λL1


1
আমি এই উত্তরের যুক্তি পাই না। উদাহরণস্বরূপ: "রিজ রিগ্রেশনের বিপরীতে, লাসো ভবিষ্যদ্বাণীটির নির্ভুলতার উন্নতি করার কোনও প্রক্রিয়া নয়" - কেন? এল 1 এল 2 এর থেকে এত আলাদা কেন? পরবর্তী বাক্যে আপনি কম ল্যাম্বডাসের জন্য এল 1 এর সাথে কী ঘটে তা বর্ণনা করুন তবে আমি মনে করি কম ল্যাম্বডাসের জন্য এল 2 এর সাথেও একই ঘটনা ঘটে।
অ্যামিবা বলেছেন মোনিকা

1
মনে রাখবেন যে এটি একটি প্রতারণামূলক ব্যাখ্যা এবং কিছু ভবিষ্যদ্বাণীকারী তথ্যবহুলের মতো কিছু অস্থির অনুমানের উপর নির্ভর করে। আপনার কাছে যদি এক টন শব্দের পূর্বাভাসকারী এবং কয়েকটি তথ্যবহুল থাকে তবে লাম্বডার একটি মান থাকতে পারে যা পরিষ্কারভাবে এবং স্পষ্টতই সিভি মেট্রিককে অনুকূল করে: এটি একটি যা তথ্যমূলক ভবিষ্যদ্বাণীকারীদের সাবসেটটি নির্বাচনের সাথে সম্পর্কিত। ল্যাম্বদা যে মানটির নীচে হ্রাস পাচ্ছে আপনি কেবল শব্দটি ছড়িয়ে দিচ্ছেন এবং মডেলটিকে আঘাত করছেন।
পল

1
আমি মনে করি যুক্তিটি রিজ এবং লাসোর জন্য সমানভাবে কার্যকরভাবে কাজ করে, আপনি যদি পার্সিমনি বিস্তৃত সংজ্ঞা ব্যবহার করেন যার মধ্যে আরও নিয়মিতকরণ -> সহজ মডেল। তবে বিভিন্ন ধরণের সমস্যা এবং ডেটাসেট ব্যবহার করা হচ্ছে বলে L2 এর চেয়ে L1 এর চেয়ে প্রেরণা সহজ easier L1 ব্যবহার করে এমন লোকেরা একটি সাধারণ মডেল তৈরি করতে আগ্রহী এবং তিবশিরানি প্রদর্শিত সিভি ত্রুটিযুক্ত বক্ররেখার মুখোমুখি হওয়ার সম্ভাবনা বেশি থাকে।
পল

1
ক্লাসিক ESL পাঠ্য থেকে, পি। 224: "প্রায়শই একটি" এক-মানের ত্রুটি "নিয়ম ক্রস-বৈধকরণের সাথে ব্যবহৃত হয়, যার মধ্যে আমরা সবচেয়ে পার্সামোনিয়াস মডেল বেছে নিই যার ত্রুটি সেরা মডেলের ত্রুটির চেয়ে একের বেশি মান নয় no" প্রদত্ত উদাহরণটি হ'ল সাবসেট রিগ্রেশন এবং হাঁটু-আকৃতির বক্ররেখা বনাম প্রেডিক্টরের সংখ্যা দেখানো হয়েছে। বক্ররেখার সঠিক # এর উপরে সমতল, যা আমি উপরে বর্ণিত ব্যাখ্যাটির সাথে সামঞ্জস্যপূর্ণ। কোনও কঠোর বা গাণিতিক ন্যায়সঙ্গততার উল্লেখ নেই।
পল

1
সুতরাং আমি এখানে মূল বিষয়টি মনে করি যে সর্বনিম্ন দুর্বলভাবে নির্ধারিত, তবে সর্বনিম্ন এক সিগমার মধ্যে সর্বাধিক-নিয়মিত মডেলটি সংজ্ঞায়িত।
পল

1

, Lasso মূল্নির্ধারক দ্বারা নির্বাচিত ভেরিয়েবল সংখ্যা একটি পেনাল্টি মান দ্বারা সিদ্ধান্ত নেওয়া হয় । বৃহত্তর , ছোটটি নির্বাচিত ভেরিয়েবলগুলির সেট। যাক শাস্তি হিসেবে ব্যবহার নির্বাচিত ভেরিয়েবল সেট হতে । λλS^(λ)λ

যাক শাস্তি ক্রস বৈধতা ফাংশন ন্যূনতম ব্যবহার নির্বাচন করা। এটি প্রমাণিত হতে পারে যে । যেখানে হল ভেরিয়েবলগুলির সেট যা আসলে অ অ 0 হয় না (λP(S0S^(λ))1S0

এটি বেলম্যান এবং ভ্যান ডি গির দ্বারা উচ্চ মাত্রিক ডেটার জন্য পরিসংখ্যানগুলিতে রিপোর্ট করা উচিত ।

জরিমানার মান প্রায়শই ক্রস-বৈধতার মাধ্যমে নির্বাচিত হয়; এর অর্থ হ'ল উচ্চ সম্ভাবনার সাথে অনেকগুলি ভেরিয়েবল নির্বাচন করা হয়। নির্বাচিত ভেরিয়েবলের সংখ্যা হ্রাস করতে এক স্ট্যান্ডার্ড ত্রুটির নিয়ম ব্যবহার করে পেনাল্টিটি কিছুটা বাড়ানো হয়েছে।λ


1
আপনি কি এখানে আরও কিছু বিশদে যেতে পারেন? এটি আকর্ষণীয় বলে মনে হচ্ছে seems
ডেভিডশোর

1
এর অর্থ হ'ল উচ্চ সম্ভাবনার সাথে খুব বেশি ভেরিয়েবল নির্বাচন করা হয়। - আমার কাছে এটি স্পষ্ট নয় যে কেন এবং উচ্চ সম্ভাবনার সাথে খুব কম ভেরিয়েবল নির্বাচন করা যায়নি। সর্বোপরি, ক্রস-বৈধ যাচাই বাছাইয়ের ক্ষেত্রে একটি অনুমান দেওয়া উচিত যা সামান্য পক্ষপাতদুষ্ট তবে সম্ভবত উচ্চ বৈকল্পিক রয়েছে, যেমন স্টিফেন কোলাসার উত্তরে উল্লিখিত হয়েছে। λ
রিচার্ড হার্ডি

আমি মনে করি যে সত্যটি প্রয়োজনের চেয়ে আরও বেশি ভেরিয়েবল নির্বাচন করা পর্যাপ্ত ভেরিয়েবলগুলি না নির্বাচনের চেয়ে পূর্বাভাসের কার্যকারিতা কমিয়ে দেবে। এই কারণে সিভি আরও ভেরিয়েবল নির্বাচন করতে ঝোঁক।
ডনবিও

একটি এই বই এ চেহারা আছে springer.com/gp/book/9783642201912 এবং Lasso অধ্যায় এখানে drive.google.com/open?id=0B3FIuCA5bZUaT2ZLWFBIZ1JYbHM
Donbeo

এটি আমার অর্থ বইটি ছিল
ডোনবিও
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.