RAID- এ এসএসডি-র বর্তমান অবস্থা (2016) কী?


51

অনলাইনে প্রচুর সংস্থান প্রাপ্ত রয়েছে যা র‌্যাড কনফিগারেশনে এসএসডি ড্রাইভগুলি ব্যবহার করার বিষয়ে আলোচনা করে - তবে এগুলি বেশিরভাগ কয়েক বছর আগের, এবং এসএসডি বাস্তুতন্ত্রটি খুব দ্রুত গতিশীল - ঠিক যেমনটি আমরা প্রত্যাশা করছি ইন্টেলের "অপ্টেন" পণ্যটি এই বছরের শেষের দিকে মুক্তি পাবে যা আবার সবকিছু বদলে দেবে ...

আমি গ্রাহক-গ্রেড এসএসডি (যেমন ইন্টেল 535) এবং ডেটাসেন্টার-গ্রেড এসএসডি (যেমন ইন্টেল ডিসি এস 3700) এর মধ্যে গুণগত পার্থক্য রয়েছে তা নিশ্চিত করে আমি আমার প্রশ্নটি উপস্থাপন করব।

আমার প্রাথমিক উদ্বেগ TRIMRAID পরিস্থিতিগুলিতে সমর্থন সম্পর্কিত । আমার বুদ্ধি অনুসারে, গ্রাহক-গ্রেড কম্পিউটারে এসএসডি চালু হওয়ার years বছর পেরিয়ে গেছে এবং এনভিএম বাণিজ্যিকভাবে উপলভ্য হওয়ার 4 বছর পরেও - আধুনিক দিনের রেড কন্ট্রোলাররা এখনও TRIMসংযুক্ত এসএসডিগুলিতে আদেশ জারি সমর্থন করে না - ইন্টেলের র‌্যাড কন্ট্রোলারদের ব্যতীত RAID-0 মোডে।

আমি অবাক হয়েছি যে TRIMRAID-1 মোডে সমর্থন উপস্থিত নেই, ড্রাইভ একে অপরেরকে যেভাবে আয়না দেয়, তা সোজা মনে হয়। কিন্তু আমার দ্বিমত আছে.

আমি নোট করেছি যে আপনি যদি ডিস্কগুলি (এইচডিডি এবং এসএসডি উভয়ই) দিয়ে দোষ-সহনশীলতা চান তবে আপনি এগুলি একটি RAID কনফিগারেশনে ব্যবহার করবেন - তবে এসএসডিগুলি ট্রিম ছাড়াই হবে এর অর্থ তারা লিখিত-প্রকরণের ফলে ভোগ করবে যার ফলে অতিরিক্ত পরিধান হবে which ফলস্বরূপ এসএসডিগুলি অকালে ব্যর্থ হতে পারে - এটি একটি দুর্ভাগ্যজনক বিড়ম্বনা: ড্রাইভ ব্যর্থতা থেকে রক্ষা করার জন্য ডিজাইন করা একটি সিস্টেম এটির পরিণতিতে সরাসরি পরিণতি হতে পারে।

তাই:

  1. TRIMআধুনিক (2015-2016 যুগ) এসএসডিগুলির জন্য সমর্থন কি প্রয়োজনীয়?

    1.1। TRIMএসটিএ, এসটিএ-এক্সপ্রেস, এবং এনভিএম-ভিত্তিক এসএসডিগুলির মধ্যে সহায়তার প্রয়োজনীয়তার মধ্যে কি কোনও পার্থক্য রয়েছে ?

  2. প্রায়শই ড্রাইভগুলি অন্তর্নির্মিত আবর্জনা-সংগ্রহ উন্নত বলে বিজ্ঞাপন দেওয়া হয়; এটির জন্য TRIMকী দরকার পড়ে ? কীভাবে তাদের জিসি প্রক্রিয়াটি রেড পরিবেশে কাজ করে?

    1.1। উদাহরণস্বরূপ, ২০১০ সালের এই কিউএ দেখুন যা না টিআরএমিংয়ের কারণে সুন্দর-খারাপ পারফরম্যান্স অবক্ষয়ের বর্ণনা দেয় ( https://superuser.com/questions/188985/how-badly-do-ssds-derad-without-trim ) - এবং এটি ২০১৫ সালের নিবন্ধটি কেসটি করে তোলে যে ট্রিম ব্যবহারের জন্য দৃ recommended়ভাবে সুপারিশ করা হয় ( http://arstechnica.com/gadgets/2015/04/ask-ars-my-ssd-does-garbage-collection-so-i-dont-need-trim -রাইট / )। প্রয়োজনীয়তার জন্য এই দৃ strong় তর্কগুলি সম্পর্কে আপনার প্রতিক্রিয়া কী TRIM?

  3. আগের বছরগুলি থেকে প্রচুর নিবন্ধ এবং আলোচনার ক্ষেত্রে এসএলসি বনাম এমএলসি ফ্ল্যাশ উদ্বেগ রয়েছে এবং এসএলসি তার দীর্ঘকালীন জীবনযাপনের কারণে - এটি আজকে সমস্ত এসএসডি মনে হয় (তারা যেখানে গ্রাহক-থেকে-এন্টারপ্রাইজ স্পেকট্রামে বসে তা নির্বিশেষে) এমএলসি থিসডেস - এই প্রাসঙ্গিকতার পার্থক্য কি আর?

    1.1 এবং টিএলসি ফ্ল্যাশ সম্পর্কে কী?

  4. এন্টারপ্রাইজ এসএসডিগুলিতে অনেক বেশি সহনশীলতা / লেখার সীমা থাকে (প্রায়শই আপনি একবারে ড্রাইভের প্রত্যাশিত 5 বছরের আয়ু জুড়ে ড্রাইভটি সম্পূর্ণভাবে কতবার ওভাররাইট করতে পারবেন তা মাপা হয়) - যদি তাদের লেখার চক্রের সীমাটি খুব বেশি থাকে (যেমন প্রতিদিন 100 টি সম্পূর্ণ লেখক) এর অর্থ কি এই যে TRIMতাদের সীমাবদ্ধতা এত বেশি হ'ল বা তার বিপরীতে - এইগুলি সীমাবদ্ধতা কেবল ব্যবহারের মাধ্যমেই অর্জনযোগ্য TRIM?


6
যদিও আমি আপনার প্রশ্নের উত্তর দিতে পারছি না বলে আমি মনে করি যে আমাদের শিল্প মালিকানাধীন RAID বন্ধ করার চেষ্টা করছে তার আলোকে বিবেচনা করা উচিত, পাবলিক ক্লাউড প্রদানকারীরা এসএসডি এর এখনই গণনা এবং স্টোরেজ পরিষেবাগুলিতে ব্যবহার করে, অবশ্যই তারা এটিকে সমাধান করেছে সফটওয়্যার, ইরেজর কোডিং ইত্যাদির সাথে ক্লাউড কম্পিউটিং উদ্ভাবনগুলি হার্ডওয়্যার রেড, সিসকো আইওএস এবং স্বত্বাধিকারী স্টোরেজ এরিয়া নেটওয়ার্কগুলি খাদ্য শৃঙ্খলের শীর্ষে নির্বিঘ্নে পণ্যসামগ্রী হিসাবে উদ্ভাসিত করেছে এবং বাস্তবে উদ্ভাবনকে ব্যাহত করছে। হার্ডওয়্যার
র‌্যাড

@ Sum1s পাবলিক ক্লাউড সরবরাহকারীগণ এসএসডি এর এখনই গণনা এবং স্টোরেজ পরিষেবাগুলিতে ব্যবহার করুন আপনি কি বলছেন যে কেবলমাত্র এসএসডিগুলিতে এডাব্লুএস বা ব্ল্যাকব্লেজ স্টোরের ডেটা?
এএল

@ ভাল ভাল না, আমি কেবল এটিই দেখিয়ে দিচ্ছি যে অফার এসএসডি ব্লক, ফাইল, অবজেক্ট এবং সাময়িক স্টোরেজ
Sum1sAdmin

আমি বাণিজ্যিক এবং গ্রাহকের মধ্যে "গুণগত পার্থক্য" এর সাথে সম্পূর্ণ একমত নই। আমি আপনাকে নিশ্চয়তা দিতে পারি ন্যানডের উত্পাদনতে কোনও পার্থক্য নেই। অবশ্যই বিভিন্ন নির্মাতারা রয়েছে (স্যামসুং বনাম ইন্টেল) তবে এর একটিও বিশেষ ভোক্তা উত্পাদন প্রক্রিয়া নেই। বৈশিষ্ট্যগত পার্থক্য অবশ্যই আছে, তবে মানের পার্থক্য নেই।
জিম বি

অপ্টেনের কথা বললে, আমরা ২০১ 2016 সালের প্রায় অর্ধেক পথ পেরিয়ে এসেছি এবং এটি কোথাও দেখা যায়নি ... কেউ কি জানেন যে চুক্তি কী?
জেফ মেডেন

উত্তর:


24

একবারে একটি প্রশ্নের উত্তর দেওয়ার চেষ্টা করি:

  • আধুনিক (2015-2016 যুগ) এসএসডিগুলির জন্য কি ট্রিম সমর্থন প্রয়োজনীয়?

সংক্ষিপ্ত উত্তর: বেশিরভাগ ক্ষেত্রে, না। লং উত্তর: যদি আপনি যথেষ্ট অতিরিক্ত স্থান (~ 20%) রিজার্ভ, এমনকি ভোক্তা-গ্রেড ড্রাইভ সাধারণত বেশ ভাল পারফরম্যান্স দৃঢ়তা মান (কিন্তু আপনি প্রয়োজন ড্রাইভ যা, পরিবর্তে, টেকসই লিখেছেন উপর শ্বাসরোধ এড়াতে)। এন্টারপ্রাইজ-গ্রেড ড্রাইভগুলি আরও ভাল, উভয়ই তাদের ডিফল্টরূপে অতিরিক্ত অতিরিক্ত স্থান থাকার কারণে এবং তাদের নিয়ামক / ফার্মওয়্যার কম্বো ড্রাইভের অবিচ্ছিন্ন ব্যবহারের জন্য অনুকূলিত হয়েছে। উদাহরণস্বরূপ, আপনার উল্লেখ করা S3700 ড্রাইভটি একবার দেখুন: ছাঁটাই ছাড়াই, এতে লেখার খুব ভাল ধারাবাহিকতা রয়েছে।

  • প্রায়শই ড্রাইভগুলি অন্তর্নির্মিত আবর্জনা-সংগ্রহ উন্নত বলে বিজ্ঞাপন দেওয়া হয়, এটি কি ট্রিমের প্রয়োজনীয়তা বাধা দেয়? কীভাবে তাদের জিসি প্রক্রিয়াটি RAID পরিবেশে কাজ করে

ড্রাইভ আবর্জনা সংগ্রহকারী ড্রাইভ স্যান্ডবক্সের ভিতরে তার যাদু করে - এটি বাইরের পরিবেশ সম্পর্কে কিছুই জানে না। এর অর্থ এটি (বেশিরভাগ ক্ষেত্রে) অ্যারের RAID স্তর দ্বারা প্রভাবিত হয় না। এটি বলেছিল, কিছু RAID স্তর (সমতুল্য ভিত্তিক এক, মূলত) কখনও কখনও (এবং কিছু নির্দিষ্ট প্রয়োগে) রাইটিং এমপ্লিফিকেশন ফ্যাক্টরকে বাড়িয়ে তুলতে পারে, যার ফলে এটি জিসি রুটিনগুলির জন্য উচ্চতর কাজ করে।

  • এমএলসি ফ্ল্যাশ এসএলসি বনাম এমএলসি ফ্ল্যাশ নিয়ে প্রচুর নিবন্ধ এবং আলোচনার বিষয় এবং এসএলসি তার দীর্ঘকালীন জীবনযাপনের কারণে পছন্দনীয়, তবে সমস্ত এসএসডিই মনে হয় (তারা যেখানে গ্রাহক-থেকে-এন্টারপ্রাইজ স্পেকট্রামে বসে তা নির্বিশেষে) এমএলসি থিসিডেস - এই প্রাসঙ্গিকতার পার্থক্য কি আর

এসএলসি ড্রাইভগুলি মূলত এন্টারপ্রাইজ থেকে অদৃশ্য হয়ে গেছে, মূলত সামরিক এবং কিছু শিল্পকর্মের জন্য প্রেরণ করা হয়েছে। চিহ্নিত এন্টারপ্রাইজটি এখন তিনটি গ্রেডে বিভক্ত:

  • এইচএমএলসি / এমএলসি ফ্ল্যাশ হ'ল উন্নত বিন্যাসিত এমএলসি চিপস, এবং কমপক্ষে 25000/30000 পুনর্লিখন চক্রটি বজায় রাখার জন্য প্রত্যয়িত;
  • 3 ডি এমএলসি চিপগুলি প্রায় 5000-10000 পুনর্লিখন চক্রের রেট দেওয়া হয়;
  • সাধারণ প্ল্যানার এমএলসি এবং 3 ডি টিএলসি চিপগুলি প্রায় 3000 পুনর্লিখন চক্রকে রেট করা হয়।

বাস্তবে, উপরের যে কোনও ফ্ল্যাশ ধরণের আপনাকে মোট লেখার যথেষ্ট পরিমাণ সরবরাহ করতে হবে এবং প্রকৃতপক্ষে, আপনি উপরের সমস্ত ফ্ল্যাশ প্রকারের সাথে এন্টারপ্রাইজ ড্রাইভগুলি খুঁজে পেতে পারেন।

এন্টারপ্রাইজ এবং গ্রাহক ড্রাইভের মধ্যে আসল পার্থক্য হ'ল:

  • নিয়ন্ত্রক / ফার্মওয়্যার কম্বো, এন্টারপ্রাইজ সহ অপ্রত্যাশিত নিয়ামক ত্রুটির কারণে মারা যাওয়ার পক্ষে আরও বেশি শক্ত ড্রাইভ করে;
  • শক্তি-সুরক্ষিত লিখিত ক্যাশে, ফ্ল্যাশ অনুবাদ লেয়ার (এফটিএল) এর দুর্নীতি রোধ করা অত্যন্ত গুরুত্বপূর্ণ, যা নিজেই ফ্ল্যাশে সংরক্ষণ করা হয়।

এন্টারপ্রাইজ গ্রেড ড্রাইভারগুলি বেশিরভাগ তাদের ফ্ল্যাশগুলির চেয়ে ভাল তাদের কন্ট্রোলার এবং পাওয়ার ক্যাপাসিটরের কারণে বেশি ভাল হয়।

  • এন্টারপ্রাইজ এসএসডিগুলির অনেক বেশি সহনশীলতা / লেখার সীমা থাকে (প্রায়শই আপনি একবারে ড্রাইভের প্রত্যাশিত 5 বছরের আয়ু জুড়ে ড্রাইভটি সম্পূর্ণভাবে কতবার ওভাররাইট করতে পারেন তা পরিমাপ করা হয়), এতে লিখিত-পরিবর্ধনের কারণে উদ্বেগকে কোনও সমস্যা থেকে বঞ্চিত করা হয়? ট্রিম চালাচ্ছেন না?

উপরে উল্লিখিত হিসাবে, এন্টারপ্রাইজ গ্রেড ড্রাইভগুলির মধ্যে অনেক বেশি ডিফল্ট স্পেয়ার স্পেস (~ 20%) রয়েছে যা নিয়মিত টিআরআইএমের প্রয়োজনকে কমিয়ে দেয়

যাইহোক, পার্শ্ব নোট হিসাবে, দয়া করে কিছু সফ্টওয়্যার RAID বিবেচনা করুন যা TRIMs সমর্থন করে (কেউ বলেছেন লিনাক্স MDRAID? )


মাত্র 35000 লেখার চক্র ?! এটি অনেকের মতো শোনাচ্ছে না। আমার ধারণা, বর্ধিত ড্রাইভের প্রতিস্থাপনগুলি এসএলসি-তে একই ক্ষমতা কেনার তুলনায় সস্তা হয়।
ব্যবহারকারী 253751

Minimum 30000 ন্যূনতম গ্যারান্টিযুক্ত পুনর্লিখন চক্রগুলি খারাপ কিছু নয়: স্যুইচটি 2-বিট-প্রতি-সেল ন্যানডে নিয়ে আসা বর্ধিত ক্ষমতা সহ, এমএলসি ড্রাইভগুলি এসএলসি বেশীগুলির তুলনায় অনেক সস্তা, একই ধরণের সহনীয়তা রেটিং বজায় রেখে। তদুপরি, যে দিনগুলিতে 50-এনএম শ্রেণির এসএলসি সেলগুলি> 100000 পুনর্লিখনের চক্র রেট করা হয়েছিল সম্ভবত চলে গেছে: এমনকি এন্টারপ্রাইজ ড্রাইভের 34 / 25nm (বা আরও ছোট) বর্গ ফ্ল্যাশ রয়েছে, সহনীয়ভাবে নিম্ন সহনশীলতা সহ (যা এসএলসি ড্রাইভগুলিকেও প্রভাবিত করে)।
shodanshok

@ শোডনশোক আপনার উপসংহারটি হ'ল "এন্টারপ্রাইজ-গ্রেড (এসএএস) এসএসডি ব্যবহার করুন একটি সাধারণ রেড নিয়ামকের সাথে সংযুক্ত এবং এটি সম্পর্কে চিন্তা করবেন না" - এবং যে 5 বছরের মধ্যে একটি ড্রাইভ ওয়্যারেন্টেড হয়েছে তাতে আমি কোনও পারফরম্যান্স হিট দেখতে পাচ্ছি না? এবং যে অন্যান্য ব্যবহারকারীদের দ্বারা নথিভুক্ত কর্মক্ষমতা সমস্যাগুলি কেবল গ্রাহক-গ্রেড ড্রাইভগুলিকেই প্রভাবিত করে?
দাই

"এন্টারপ্রাইজ-গ্রেড" ড্রাইভের জন্য ডাই আমি কেবল এসএএস এসএসডিই বোঝাতে চাই না, বরং নির্বাচিত এসটিএ এসএসডিগুলিকে "এন্টারপ্রাইজ-গ্রেড" হিসাবে বিবেচনা করা যেতে পারে। এবং হ্যাঁ, এন্টারপ্রাইজ ড্রাইভগুলির স্থির অবস্থাতেও (যেমন: সম্পূর্ণ পূর্ণ) খুব ভাল পারফরম্যান্সের ধারাবাহিকতা রয়েছে। এই জাতীয় ড্রাইভের উদাহরণের জন্য, এখানে দেখুন । এমনকি কিছু ভোক্তা ড্রাইভ, যখন উদার অতিরিক্ত প্রকল্পের সাথে মিলিত হয়, বেশ সামঞ্জস্যপূর্ণ হতে পারে। একটি উদাহরণের জন্য এখানে দেখুন ।
shodanshok

1
বিনিং হ'ল প্রক্রিয়া হ'ল সিলিকন চিপগুলির মাধ্যমে তাদের মানের উপর ভিত্তি করে পরীক্ষা করা হয় এবং গ্রুপ করা হয়। সুতরাং, এন্টারপ্রাইজ এমএলসি নান্দ চিপগুলি মূলত "আরও ভাল তৈরি", আরও ভাল পরীক্ষিত চিপ are
shodanshok

9

আধুনিক র‌্যাড কন্ট্রোলারগুলিতে এসএসডি ব্যবহার করার সময় ট্রিম এমন কোনও বিষয় নয় যা আমি কখনও চিন্তিত করি না। এসএসডিগুলি উন্নত হয়েছে, হার্ডওয়্যার র‌্যাড কন্ট্রোলার বৈশিষ্ট্যগুলি এই কাজের চাপের জন্য অনুকূলিত হয়েছে, এবং সহনশীলতার প্রতিবেদন সাধারণত থাকে।

ট্রিমটি নিম্ন প্রান্তের SATA ড্রাইভের জন্য। এসএএসএসএস-এর জন্য, আমাদের এসসিএসআই আনম্যাপ রয়েছে এবং সম্ভবত এ কারণেই আমি ট্রিমের মুখোমুখি হচ্ছি না ...

তবে অন্য মন্তব্যকারী সঠিক। সফ্টওয়্যার-সংজ্ঞায়িত স্টোরেজ (এসডিএস) পরিবর্তন হচ্ছে যে আমরা কীভাবে এসএসডি ব্যবহার করি। এসডিএস সলিউশনে, রেড নিয়ন্ত্রকগুলি অপ্রাসঙ্গিক। আর ট্রিমের মতো জিনিসগুলি কম গুরুত্বপূর্ণ হয়ে থাকে কারণ এসএসডি নির্দিষ্ট ভূমিকা পালন করে। আমি নিম্বল স্টোরেজ রিড ক্যাশে বা জেডএফএস এল 2 এআরসি এবং জেডআইএল সম্পর্কে মনে করি ... তারা সকলেই নির্দিষ্ট প্রয়োজনীয়তাগুলি পূরণ করে এবং সফ্টওয়্যারটি আরও বুদ্ধিমানতার সাথে সংস্থানগুলি উত্‍পাদিত করছে।


3
UNMAP এবং TRIM ঠিক একই কাজ করে।
মাইকেল হ্যাম্পটন

2
ছাঁটাই / আনম্যাপটি সর্বদা প্রয়োজন - এটি ব্যতীত আপনাকে অভ্যন্তরীণ আবর্জনা সংগ্রহের উপর পুরোপুরি নির্ভর করতে হবে
জিম বি

অভ্যন্তরীণ আবর্জনা সংগ্রহ ট্রিমের বিকল্প নয়। ট্রিম কী করে তা প্রতিস্থাপন করতে পারে এমন কোনও ফার্মওয়্যার ফাংশন নেই। এটি সামান্য উদ্বেগজনক তাই এখানে অনেক উত্তর বুঝতে পারে না ট্রিম আসলে কী করে এবং কেন এটির প্রয়োজন। এই arstechnica.com/gadgets/2015/04/…
শিব

1

এসএসডি সহ র‌্যাডের স্তর উপরে একটি উত্তর প্রস্তাব দেয় যে সমতা সহ RAID স্তরগুলি যেমন RAID 5, রাইটিং প্রসারকে বৃদ্ধি করে। এটি ব্যাখ্যা করার জন্য একাধিক উপায় আছে: একটি ড্রাইভে প্রভাব বা ড্রাইভের সেটের উপর প্রভাব।

অপ্রয়োজনীয়তার তুলনায় RAID 5 সেটটিতে লেখার যোগ দেয় কারণ এটি চেকসাম প্যারিটি যুক্ত করে। RAID 0 অ্যারে (এন -1) ড্রাইভের সাথে তুলনা করে, এন ড্রাইভের সাথে RAID 5 অ্যারের প্রতি ড্রাইভ প্রভাব কিছুই নয়। এন ড্রাইভের প্রত্যেকটিই যেমন লেখেন তেমন গ্রহণ করে। RAID 5 সেটটিতে 1 / (n-1) অতিরিক্ত লেখেন। RAID 1 এবং RAID 10 তবে, সেটটিতে 100% অতিরিক্ত লেখাগুলি যুক্ত করুন, কারণ একটি এসএসডি-তে লেখা সমস্ত কিছুই তার আয়নাতে লেখা হয়।

সুতরাং, একই সংখ্যক ড্রাইভ সহ একটি RAID 5 সেট বনাম একটি RAID 5 সেট লেখার ক্ষেত্রে, RAID 5 সেটে এসএসডি কম লেখালেখি গ্রহণ করবে। এবং এটি সত্যই থেকে যায় এমনকি যদি আপনি ব্যবহারের যোগ্যতা সমান করতে RAID 10 সেট-এ এসএসডি সংখ্যা বৃদ্ধি করেন।


0

shodanshok এখানে আসল উত্তরের উপর স্পর্শ। যদি আপনি অতিরিক্ত স্থান সংরক্ষণ করেন, "অতিরিক্ত বিধান", আপনার এসএসডি'র ধৈর্য এবং লেখার পারফরম্যান্সের ধারাবাহিকতা সময়ের সাথে সাথে উভয়ই উন্নত হবে, এবং ট্রিম সমর্থনের অভাব বেশিরভাগ অপ্রাসঙ্গিক হয়ে পড়ে। অতিরিক্ত স্থান সংরক্ষণ করা কেবলমাত্র নতুন এসএসডি দিয়ে শুরু করে পুরো ক্ষমতার চেয়ে কম ভাগ করে নেওয়া যায়। বেশিরভাগ ইন-ড্রাইভ নিয়ন্ত্রণকারীরা কখনই স্থানটিকে সংরক্ষিত জায়গার মতো ব্যবহার করে না এবং এর ফলে লেখার প্রশস্ততা উল্লেখযোগ্যভাবে হ্রাস করে। বুট এবং ওএসের জন্য, 10% সংরক্ষিত স্থান সম্ভবত যথেষ্ট। প্রায়শই পুনরায় লিখিত ড্রাইভগুলির জন্য, সেই স্থানটি বাড়ান।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.