ডিস্ক ক্ষমতার প্রতিক্রিয়াতে স্টোরেজ আইওপিএস কীভাবে পরিবর্তিত হয়?


12

অন্যান্য সমস্ত জিনিস সমান হচ্ছে, যদি কোনও বড় ডিস্ক ব্যবহার করে তবে স্টোরেজ অ্যারের আইওপিএসের পারফরম্যান্স কীভাবে পরিবর্তন হবে।

উদাহরণস্বরূপ, 10 এক্স 100 গিগাবাইট ডিস্ক সহ একটি অ্যারে নিন।

ক্রম 256kb ব্লক লেখার জন্য আইওপিএস পরিমাপ করুন (বা কোনও আইওপিএস মেট্রিক)

আসুন ধরে নেওয়া যাক ফলাফল পরিমাপক IOPS 1000 আইওপিএস।

10 এক্স 200 গিগাবাইট ডিস্ক সহ একের জন্য অ্যারে পরিবর্তন করুন। একই RAID কনফিগারেশন, একই ব্লকের আকার ইত্যাদির সাথে ফর্ম্যাট করুন

কেউ কি আশা করে যে আইওপিএস একই থাকবে, বাড়বে, বা হ্রাস পাবে? পরিবর্তনটি কি মোটামুটি রৈখিক হবে? যেমন 2 এক্স বৃদ্ধি বা 2 এক্স হ্রাস (যেমন আমি ডিস্কের ক্ষমতা 2 এক্স বাড়িয়েছি)

10 এক্স 50 জিবি ডিস্ক দিয়ে এই প্রশ্নগুলি পুনরাবৃত্তি করুন।

সম্পাদনা করুন: আরও প্রসঙ্গ

এই প্রশ্নের ফলে আমার সিসাদমিন টিমের মধ্যে কথোপকথনের ফলস্বরূপ যা সমস্ত জিনিসের স্টোরেজে পারদর্শী নয়। (স্টোরেজের অনেক দিক দিয়ে আরামদায়ক, তবে কোনও এসএএন পরিচালনার বিবরণ বা যা কিছু নয়)। আমরা আমাদের বিদ্যমান ট্রেগুলির চেয়ে নতুন নেটপ্যাপ ট্রেগুলির একটি বড় স্তূপ পাই যা প্রতি ডিস্কে উচ্চ ডিস্কের ক্ষমতা - দ্বিগুণ ক্ষমতা - রয়েছে। মন্তব্যটি উঠে এসেছিল যে ডিস্কগুলি বড় হওয়ায় নতুন ট্রেগুলির আইওপিএস কম হবে। তারপরে একটি গাড়ি সাদৃশ্য এসেছিল এটি ব্যাখ্যা করার জন্য। কোনও মন্তব্যই আমার সাথে ভালভাবে যায়নি তাই আমি এটি টিম অর্থাৎ স্ট্যাক-এক্সচেঞ্জ-ল্যান্ডের কাছে চালিয়ে যেতে চেয়েছিলাম।

গাড়ির উপমাটি ছিল প্রায় দুটি গাড়ি সম্পর্কে কিছু, বিভিন্ন ত্বরণ, একই শীর্ষ গতি এবং এক চতুর্থাংশ মাইল চালানো। তারপরে দূরত্বটি দেড় মাইল পরিবর্তন করুন। প্রকৃতপক্ষে, আমি সঠিক সাদৃশ্যটি মনে করতে পারি না, তবে যেহেতু আমি ইন্টারভেবিজে একইরকম একটি অন্যরকমটি পেয়েছি আমি অনুভব করেছি এটি সম্ভবত একটি সাধারণ আইওপিএস উপমা ছিল।

কিছু উপায়ে, প্রশ্নের প্রকৃত উত্তরটি আমার কাছে ততটা গুরুত্বপূর্ণ নয়, কারণ আমরা এই তথ্যটি কোনও ক্রয়ের মূল্যায়ন করতে ব্যবহার করছি না। তবে আমাদের বিদ্যমান মাথার সাথে ট্রেগুলি সংযুক্ত করার সর্বোত্তম উপায় এবং সমষ্টি এবং খণ্ডগুলি উত্পন্ন করার সর্বোত্তম উপায়টি মূল্যায়ন করতে হবে।


2
প্রতি সেকেন্ডে I / O অপারেশনগুলি যদি ডিস্কের ক্ষমতা বাড়তে থাকে না - তারা ট্রান্সফার রেট এন্ড টু এন্ড ডিস্ক আই / ও রেট (এবং ক্যাচিং) এর সাথে সম্পর্কিত। আপনি যে নির্দিষ্ট সমস্যাটি সমাধান করার চেষ্টা করছেন তা কী?
এইটবিটটনি

3
এটি কি অনুমানক (এবং এইভাবে অফ-বিষয়)?
mfinni

এটা পরিবর্তনের সত্যিই না ... যদি না আপনি মাধ্যমে থালা জুড়ে মাথা আন্দোলন সীমিত বিষয়ে কথা বলছি স্বল্প দেবে ... অথবা overprovisioned SSDs ...
ewwhite

পাশের নোটে, বৃহত্তর ডিস্কগুলিতে সাধারণত আরও বেশি আধুনিক কন্ট্রোলার, মোটর এবং মাথা থাকে, ছোট ডিস্কগুলি সাধারণত কেবল পূর্বের জেনগুলি পুনরায় ব্যবহার করে যা "যথেষ্ট ভাল", তাই উচ্চ ক্ষমতা ডিস্কগুলি প্রায়শই দ্রুত হয় তবে বড় হয় না কারণ তারা হয় ভাল তৈরি
মান

2
@ এমফিন্নি: দুর্ভাগ্যক্রমে মেঘাচ্ছন্ন পরিষেবাদির অস্তিত্ব রয়েছে যাগুলির (ভার্চুয়াল) ডিস্ক আকারের উপর ভিত্তি করে আইওপিএসে কৃত্রিম বাধা রয়েছে। বিস্তারিত জানার জন্য আমার উত্তর দেখুন। আমি এর আগে "ডিভগুলি" বিভ্রান্ত দেখেছি।
dotancohen

উত্তর:


8

আপনার প্রশ্নের সরাসরি জবাব দিতে - অন্য সমস্ত বিষয় সমান হওয়া = জিবি পরিবর্তন করলে কোনও পরিবর্তন হয় না।

আপনি জিবি দিয়ে আইওপিএস পরিমাপ করেন না। আপনি সন্ধানের সময় এবং বিলম্বিতা ব্যবহার করেন।

আমি এগুলি এখানে আবার লিখতে পারি তবে নীচে এই উদাহরণগুলি ইতিমধ্যে সমস্ত কিছু করে এবং আমি কেবল এটি পুনরাবৃত্তি করব:

https://ryanfrantz.com/posts/calculating-disk-iops.html

http://www.big-data-storage.co.uk/how-to-calculate-iops/

http://www.wmarow.com/strcalc/

http://www.thecloudcalculator.com/calculators/disk-raid-and-iops.html



তবে কোনও ডিস্কের অধিকতর ক্ষমতা থাকলে সন্ধানের সময় এবং অলসতা বাড়ায় না?
জেডিএস

অগত্যা @ জেডিএসের প্রয়োজন। কখনও কখনও তারা তা করেন এবং কখনও কখনও তা করেন না কারণ নির্মাতারা একটানা প্লাটারগুলিতে আরও বিট স্টাফ করে চলেছে (আরও জিবি) এবং তাদের হার্ড ড্রাইভের অন্যান্য দিকগুলি অবিচ্ছিন্নভাবে উন্নত করছে। ড্রাইভটি বড় হয়ে গেলে এটি প্রায়শই অন্যান্য হার্ডওয়্যার আপগ্রেড একই সাথে পায় যা আপনার সন্ধানের সময় বা বিলম্বকে কমিয়ে দিতে পারে , যার ফলে আপনার আইওপিএস বাড়বে। তবে এটি সবই মূল বিষয় কারণ আইওপিএসের সাথে জিবিটির কোনও সরাসরি সম্পর্ক নেই, কেবল সময় খোঁজেন এবং আইওপিএসকে প্রভাবিত করে লেটেন্সি পড়েন।
ইয়ান ম্যাকিনটোস

11

আমি জানি এটি সম্ভবত একটি অনুমানমূলক প্রশ্ন ... তবে তথ্যপ্রযুক্তি বিশ্ব সত্যিই সেভাবে কাজ করে না। আইওপিএসকে প্রভাবিত করতে পারে এমন অন্যান্য বিষয়গুলি বিবেচনা করার জন্য বাস্তবসম্মত প্রতিবন্ধকতা রয়েছে ...

  • 50 গিগাবাইট এবং 100 গিগাবাইট ডিস্কের আর অস্তিত্ব নেই। আরও চিন্তা করুন: নিকটরেখা / মিডলাইন বাল্ক-স্টোরেজ মিডিয়াতে 72, 146, 300, 450, 600, 900, 1200GB এবং এন্টারপ্রাইজ ডিস্কগুলিতে 500, 1000, 2000, 3000, 4000, 6000GB

  • আধুনিক স্টোরেজে এত বিমূর্ততা রয়েছে; ডিস্ক ক্যাচিং, নিয়ামক ক্যাচিং, এসএসডি অফলোড ইত্যাদি যে কোনও পার্থক্য সনাক্ত করা কঠিন difficult

  • আপনার বিবেচনা করার জন্য বিভিন্ন ড্রাইভ ফর্ম ফ্যাক্টর, ইন্টারফেস এবং ঘূর্ণন গতি রয়েছে। এসএএস বা নিকটরেখা এসএএসের চেয়ে সাটা ডিস্কের আলাদা পারফরম্যান্স প্রোফাইল রয়েছে । 7,200RPM ডিস্ক 10,000RPM বা 15,000RPM এর চেয়ে আলাদা আচরণ করে। এবং বিভিন্ন ঘূর্ণন গতির প্রাপ্যতা নির্দিষ্ট ক্ষমতাগুলির মধ্যে সীমাবদ্ধ।

  • শারীরিক নিয়ামক বিন্যাস। এসএএস প্রসারণকারী, রেড / এসএএস কন্ট্রোলারগুলি সংযোগটি সার্ভারের অভ্যন্তরীণ বা বাহ্যিক ঘেরে থাকা কিনা তা ডিস্ক লেআউটের উপর নির্ভর করে আইওপিএসকে প্রভাবিত করতে পারে। প্রচুর সংখ্যক SATA ডিস্ক প্রসারণকারীদের ও ড্রাইভ ত্রুটির অবস্থার সময় খারাপ আচরণ করে

  • এর মধ্যে কিছু বিভাজন দ্বারা প্রভাবিত হতে পারে, ডিস্ক অ্যারেতে ব্যবহৃত ক্ষমতা।

  • শর্ট স্ট্রোকিংয়ের কথা কি কখনও শুনছেন ?

  • সফ্টওয়্যার বনাম হার্ডওয়্যার RAID, প্রিফেচিং, অভিযোজিত প্রোফাইলিং ...

আপনাকে কীভাবে বিশ্বাস করতে পরিচালিত করে যে ক্ষমতা প্রথম স্থানে পারফরম্যান্সের উপর কোনও প্রভাব ফেলবে? আপনি আরও প্রসঙ্গ সরবরাহ করতে পারেন?

সম্পাদনা:

যদি ডিস্কের ধরণ, ফর্ম ফ্যাক্টর, ইন্টারফেস এবং ব্যবহৃত-ক্ষমতা একই হয় তবে আইওপিএসে কোনও প্রশংসনীয় পার্থক্য থাকা উচিত নয়। ধরা যাক আপনি 300 জিবি থেকে 600 গিগাবাইট এন্টারপ্রাইজ এসএএস 10 কে ডিস্কে যাচ্ছিলেন। একই স্পিন্ডাল গণনা সহ, আপনার কোনও পারফরম্যান্সের পার্থক্য দেখা উচিত নয় ...

যাইহোক, যদি নেট অ্যাপ্লিকেশন ডিস্ক তাকগুলি আপনি উল্লেখ করেন যে কোনও উত্তরাধিকার 3 জিবিপিএস বনাম 6 জিবিপিএস বা 12 জিবিপিএস এসএএস ব্যাকপ্লেনগুলি নিয়োগ করে তবে আপনি নতুন সরঞ্জামগুলিতে যাওয়ার ক্ষেত্রে একটি আউটপুট পরিবর্তন দেখতে পাবেন।


প্রসঙ্গ যুক্ত করতে আমি আমার মূল প্রশ্নটি সম্পাদনা করেছি। আমি যে সংখ্যাগুলি বেছে নিয়েছি তা বাস্তব-বিশ্ব নয়, এগুলি কেবল অনুমানমূলক গণনাগুলি সহজ করে তোলার জন্য। এছাড়াও, আপনার অন্যান্য মন্তব্যগুলির বেশিরভাগই "সমস্ত জিনিস সমান হচ্ছে" কলামে পড়ে। ধরে নিন যে একমাত্র জিনিসটি পরিবর্তিত হ'ল পৃথক ডিস্কগুলির ক্ষমতা
জেডিএস

@ জেডিএস আমার উপরে সম্পাদনা দেখুন।
ew white

9

একটি স্থান যেখানে রয়েছে ডিস্ক আকার এবং IOPS মধ্যে একটি সরাসরি সম্পর্ক রয়েছে আমাজন ডেস্কটপ AWS ক্লাউড ও অন্যান্য "মেঘলা সেবা"। দুটি ধরণের এডাব্লুএস পরিষেবা ( ইলাস্টিক ব্লক স্টোর এবং রিলেশনাল ডেটাবেস পরিষেবা ) বড় ডিস্ক আকারের জন্য উচ্চতর আইওপিএস সরবরাহ করে।

নোট করুন যে এটি তাদের পরিষেবাগুলিতে অ্যামাজন দ্বারা রাখা একটি কৃত্রিম সীমাবদ্ধতা । কেস হওয়ার জন্য এখানে কোনও হার্ডওয়্যার-বাঁধা কারণ নেই। তবে, আমি এমন ডিভোপ প্রকারগুলি দেখেছি যারা ভার্চুয়ালাইজড হার্ডওয়্যারগুলির সাথে অপরিচিত যারা এই নিষেধাজ্ঞাকে ডেস্কটপ সিস্টেম এবং এর মতো উপযুক্ত বলে বিশ্বাস করে। ডিস্কের আকার / আইওপিএস সম্পর্কটি একটি ক্লাউড বিপণনের সীমাবদ্ধতা, কোনও হার্ডওয়ারের বাধা নয়।


1
এটা একটা ভাল দিক. আমরা গ্রাহকদের কর্মক্ষমতা এবং ক্ষমতা প্রদানের জন্য পারফরম্যান্স এসএলএগুলি খুঁজছি। এবং আমরা 'আইওপস প্রতি টেরাবাইট'-এর একটি স্তর ভিত্তিক মডেলটি ব্যবহার করতে দেখছি - ধারণাটি হ'ল যে আমরা এটি আমাদের আপগ্রেড চক্রকে অবহিত করতে পারি - আইওপি: টিবি অনুপাত বেশি হলে এসএসডি কেনা এবং যদি এটি কম থাকে তবে স্যাটা। কোনও অ্যারে সীমাবদ্ধতা বা সীমাবদ্ধতার কারণে নয়, তবে আমাদের ব্যয় বনাম চার্জিং মডেলগুলির উপর একটি গ্রিপ পাওয়া দরকার।
সোবারিক

2
মজাদার. আমি এখানে মেঘলা প্রসঙ্গে ভাবিনি । আমি যে শো অনুমান দৃষ্টিকোণ থেকে আমি আসছি ...
ewwhite

4

আমার উল্লেখ করা উচিত যে আইওপিএস ক্রমান্বয়ে রচনায় গতির একটি দুর্দান্ত পরিমাপ নয়, তবে কেবল এটির সাথে চলুন।

আমার সন্দেহ হয় ডিস্কের আকার সত্ত্বেও ডিস্ক হেডগুলির সন্ধান ও লেখার সময়গুলি বেশ সামঞ্জস্যপূর্ণ। 20 বছর আগে আমরা সকলেই একই পঠন / লেখার গতি (প্রায় - অবশ্যই রৈখিকভাবে নয়) দিয়ে 60 জিবি ডিস্ক ব্যবহার করছি।

আমি একটি শিক্ষিত অনুমান করছি তবে আমি মনে করি না যে ডিস্কের ঘনত্ব ডিস্কের কার্য সম্পাদনের সাথে রৈখিকভাবে সম্পর্কিত।

উদাহরণস্বরূপ, 10 এক্স 100 গিগাবাইট ডিস্ক সহ একটি অ্যারে নিন।

ক্রম 256kb ব্লক লেখার জন্য আইওপিএস পরিমাপ করুন (বা কোনও আইওপিএস মেট্রিক)

আসুন ধরে নেওয়া যাক ফলাফল পরিমাপক IOPS 1000 আইওপিএস।

ঠিক আছে

10 এক্স 200 গিগাবাইট ডিস্ক সহ একের জন্য অ্যারে পরিবর্তন করুন। একই RAID কনফিগারেশন, একই ব্লকের আকার ইত্যাদির সাথে ফর্ম্যাট করুন

কেউ কি আশা করে যে আইওপিএস একই থাকবে, বাড়বে, বা হ্রাস পাবে?

সম্ভবত একে অপরের সমান সমান থাকুন।

পরিবর্তনটি কি মোটামুটি রৈখিক হবে?

স্পিনিং মিডিয়ার ইতিহাস আমাকে বলে যে সম্ভবত কোনও সম্পর্ক নেই।

10 এক্স 50 জিবি ডিস্ক দিয়ে এই প্রশ্নগুলি পুনরাবৃত্তি করুন

আবার মোটামুটি সমতুল্য।

আপনার গতি, এই সমস্ত ক্ষেত্রেই এই সত্যটি আসে যে RAID দশটি রাইট মাথা সহ একটি একক ডিস্কের মতো কাজ করে, তাই আপনি প্রতিটি ডিস্কের সমান্তরালে কাজটির 1/10 তম পাঠাতে পারেন।

আপনাকে দেখানোর মতো আমার কাছে কোনও হার্ড সংখ্যা নেই, আমার অতীত অভিজ্ঞতা আমাকে বলেছে যে আপনার ডিস্কের পারফরম্যান্স বাড়ানো আরও বেশি ক্ষমতা অর্জনের মতো সহজ নয়।

মার্কেটিং ব্যক্তিরা কি বল তুমি নতুনত্ব, সস্তা শুরুর (ER) সলিড স্টেট ডিস্ক গত 20 বছরে মিডিয়া কাটনা কর্মক্ষমতা কম গুরুত্বপূর্ণ উন্নয়ন হয়েছে আগে সত্ত্বেও, সম্ভবতঃ শুধুমাত্র Theres তাই অনেক জং নামা করতে এবং কেবলমাত্র এত তাড়াতাড়ি আমরা আমাদের বর্তমান মডেলগুলির ডিস্ক হেডগুলি পেতে পারি।


একটি ড্রাইভে প্লাটার বৃদ্ধি বা প্লাটার ঘনত্ব বৃদ্ধি (বাইট প্রতি কম চলাচল) এর কারণে কিছুটা উন্নতি হতে পারে, তবে আমি সন্দেহ করি এটি বিশাল।
বিল ওয়েইস

নির্ভুলতার জন্য আপনি যে ঘনত্বের জন্য পেমেন্ট করেন তা প্রত্যাশা করি।
ম্যাথু ইফেই

1994 সালে আপনার 60GB ডিস্ক ছিল !?
ওয়ারেন

3

প্রতিটি স্পিন্ডল যুক্ত স্টোরেজ স্কেলে যোগ করা পারফরম্যান্স। ড্রাইভের আবর্তনীয় গতি বৃহত্তম ফ্যাক্টর, সুতরাং একটি 10 ​​কে আরপিএম ড্রাইভ যুক্ত করা k.২ কেপি আরপিএম ড্রাইভের চেয়ে আরও বেশি পারফরম্যান্স দেয় (এলোমেলো আইও বা এমবি / এস স্ট্রিমিং আইওতে) more ড্রাইভের আকারটির কার্যত কোনও প্রভাব নেই।

লোকেরা বলেছে যে ছোট ড্রাইভগুলি কেবল সহজেই চলে যায় কারণ আপনার ব্যবহারের যোগ্য টিবিতে আরও বেশি স্পিন্ডল প্রয়োজন। এই স্পিনডেলের ড্রাইভের আকার বাড়ানো পারফরম্যান্স হ্রাস করবে না, তবে এটি আপনাকে ডিস্কগুলিতে আরও ডেটা ফিট করতে দেয়, যার ফলে কাজের চাপ বাড়তে পারে।


2

যদি আপনি ধরে নেন যে অন্য সমস্ত কিছু সমান, বৃহত ক্ষমতার ডিস্কগুলির পারফরম্যান্স বৈশিষ্ট্যগুলি খুব বেশি পরিবর্তন হয় না। একটি 10 ​​কে আরপিএম এফসি ড্রাইভের 300 মিলিয়ন বা 3 টিবি নির্বিশেষে খুব একই বৈশিষ্ট্য রয়েছে। থালাগুলি একই হারে ঘোরান, এবং মাথাগুলি একই গতিতে সন্ধান করে।

একইভাবে স্থিত থ্রুপুট - খুব বেশি পার্থক্য নেই। এটি অনেকগুলি পারফরম্যান্স সমস্যার মূল কারণ যদিও অনেক ক্ষেত্রেই লোকেরা টেরাবাইট কিনে, তারা আইওপি বা এমবি / সেকেন্ড কিনে না।

এবং 3 জিবি ড্রাইভকে 300 গিগাবাইট ড্রাইভ হিসাবে পুনর্নির্মাণ / অনুলিপি করতে 10x বেশি সময় লাগবে

ফলস্বরূপ আমাদের স্টোরেজ প্রকল্পগুলির জন্য যথেষ্ট পরিমাণের সাশ্রয় দেখতে হবে - ড্রাইভের আকারগুলি এখনও বাড়ছে, তবে তাদের দক্ষতার দক্ষতা খুব বেশি নয়। সুতরাং কমপক্ষে একটি ক্ষেত্রে, আমরা 100TB প্রয়োজনীয়তা পূরণের জন্য ~ 400TB স্টোরেজ কিনেছি, কারণ আমাদের স্পিন্ডলগুলি প্রয়োজন।


0

আপনি যদি ডিস্কগুলি ঘোরান (এসএসডি নয়) তবে সমস্ত কিছু সমান হচ্ছে, আপনি যদি ডিস্কের বাইরের ট্র্যাকগুলি ব্যবহার করেন তবে স্থানান্তর গতি বেশি হয়। আপনি যদি কেবলমাত্র আংশিকভাবে ভরা একটি ডিস্ক ব্যবহার করেন তবে এটি স্বয়ংক্রিয়ভাবে ঘটবে। একই সময়ে, যদি কোনও ডিস্ক কেবল আংশিকভাবে পূরণ করা হয় তবে আপনার গড় মাথা চলাচল কম হবে এবং মাথার চলাচলের সংখ্যাও কম হবে কারণ ট্র্যাকটিতে আরও ডেটা রয়েছে।

আপনি একক ডিস্ক বা একটি RAID ড্রাইভ ব্যবহার করেন কিনা তা সত্য।

এখন আপনি যদি 100 গিগাবাইট এবং 2000 গিগাবাইট ডিস্কের তুলনা করছেন, আপনি নিশ্চিত হয়ে উঠতে পারেন যে সমস্ত কিছু সমান নয় । তবে যদি একই নির্মাতারা এক, দুই, তিন এবং চারটি প্ল্যাটার সহ 500 গিগাবাইট, 1 টিবি, 1.5 টিবি এবং 2 টিবি ড্রাইভ সরবরাহ করে, তবে সমস্ত কিছু সমান হওয়ার সম্ভাবনা রয়েছে এবং 4 টিবি তথ্য সংরক্ষণের জন্য 10 x 500 জিবি 10 x 2TB এর চেয়ে ধীর হবে (আপনি কেবল 100 গিগাবাইট সঞ্চয় করলে কোনও পার্থক্য হবে না, কারণ 500 গিগাবাইট ড্রাইভগুলিও প্রায় খালি থাকবে)।

তবে RAID ড্রাইভের জন্য, আপনি স্থানান্তর গতি দ্বারা এতটা সীমাবদ্ধ থাকবেন না, তবে আবর্তিত বিলম্বের দ্বারা। সুতরাং উচ্চতর আরপিএম আরও গুরুত্বপূর্ণ হবে। এবং আপনি প্রায়শই কম ক্ষমতা সহ উচ্চতর আরপিএম পাবেন find অন্যদিকে, আপনি যদি উচ্চ আরপিএম / কম ক্ষমতা নিয়ে যান, তবে আপনি এসএসডি ড্রাইভগুলিও দেখতে পারেন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.