40TB সার্ভার কনফিগারেশনে স্যানিটি পরীক্ষা করুন


21

আমি কম্পিউটিংয়ে 40 বছর পেয়েছি, তবে আমাকে কখনই এর মতো বেশিরভাগই একটি সার্ভার তৈরি করতে হয়নি, সুতরাং এটি একটি n00b প্রশ্ন হতে পারে।

আমার কাছে একটি ক্লায়েন্ট রয়েছে যা ডাউনলোডের জন্য অতি-উচ্চ ডিএফ সংগীত ফাইল সরবরাহ করতে চলেছে। এই ক্ষেত্রে এর অর্থ FLAC- সংকুচিত 24 / 192Khz = GB 10GB / অ্যালবাম। (না, আমি কেবলমাত্র সার্ভার কনফিগারেশনের পণ্যটির কাঙ্ক্ষিত বিষয় নিয়েই আলোচনা করতে চাই না।) ক্যাটালগটি প্রায় 3,000 অ্যালবামগুলিতে আল্ট্রা-হাই এবং লো ডিএফ সংস্করণ (তাদের আইপডগুলির জন্য, অনুমান) সহ প্রায় 3,000 অ্যালবাম হবে 35-40TB বা এর বেশি প্রাথমিক ডেটা।

যেহেতু এটি একটি খুব বিশেষ পণ্যযুক্ত, তাই বাজারের আকারটি আপেক্ষিক ছোট (মনে করুন: যে লোকেরা তাদের অডিও সিস্টেমগুলিতে ,000 20,000 + ব্যয় করে) যার অর্থ সার্ভারটি বেশিরভাগ সময় 100% অলস (বা এটির কাছাকাছি) হতে চলেছে। আমার কাছে কোলোকেশন আমেরিকা থেকে 1 জিবিপিএস সংযোগ এবং প্রায় 20 ডলার / টিবি ব্যান্ডউইদথের কাছ থেকে ভাল কলোকেশন অফারের মতো দেখাচ্ছে, তাই এখন পণ্য সরবরাহের জন্য আমাকে কেবল একটি বাক্স তৈরি করতে হবে।

ডেটা অ্যাক্সেস ব্যবহারের কেসটি একবারে / পড়ার জন্য অনেকগুলি, তাই আমি কয়েকটা ড্রাইভের জন্য কেবল সফ্টওয়্যার RAID 1 ব্যবহার করার কথা ভাবছি। এটি আমাকে (আমি মনে করি ) অন ফ্লাইটে ব্যর্থদের জন্য অতিরিক্ত ড্রাইভগুলি পুনরায় কনফিগার করার অনুমতি দেব , যার ফলে কিছু সিসাদমিন সিস্টেমে রেড লাইট লক্ষ্য করার আগেই তারা দ্বিতীয় ড্রাইভটি পুনর্নির্মাণ শুরু করতে সক্ষম হয়েছিল (তারা ফ্রি অদল বদল করে)। এটি প্রয়োজন না হলে যদি আমি বেশিরভাগ ড্রাইভগুলি ঘুমাতে / স্পিন-ডাউন পেতে পারি তবে এটি বেশিরভাগ ড্রাইভের জন্য বেশিরভাগ সময় আসবে।

গণনা শক্তির পথে আমার খুব বেশি প্রয়োজন নেই — এই জিনিসটি কেবল পাইপের নিচে চর্বিযুক্ত বস্তুগুলিকে ঝাঁকিয়ে দিচ্ছে — এবং সিপিইউ / মাদারবোর্ড এতক্ষণ চালিত হতে পারে যতক্ষণ না এই সংখ্যাটি ড্রাইভ সমর্থন করতে পারে।

আমি বর্তমানে নিম্নলিখিত কনফিগারেশন বিবেচনা করছি:

Chasis: Supermicro CSE-847E26-RJBOD1
Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?)
MB: SUPERMICRO MBD-X10SAE-O w/ 8GB
CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server

সুতরাং, আমি কি সঠিক দিকে যাচ্ছি, বা এটি কোনও সমস্যা সম্পূর্ণরূপে N00b / ডায়নোসর উপায়?

কয়েকটি পয়েন্ট পরিষ্কার করতে আপডেট করুন:

  1. জেডএফএসের সাথে আমার কোনও অভিজ্ঞতা নেই, যেহেতু আমার মালিকানাধীন সর্বশেষ রৌদ্রের পণ্যটি 80 এর দশকের শেষদিকে ছিল। এটি ঠিক আছে কিনা তা দেখার জন্য আমি একটু আরটিএফএমিং করব will
  2. ফাইলের নামগুলি সাধারণ ইউআইডি হতে চলেছে, এবং বস্তুগুলি ড্রাইভগুলিতে ভারসাম্যপূর্ণ হতে চলেছে (বড় আকারের ক্যাচিং সিস্টেমের মতো সাজানো) since সুতরাং আমি এগুলি 40 টি পৃথক ফাইল সিস্টেম হিসাবে সত্যই ভাবছিলাম, এবং এটি RAID 1 টি সম্পর্কে ডান সম্পর্কে শব্দ করেছে (তবে আমি এখানে অজ্ঞতা স্বীকার করি)।
  3. কারণ আমাদের বর্তমান প্রত্যাশাগুলি হ'ল যে কোনও সময় আমরা কয়েক ডজন ফাইলের বেশি ডাউনলোড করার সম্ভাবনা থাকব না এবং বেশিরভাগ ক্ষেত্রেই ঠিক কোনও ব্যক্তি কোনও প্রদত্ত ফাইল ডাউনলোড করবেন, আমি জানি না আমাদের প্রচুর স্মৃতি দরকার কিনা? বাফারদের জন্য। সম্ভবত 8 গিগাবাইটটি কিছুটা হালকা, তবে আমি মনে করি না যে 128 গিগাবাইট শক্তি গ্রহণের চেয়ে আরও কিছু করবে।
  4. এখানে আছে 2 পৃথক মেশিন এখানে উল্লেখ করা হল: তাদের বর্তমান ওয়েব বাজার, এবং একটি প্রায় পুরোপুরি পৃথক ডাউনলোড মাস্টার যে হ্যান্ডলগুলি সব প্রমাণীকরণ, ব্যবস্থাপনা পাকস্থলিতে গ্রহণ নতুন পণ্য, নীতি প্রয়োগকারী (সব পরে, এই হল থেকে RIAA এর খেলার মাঠ), ক্ষণজীবী URL টি সৃষ্টি (এবং সম্ভবত ট্র্যাফিক যদি আমাদের প্রত্যাশা ছাড়িয়ে যায়) তবে এর ব্যবহারের উপর নজর রাখা এবং জেনারেশন তৈরি করুন these তার মানে এই মেশিনটি প্রায় কোয়ালিউডে জারবিল ব্যবহার করে নির্মিত হতে পারে।

ZFS? সুবিধা কোথায়?

ঠিক আছে, আমি একাধিক জেডএফএস গাইড, এফএকিউ ইত্যাদির মাধ্যমে আমার পথ স্লোগান দিচ্ছি বোকামি শোনার জন্য আমাকে ক্ষমা করুন, তবে আমি এনএআইডিএডি 1 জোড়া সম্পর্কে আমার অ্যান্টিডিলুভিয়ান ধারণার চেয়ে জেডএফএস ব্যবহার করার সুবিধাটি বুঝতে চেষ্টা করছি । এই সেরা অনুশীলন পৃষ্ঠাগুলিতে (2006 থেকে) তারা 48 টি ডিভাইস জেডএফএস না করার পরামর্শ দেয় , তবে 24 ২-ডিভাইস-আয়না - আমি যা করছিলাম সে সম্পর্কে একধরনের শোনায়। অন্যান্য পৃষ্ঠাগুলিতে 1 (এক) জেডএফএস ব্লক সরবরাহ করতে যে সমস্ত ডিভাইসে অ্যাক্সেস করতে হবে তার সংখ্যা উল্লেখ করেছে mention এছাড়াও, দয়া করে মনে রাখবেন, প্রতি বস্তু 10 গিগাবাইটে এবং ৮০% ডিস্ক ব্যবহারের সময়, আমি 4 টিবি ড্রাইভে প্রতি মোট 320 টি ফাইল সঞ্চয় করছি । কোনও রেড ড্রাইভ ব্যর্থতার জন্য আমার এনআরআইডি 1 এস সহ পুনর্নির্মাণের সময়টি একটি ডিভাইস থেকে অন্য ডিভাইসে 4TB রচনা।জেডএফএস কীভাবে এটি আরও ভাল করে?

আমি ডাইনোসর হওয়ার কথা স্বীকার করব, তবে ডিস্কটি সস্তা, RAID 1 আমি বুঝতে পারি, আমার ফাইল পরিচালনার প্রয়োজনীয়তাগুলি তুচ্ছ, এবং লিনাক্সের জেডএফএস (আমার পছন্দসই ওএস) এখনও এক ধরণের তরুণ। হতে পারে আমি খুব রক্ষণশীল, কিন্তু যখন আমি একটি প্রোডাকশন সিস্টেমের দিকে তাকিয়ে থাকি, আমি এভাবেই রোল করি।

আমি আপনার মতামতের জন্য আপনাকে সবাইকে ধন্যবাদ জানাই যা আমাকে এই সম্পর্কে ভাবায়। আমি এখনও সম্পূর্ণ সিদ্ধান্ত নিয়েছি না এবং আমাকে আবার ফিরে আসতে হবে এবং আরও কিছু এন00 বি প্রশ্ন জিজ্ঞাসা করতে হতে পারে।


6
এই পরিমাণ সঞ্চয়স্থানের জন্য, আমি এমনকি 128 গিগাবাইট র্যামের চেয়ে কম র্যাম ব্যবহার করা বিবেচনা করব না। এছাড়াও, zfs ফাইল সিস্টেম ব্যবহার করার জন্য দৃ strongly়তার সাথে বিবেচনা করুন।
EEAA

3
RAID1 এর ডিস্কগুলির জোড়গুলি শোনাচ্ছে ful ব্যক্তিগতভাবে, আমি স্টোরেজ সার্ভার / শেল্ফটি সুনির্দিষ্ট করে বলব, এটি প্রায় লাইন এসএএস ড্রাইভের পূর্ণ ক্র্যাম, পুরো জিনিসটি RAID 10 বা 6 এ রেখেছি, একটি উত্তেজক স্পয়ার বা দুটি যুক্ত করে একটি দিন কল করে।
আশাহীন

3
@ থেরফিশ - গণনার উদ্দেশ্যে র‌্যামের প্রয়োজন হয় না, তবে ফাইল সিস্টেম ক্যাশে এটি অবশ্যই প্রয়োজন। শুধুমাত্র 8 গিগাবাইটের সাথে পারফরম্যান্স ভয়ানক হবে। আরও বেশি যদি জেডএফএস ব্যবহার করা হয় তবে এটিই কেবলমাত্র এইচএসএস আমি এই আকারটিতে গুরুত্ব সহকারে বিবেচনা করব। জেডএফএসের ভাল কাজ করার জন্য প্রচুর র‍্যাম দরকার। ভাগ্যক্রমে র‌্যাম তুলনামূলক কম।
EEAA

1
পারফরম্যান্স মাত্র 1 জিবিপিএস পরিপূর্ণ করার জন্য পর্যাপ্ত পর্যাপ্ত হবে। পারফরম্যান্স কেবলমাত্র ডিসি থেকে ব্লকগুলি পুনরায় পড়তে হবে যেগুলি বাফার-ক্যাশে থেকে ছিনিয়ে নেওয়া হয়েছিল এবং অস্থায়ী লোকালটির খুব কম বা প্রত্যাশা দেওয়া হয়েছিল, অতিরিক্ত র‍্যামের জন্য হ্রাস পাওয়ার পরিমাণ 128 গিগাবাইটের আগে ভালভাবে পৌঁছেছে। সীমিত পরিমাণে ভিত্তিক ফাইল সিস্টেম এবং বড় ফাইলগুলি দেওয়া, এমনকি ফাইল-সিস্টেম মেটাডেটাও একটি তুচ্ছ পরিমাণের র‍্যাম দখল করবে। এমনকি তিনি এমনটি ব্যবহারও যথেষ্ট পরিমাণে কম বলে আশা করেন যে ড্রাইভগুলি স্পাইন্ডাউন করতে সক্ষম হবে। '73s।
ইথারফিশ

5
ডিস্কগুলি কাটানোর বিষয়ে কেবল একটি নোট - এটি করবেন না! (কেন তা জানতে আমাকে ক্লিক করুন) স্পিন-আপ / স্পিন-ডাউন প্রচলিত হার্ড ড্রাইভের চলমান অংশগুলিতে প্রচুর পরিধান এবং এটি অকাল ব্যর্থতার কারণ হয়ে দাঁড়ায়। আপনি বিদ্যুতের উপর যে অর্থ সঞ্চয় করবেন তা ব্যর্থ ডিস্কের পরিবর্তে হারিয়ে যাবে।
voretaq7

উত্তর:


12

আপনার সমস্যার বর্ণনার উপর ভিত্তি করে আপনার সমস্যাটি স্টোরেজের মতো সার্ভারের মতো নয়।
তোমার মত নির্ভরযোগ্য, শক্তসমর্থ ফাইলসিস্টেম চান ZFS যে ভাল বৃহৎ স্টোরেজ ক্ষমতা হ্যান্ডেল ডিজাইন, এবং বিল্ট-ইন পরিচালনার ক্ষমতা করেছে সিস্টেমের যে শেষ পরিচালনা করতে সহজ করতে।

মন্তব্যে যেমন উল্লেখ করা হয়েছিল, আমি স্টোরেজ পুলের জন্য জেডএফএসের সাথে যাব (সম্ভবত ফ্রিবিএসডি-তে কারণ আমি সেই অপারেটিং সিস্টেমের সাথে সবচেয়ে বেশি পরিচিত এবং কারণ এটি জেডএফএসের সাথে দৃ performance় পারফরম্যান্সের দীর্ঘ, প্রমাণিত ট্র্যাক রেকর্ড পেয়েছে - আমার দ্বিতীয় পছন্দ) ওএস হ'ল ইলুমোস , আবার ভালভাবে পরীক্ষিত জেডএফএস সমর্থনের কারণে)।


যতক্ষণ না আমি সম্মত ফাইলগুলি পরিবেশন করার জন্য - আপনার কেবল নেটওয়ার্ক পোর্ট থেকে ডেটা ধাক্কা দেওয়ার জন্য হার্ডওয়ারের দিক থেকে খুব বেশি দরকার নেই। সিপিইউ / র‌্যামের জন্য আপনার প্রাথমিক ড্রাইভারটি ফাইল সিস্টেমের (জেডএফএস) প্রয়োজন হতে চলেছে।
থাম্বের সাধারণ নিয়ম হল জেডএফএসের জন্য 1 গিগাবাইট র‌্যামের প্রয়োজন হয়, প্লাস প্রতিটি 10 ​​টিবি ডিস্ক স্পেসের জন্য 1 জিবি প্রয়োজন হয় (সুতরাং 40 টিবি-র জন্য আপনার জেডএফএসের জন্য 5 গিগাবাইট র‌্যামের প্রয়োজন হবে) যদিও সম্পর্কটি বেশ লিনিয়ার নয় (প্রচুর পরিমাণে রয়েছে) জেডএফএসে ভাল বই / টিউটোরিয়াল / ডকস যা আপনাকে আপনার পরিবেশের জন্য একটি অনুমান আনতে সহায়তা করতে পারে)।
নোট করুন যে জেডএফএস ঘন্টাধ্বনি যুক্ত করা এবং ডুপ্লিকেশন এর মতো হুইসেলগুলিতে আরও বেশি র‌্যাম লাগবে।

স্পষ্টতই রাউন্ড র‌্যামের প্রয়োজনীয়তাগুলি নীচে নেওয়ার পরিবর্তে উপরে হবে এবং কৃপণ হয়ে উঠবেন না: যদি আপনার গণিতটি বলে যে আপনার 5 গিগাবাইট র‌্যামের দরকার হয় তবে 8 গিগাবাইট সহ সার্ভারটি লোড করবেন না - 16 গিগাবাইট পর্যন্ত ধাপ।

এরপরে আপনি আপনার সার্ভারটি সরাসরি স্টোরেজ বাক্সে চালাতে পারবেন (যার অর্থ সার্ভার প্রক্রিয়াগুলি সমর্থন করার জন্য আপনাকে সেই বাক্সে আরও বেশি র‌্যামের প্রয়োজন হবে), অথবা আপনি "ফ্রন্ট-এন্ড" সার্ভারগুলিতে স্টোরেজটিকে রিমোট-মাউন্ট করতে পারেন আসলে ক্লায়েন্ট অনুরোধ পরিবেশন।
(প্রাক্তনটি প্রথম দিকে সস্তা, পরে দীর্ঘতর স্কেলগুলি আরও দীর্ঘমেয়াদী)


এই পরামর্শের বাইরে আমি আপনাকে দিতে পারি সেরা পরামর্শগুলি ইতিমধ্যে আমাদের দক্ষতা পরিকল্পনা সিরিজের প্রশ্নগুলিতে ভালভাবে কভার করা হয়েছে - মূলত "লোড টেস্ট, লোড টেস্ট , লোড টেস্ট "।


আপনার গণিত বন্ধ রয়েছে তা বোঝায়। আপনার সূত্রে, তার 41G দরকার।
EEAA

@EEAA প্রকৃতপক্ষে, আমি একটি শূন্য :-) ফেলেছি এবং নোট করুন যে এটি সর্বনিম্ন পরিমাণের র্যাম। জেডএফএস 41 জি ব্যবহার করে খুশি হবে এবং
সমস্তটি

@ ভোরেটাক:: ক্ষমতা পরিকল্পনার লিঙ্কের জন্য ধন্যবাদ; এটি জেডএফএস সম্পর্কে পড়ার পরে আমার তালিকায় রয়েছে।
পিটার রোয়েল


1
@ পিটাররওয়েল জেডএফএসের প্রধান সুবিধাগুলি হ'ল এটি বহু-টেরাবাইট স্কেল ফাইল সিস্টেমগুলি পরিচালনা করার জন্য ডিজাইন করা হয়েছে - এটি সান মাইক্রোসিস্টেমগুলির ক্রুশিবলে তৈরি হয়েছিল এবং একবিংশ শতাব্দীর ডেটা আকারগুলির জন্য 21 শতকের ফাইল সিস্টেম হিসাবে নির্মিত হয়েছিল (আপনি যে ধরণের কথা বলছেন) । জেডএফএস বনাম <কিছু অন্যান্য ফাইল সিস্টেম> এর সুবিধাগুলি / ত্রুটিগুলি সম্পর্কে একটি প্রশ্ন অন্য পৃথক প্রশ্নের জন্য ভাল বিষয় হবে তবে আমি এই ন্যাগটটি ফেলে দেব: fsckআপনি জেডএফএস এবং মেশিনটি ব্যবহার করছেন কিনা তা অপেক্ষা করার মতো কোনও বিষয় নেই ক্র্যাশ। আমি fsckটেরাবাইট ফাইল সিস্টেম করেছি । এটা বেশ ভয়ানক।
voretaq7

2

আমি মাল্টি-টিবি সার্ভারের জন্য জেডএফএস ব্যবহার করি এবং এটি বেশ শক্ত solid আমি ওপেন ইন্ডিয়ানা দিয়ে শুরু করতে ব্যবহার করেছি এবং এখন ফ্রিএনএএস এ চলেছি কারণ এটি আমার যা করা দরকার তা করে।

আমি এসএসএস প্রসারণকারীদের সাথে একটি এলএসআই এইচবিএ কার্ড (9211-8i একটি ভাল বেস কার্ড) ব্যবহার করার সুপারিশ করব (সুপার মাইক্রো কেসগুলি এলএসআই চিপসেটের উপর ভিত্তি করে অবিচ্ছেদ্য এসএএস এক্সপেন্ডারগুলির সাথে অর্ডার করা যেতে পারে)। এলএসআই ফার্মওয়্যারটি ফ্রিএনএএস এবং ফ্রিবিএসডি-তে সমর্থিত। উপযুক্ত সংস্করণগুলির জন্য পরীক্ষা করুন (ফ্রিবিএসডি ভি 9.x এ ভাল 16 ভাল)।

আপনার সিস্টেমে একবারে অনেকগুলি পড়ার জন্য রচনাটি দেওয়া হয়েছে, আমি একটি জেডএফএস জেড 2 টপোলজি ব্যবহার করব (এই আকারের ড্রাইভগুলি সহ RAID-5 এবং জেড 1 এড়িয়ে চলুন)। প্রদত্ত যে আপনি 4 টিবি ডিস্ক ব্যবহার করছেন, পুলটি পূর্ণ হলে একটি বৃহত একক ভিডিএভ অ্যারের পুনর্নির্মাণের (পুনর্নির্মাণকারী) সময়টি দীর্ঘ সময় হতে পারে। দীর্ঘ পুনর্নির্মাণ সময় এড়াতে, পুলটি তৈরি করতে 6 বা 10 এর গ্রুপে ভিডিএভগুলি সাজান (ফ্রিএনএএস ডকুমেন্টেশন থেকে প্রস্তাবনা)। তিনটি 6 ড্রাইভ ভিডিভস (4TB ড্রাইভ ধরে নেওয়া) দিয়ে তৈরি একটি পুলের ব্যবহারযোগ্য ক্ষমতা ~ 48TB হবে এবং এটি একটি ভাল স্তর ত্রুটি সহনশীলতার প্রস্তাব দেয় (মনে রাখবেন যে RAID ব্যাকআপগুলি প্রতিস্থাপন করে না তাই আপনাকে এখনও জিনিসগুলি ব্যাক আপ করতে হবে :))।

সাধারণত অ্যাক্সেস করা ফাইলগুলির জন্য জিনিসগুলিকে গতি বাড়ানোর জন্য, আপনি L2ARC এর জন্য কয়েকটি এসএসডি ফেলতে পারেন (সম্ভবত আপনার অ্যাপ্লিকেশনের প্রয়োজন নেই তবে তারা 120 জিএস এসএসডিগুলির জন্য বেশ সস্তা)।

এবং যেমনটি বলা হয়েছে, প্রচুর র‌্যাম ব্যবহার করুন। In৪ জিবি সিস্টেমের অন্যান্য হার্ডওয়্যারগুলির জন্য অতিরিক্ত ব্যয়বহুল নয়। দুর্ভাগ্যক্রমে, ছোট XEON 32GB এর বেশি ব্যবহার করতে পারে না। আপনি এটি চেষ্টা করে দেখতে পারেন তবে জেডএফএস সাহিত্যের অনুসারে আরও র‌্যাম ভাল হবে (আমি আপনার উল্লেখ করা এক্সইওএনটি 32 জিবি র‌্যাম এবং একটি 24 টিবি ধারণক্ষমতার জেড 2 অ্যারের সাথে ব্যবহার করি এবং এটি দুর্দান্ত কাজ করে)।

জেডএফএসের আর একটি সুবিধা হ'ল আপনি পর্যায়ক্রমিক স্ন্যাপশট সেটআপ করতে পারেন। এইভাবে, আপনি পূর্ববর্তী সংস্করণগুলি সহজেই পুনরুদ্ধার করতে পারেন এবং স্ন্যাপশটগুলি খুব স্পেস দক্ষ। তদতিরিক্ত, আপনি যে কোনও স্ন্যাপশটকে অন্য কোনও ডেটাসেটে (স্থানীয় বা দূরবর্তী) অনুলিপি করতে পারেন এবং এটি সুরক্ষার জন্য এসএসএইচে করা যেতে পারে।

আমি সত্যিই জেডএফএস সিস্টেমের নির্ভরযোগ্যতা পছন্দ করি। আমি এটি হার্ডওয়ার ইন্ডেপেন্ডেন্টের মতও পছন্দ করি !! ড্রাইভগুলি দেখতে পারে এমন কোনও সিস্টেম পুলটি আমদানি করতে পারে। হার্ডওয়ারের অভিযানের সাথে ঘটতে পারে এমন কোনও ফার্মওয়্যার নির্ভরতা ইত্যাদি নেই (ভাল কার্ডগুলির সাথে ইস্যু নয় তবে তারা এইচবিএ কার্ডের চেয়ে বেশি ব্যয়বহুল এবং চালকদের প্রয়োজন ইত্যাদি - অতীতে এটি কিছুটা হলেও হয়েছে)।

দেওয়া এই পোস্টটি পুরানো, আপনার সম্ভবত একটি সমাধান আছে। যদি তা হয় তবে আপনি কি তৈরি করেছেন তা আমাদের বলুন?

চিয়ার্স,

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.