লিনাক্স আই / ও ডেটা-মুভারগুলির সাথে বাধা


8

আমার কাছে একটি 24 কোর মেশিন রয়েছে যার সাথে 94.6GiB র‌্যাম উবুন্টু সার্ভার 10.04 চলছে। বাক্সটি উচ্চতর% আইওয়েট অনুভব করছে, অন্য সার্ভারের থেকে ভিন্ন (4 টি কোর) আমরা একই ধরণের এবং পরিমাণে প্রক্রিয়া চালাচ্ছি। দুটি মেশিনই একটি ভিএনএক্স রাইড ফাইলসার্ভারের সাথে সংযুক্ত, 4 টি এফসি কার্ডের মাধ্যমে 24-কোর মেশিন এবং অন্যটি 2 গিগাবিট ইথারনেট কার্ডের মাধ্যমে। 4-কোর মেশিনটি বর্তমানে 24-কোর মেশিনকে ছাড়িয়ে যায়, এর সিপিইউ উচ্চতর ব্যবহার এবং কম% আইওয়েট রয়েছে।

9 দিনের আপটাইমে,% আইওয়েটের গড় গড় 16%, এবং নিয়মিত 30% এর উপরে। বেশিরভাগ সময় সিপিইউ ব্যবহার খুব কম, প্রায় 5% (উচ্চ আইওয়েটের কারণে)। পর্যাপ্ত ফ্রি মেমরি আছে।

একটি জিনিস যা আমি বুঝতে পারি না তা হ'ল কেন সমস্ত ডেটা সরাসরি ডেটা মুভারগুলির মাধ্যমে যাওয়ার পরিবর্তে ডিভাইস এসডিসি দিয়ে চলেছে:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           6.11    0.39    0.75   16.01    0.00   76.74

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               0.00         0.00         0.00       1232          0
sdb               0.00         0.00         0.00       2960          0
sdc               1.53        43.71        44.54   36726612   37425026
dm-0              0.43        27.69         0.32   23269498     268696
dm-1              1.00         1.86         7.74    1566234    6500432
dm-2              0.96         1.72         5.97    1442482    5014376
dm-3              0.49         9.57         0.18    8040490     153272
dm-4              0.00         0.00         0.00       1794         24
dm-5              0.00         0.00         0.00        296          0

ধাঁধার আর একটি অংশ হ'ল কাজগুলি ঘন ঘন নিরবচ্ছিন্ন স্লিপ মোডে চলে যায় (উপরে), সম্ভবত আইও হোল্ডআপের কারণেও।

সমস্যাটি সনাক্তকরণে আমি কী দেখতে পারি? সমস্ত ডেটা / dev / sdc এর মাধ্যমে কেন চলছে? এটা কি স্বাভাবিক?

হালনাগাদ:

নেটওয়ার্ক সংযোগ এবং ভিএনএক্স পঠন / লেখার ক্ষমতা বাধা হিসাবে অস্বীকার করা হয়েছে। আমরা 4 টি বন্ডেড এনআইসি (রাউন্ড-রবিন) দিয়ে 800MB / s গতিতে পৌঁছতে পারি। ফাইবার চ্যানেল কার্ডগুলি এখনও ব্যবহৃত হচ্ছে না। ভিএনএক্স আইও (RAID6, 30x2TB 7.2kRPM ডিস্ক দুটি পুলের (60 টি ডিস্ক মোট), প্রায় 60% রিড) ভালভাবে পরিচালনা করতে সক্ষম।

Dm এবং sdc সম্পর্কে উপরে উপেক্ষা করুন, এগুলি সমস্ত অভ্যন্তরীণ ডিস্ক, এবং সমস্যার অংশ নয়।

আমরা মনে করি সমস্যাটি এনএফএস মাউন্টগুলি বা টিসিপি (ভিএনএক্সের 5 টি মাউন্ট থেকে 5 টি পার্টিশন রয়েছে) নিয়ে থাকতে পারে, তবে ঠিক কী জানেন না। কোন পরামর্শ?


একটি ছোট পয়েন্ট: এই প্রসঙ্গে, dmডিভাইস ম্যাপারকে বোঝায়, ডেটা মুভার নয়। এই প্রশ্নটি সম্ভবত সার্ভার ফল্টে আরও অনেক ভাল করবে।
মাইকেল হ্যাম্পটন 22

আপনি কি এনএফএসভি 4 বা এনএফএসভি 3 ব্যবহার করছেন? আপনার আইওয়েট কি কেবল এনএফএস সংযোগে রয়েছে, বা ডিস্কের গতি পরীক্ষা করার জন্য ডিডি চালানোর সময় আপনি এটি পেয়েছেন (ধরে নিচ্ছেন আপনি এটি করেছেন)? যদি আপনার ওয়েটিংটি এনএফএসে থাকে এবং আপনি ভি 4 ব্যবহার করেন তবে ভি 3 ব্যবহার করে দেখুন। এনএফএসভি 4 এর উচ্চ লোডগুলিতে কিছু চমত্কার এলোমেলো আচরণ রয়েছে এবং আমাদের নেটওয়ার্ক জুড়ে আমরা সম্প্রতি এটি অক্ষম করতে হয়েছিল।
এরিক অ্যারোনস্টি

উত্তর:


6

সবার আগে যদি আপনার সিপিইউগুলি (এবং অভিশাপ! এটি প্রচুর 24) ডেটা সঞ্চয়স্থান সরবরাহ করতে পারে তার চেয়ে দ্রুত ডেটা খায়, তবে আপনি আইওয়েট পাবেন get কর্নেল যখন একটি ব্লকিং আইওয়ের সময় কোনও প্রক্রিয়া থামায় (এমন একটি পাঠ যা খুব ধীর হয়ে আসে বা একটি সিঙ্ক লেখায়) That's
সুতরাং পরীক্ষা করুন যে স্টোরেজটি 24 কোরের জন্য পর্যাপ্ত থ্রুপুট সরবরাহ করতে পারে।

উদাহরণস্বরূপ, ধরে নেওয়া যাক আপনার স্টোরেজ 500MB / s থ্রুপুট সরবরাহ করতে পারে যে আপনি 2 গিগাবিট ইথারনেট লাইন (বন্ড) এর মাধ্যমে সংযুক্ত আছেন, নেটওয়ার্ক ইতিমধ্যে 100-180 এমবি / সেকেন্ডের মধ্যে সর্বাধিক থ্রুটপুট সীমাবদ্ধ করবে। যদি আপনার প্রক্রিয়াটি 50 এমবি / সেকেন্ডের গতিতে ডেটা খায় এবং আপনি আপনার 4 টি মেশিনে 4 টি থ্রেড চালান: 4 x 50 এমবি / এস = 200 এমবি / সেবন করা। নেটওয়ার্কটি যদি 180MB / গুলি টিকিয়ে রাখতে পারে তবে আপনার বেশি বিলম্ব হবে না এবং আপনার সিপিইউগুলি লোড হবে। এখানে নেটওয়ার্ক একটি ছোট বাধা bottle
এখন আপনি যদি এটি 24 টি কোর এবং 24 থ্রেড পর্যন্ত স্কেল করেন তবে আপনার 1200 এমবি / গুলি প্রয়োজন হবে, এমনকি যদি আপনি তার মাধ্যমে এই ধরণের মাধ্যমে আউটপুট দেওয়ার অনুমতি দেয় তবে আপনার স্টোরেজ সিস্টেমটি 500 এমবি / সেকেন্ডের বেশি সরবরাহ করে না, এটি একটি বাধা হয়ে দাঁড়ায়।

আইও অপেক্ষা করার সময়, বাধা সব জায়গাতেই থাকতে পারে। কেবল দৈহিক স্তরগুলিতেই নয়, সফ্টওয়্যার এবং কার্নেল স্পেস বাফারগুলিতেও। এটি সত্যই ব্যবহারের ধরণগুলির উপর নির্ভর করে। সফ্টওয়্যার বাধা বিপণনগুলি সনাক্ত করা খুব শক্ত, তাই সফ্টওয়্যার স্ট্যাকগুলি তদন্ত করার আগে সাধারণত হার্ডওয়্যারটিতে তাত্ত্বিক থ্রুপুট পরীক্ষা করা পছন্দনীয়।

যেমনটি বলা হয়েছে, যখন কোনও প্রক্রিয়া একটি পঠন তৈরি করে এবং ডেটা পৌঁছাতে সময় লাগে, বা যখন এটি একটি সিঙ্ক লেখায় তৈরি হয় এবং ডেটা সংশোধন স্বীকৃতি তার সময় নেয় তখন একটি আইওয়েট হয়। একটি সিঙ্ক লেখার সময়, প্রক্রিয়া নিরবচ্ছিন্ন ঘুম প্রবেশ করে যাতে ডেটা ক্ষতিগ্রস্থ না হয়। সেখানে দেখতে যা কল একটি প্রক্রিয়া স্তব্ধ করে তোলে এক কুশলী টুল: latencytop। এটি কেবল তার ধরণের একমাত্র নয়, তবে আপনি এটি ব্যবহার করে দেখতে পারেন।

দ্রষ্টব্য: আপনার তথ্যের জন্য, ডিএম ডিভাইস ম্যাপারকে বোঝায় যা ডেটা মুভার নয়।


1
আমি সম্পূর্ণরূপে সম্মত (এবং এটি কম ভাল বোঝা যাচ্ছে) যে কোনও সিস্টেম / সমাধানের সংস্থানকে ভারসাম্যপূর্ণ রাখা গুরুত্বপূর্ণ। তবে আমি এটিও উল্লেখ করতে চাই যে আইওওয়েট উচ্চতর হারের এলোমেলো আইওটির কারণেও ঘটতে পারে (এটি এমন এক প্রক্রিয়া যা প্রচুর সিক্স বা তাদের ডেটা চাওয়ার দাবিতে প্রচুর প্রক্রিয়া করে)। এক্ষেত্রে আইওউইট আইও ব্যান্ডউইথ ছাড়া সমস্যার কারণ হতে পারে না without
ম্যাথু ইফেই

@ মিফ আপনি এই সম্পর্কে পুরোপুরি ঠিক বলেছেন। আমি যখন এই সফ্টওয়্যার স্তরটি পরিদর্শন করার দিকে ইঙ্গিত করেছি তখন আমি এই দিকটি উল্লেখ করাও শুরু করেছিলাম। যদি পাইপটি হার্ডওয়্যার স্টোরেজ এবং হার্ডওয়্যার প্রক্রিয়াগুলির মধ্যে পর্যাপ্ত পরিমাণে থাকে তবে টিসিপি বাফারগুলি (কার্নেল স্পেসে উদাহরণস্বরূপ) একসাথে ডেটাতে এলোমেলো অ্যাক্সেস (ব্যবহারকারীর জায়গার উদাহরণ) পর্যন্ত সফ্টওয়্যার স্ট্যাকের মধ্যে সমস্যাটি রয়েছে lies এবং এটি সনাক্ত করা আরও শক্ত।
হিউজেনস

5

প্রথমত, পবিত্র নরক যে প্রচুর আয়রন! :)

দুর্ভাগ্যক্রমে যেহেতু আপনার সেটআপটি খুব জটিল শোনায়, তাই আমি মনে করি না যে কেউ সরাসরি "সরাসরি আপনার সমস্যা আছে!" সরবরাহ করতে সক্ষম হবে! উত্তর, যদি না তারা একটি অত্যন্ত অনুরূপ বা অভিন্ন সেটআপ দিয়ে কিছু করে এবং একই সমস্যার মুখোমুখি হয়। সুতরাং, যখন এই পাঠ্যটিকে এসইউ দ্বারা "উত্তর" হিসাবে লেবেল করা হয়েছে, আপনার সম্ভবত এটি "পরামর্শ" এর মতো আরও বিবেচনা করা উচিত। এবং আমি এটি মন্তব্যগুলিতে রাখতে পারি না কারণ এটি অনেক বেশি শব্দ। : এস

আপনার হার্ডওয়্যারটি কীভাবে ডিভাইসগুলিতে ম্যাপ করা হয় তা অজানা, I / O কেন অন্য জায়গায় চলেছে না তা বলা শক্ত say আপনার কীভাবে ডিভাইসগুলি মাউন্ট করা আছে? আপনার প্রোগ্রামগুলি sd*সরাসরি ডিভাইসগুলিতে অ্যাক্সেস করছে , বা আপনার dmসমস্ত ফাইল সিস্টেমগুলি ডিভাইসে মাউন্ট করা আছে এবং সমস্ত ফাইল অ্যাক্সেসগুলি সেখান থেকেই ঘটে?

অন্যান্য বিষয়াদি সম্পর্কে আমাকে জিজ্ঞাসা করতে হবে:

  • এটি কোন ধরণের রেড? আপনি যদি RAID5 বা RAID6 এর সাথে প্যারিটি বিট গণনা করে থাকেন তবে আশা করা যায় যে এটি রাইড সার্ভার হার্ডওয়্যার দ্বারা যত্ন নেওয়া হয়েছে ... যদি তা না হয় তবে প্রসেসিং সার্ভারগুলি সেগুলি করছে .... যা সাবঅপটিমাল এবং আই / ও লেটেন্সি হতে পারে সফ্টওয়্যার মধ্যে সম্পন্ন।

  • আপনি আপনার বার্তায় দুটি সার্ভারের মধ্যে প্রধান পার্থক্যগুলির মধ্যে একটি আলাদা করে রেখেছেন। একটি ফাইবার চ্যানেল ব্যবহার করছে এবং অন্যটি ইথারনেট ব্যবহার করছে। ফাইবার চ্যানেলটি আরও ভাল ল্যাটেন্সি এবং ব্যান্ডউইদথ সরবরাহ করা উচিত , তবে এটিও একটি সমস্যা: এটি যদি প্রচুর পরিমাণ থ্রুপুট সরবরাহ করে, এটি RAID সার্ভারকে নিজেই খুব ব্যস্ত করে তুলতে পারে ... এবং যানজট বাফার / ক্যাশেগুলি পূরণ করে, যা বিলম্বিতা বাড়ে যা উচ্চতর আই / ও অপেক্ষা করে।

এটি প্রায় যেন আপনার ডিস্ক অ্যারেতে বাফার ব্লাটের সমস্যা হতে পারে - আপনি কি জানেন? হার্ডওয়্যার র‌্যাড কন্ট্রোলারদের সাধারণত অন-বোর্ড ক্যাশে প্রচুর পরিমাণে থাকে, তাই না? মিডিয়াতে আই / ও সারিবদ্ধ হয়ে যাওয়ার সাথে সাথে ক্যাচগুলি নোংরা পৃষ্ঠাগুলিতে পূর্ণ হয়ে যায়, শেষ পর্যন্ত পুরো জিনিসটি স্যাচুরেটেড হয় (যদি যান্ত্রিক স্টোরেজটি বোঝাটি ধরে রাখতে না পারে) এবং ছাদে বিলম্বিত পাল ... অবশ্যই আপনি ৪ টি কোর + জিবিইর চেয়ে 24 টি + কোরিয়ার সাথে আরও বেশি লোড উত্পাদন করতে পারবেন :) রেড সার্ভারটি পরীক্ষা করুন এবং দেখুন ডিস্কগুলি কতটা ব্যস্ত ... অনেকগুলি "আই / ও" কেবলমাত্র নিয়ন্ত্রণ প্যাকেট ইত্যাদি হতে পারে I 'এফসি কীভাবে কাজ করে তা নিশ্চিত নই তবে এটি যদি টিসিপির মতো কিছু হয় তবে বিলম্বগুলি বেশি হলে আপনি পুনঃস্থাপন দেখতে যাবেন।

আপনি যদি কাউকে ফোনে একটি প্রশ্ন জিজ্ঞাসা করেন এবং তারা কয়েক সেকেন্ডের জন্য উত্তর না দেয়, আপনি "হ্যালো?" - নেটওয়ার্কিং প্রোটোকল (এবং এফসি হ'ল একটি নেটওয়ার্কিং প্রোটোকল) কেবল একটি সংক্ষিপ্ত টাইমস্কেলে একই কাজ করুন। তবে অবশ্যই সেই অতিরিক্ত "হ্যালো?" নেটওয়ার্কিংয়ের প্রসঙ্গে ব্যয়বহুল কারণ এটি ইতিমধ্যে ভিড়যুক্ত পাইপে আরও বেশি ডেটা যুক্ত করে।

সমাপ্তিতে, একটি সাধারণ টিপ:

ডিবাগ করার সময় বিলম্ব / আইও অপেক্ষা করে / থ্রুপুট ইস্যু করে, সর্বদা পরিমাপ করে । সর্বত্র পরিমাপ করুন। তারে পরিমাপ করুন, প্রোগ্রামগুলি নিজেরাই কী করছে তা পরিমাপ করুন, প্রসেসিংয়ের শেষে পরিমাপ করুন, RAID সার্ভারের উপর পরিমাপ করুন etc. এটিকে কেবল একটি দৃষ্টিকোণ থেকে দেখবেন না - সিস্টেমের প্রতিটি পৃথক উপাদান বিবেচনা করার চেষ্টা করুন পাইপলাইনে ডেটা প্রক্রিয়াকরণ, পড়া বা লেখার জন্য দায়বদ্ধ। একটি লেনদেন বা একটি পৃথক কাজের ইউনিট আলাদা করে নিন এবং আপনার হার্ডওয়ারের মধ্য দিয়ে ঠিক যে পথটি নিয়ে যায় তা বিচ্ছিন্ন করে নিন এবং প্রতিটি স্বতন্ত্র উপাদানটি পরিমাপ করুন যেখানে বাধা বা জায়গা রয়েছে যেখানে অযৌক্তিকভাবে বিলম্ব রয়েছে কিনা ইত্যাদি etc. আমার এক বন্ধু এইটিকে "ছুলা" বলে পেঁয়াজ ফিরে ", এবং আমি এই বাক্যাংশটি তখন থেকেই ডেটা ফ্লো ডিবাগিংয়ের কাজটি বোঝাতে ব্যবহার করেছি।


2

একটি ছোট সংযোজন। আপনি এই ক্ষেত্রে আপনার ব্লক-স্তরের টিউনিং এবং I / O শিডিয়ুলারগুলি দেখতে চাইতে পারেন। আমি উবুন্টুর সাথে তেমন পরিচিত নই, তবে টুইট করার জন্য প্রচুর পরিমাণে স্টোরেজ পারফরম্যান্স নকব রয়েছে ob এটি স্পষ্টতই SAN স্টোরেজ এবং ডাটাবেসের ক্ষেত্রে প্রযোজ্য।

  • কটাক্ষপাত সিস্টেম ইনপুট / আউটপুট নির্ধারণকারীCFQ ডিফল্ট, কিন্তু noop এবং নির্দিষ্ট সময়সীমা ডাটাবেসের চাপ জন্য সাধারণ পছন্দ নয়।
  • কিছু অন্যান্য টিউনিং প্যারামিটারগুলির জন্য এই লিঙ্কটি দেখুন যা সহায়তা করতে পারে।
  • আপনি এনএফএস এবং ব্লক স্টোরেজ উল্লেখ করেছেন। যদি ব্লক হয় তবে কোন ফাইল সিস্টেম ব্যবহার করছে? আই / ও অপেক্ষার শব্দগুলি এখান থেকে রাইটিং-ব্লক করা পরিস্থিতির মতো মনে হচ্ছে। লেখার-বাধাগুলি কি সক্ষম? এর সাথে আপনার ফাইল সিস্টেমগুলি পুনঃনির্মাণ করুন nobarrier। ( উবুন্টুর ইঙ্গিত )

কিছু প্রাসঙ্গিক সার্ভার ফল্ট লিঙ্ক ...

লিনাক্স - রিয়েল-ওয়ার্ল্ড হার্ডওয়্যার RAID কন্ট্রোলার টিউনিং (scsi এবং cciss)


1

ধারণা এবং ইনপুট জন্য সকলকে ধন্যবাদ। সমস্যাটি নন-অনুকূল ইথারনেট বন্ধন কনফিগারেশনের সংমিশ্রণের সাথে সম্পর্কিত ছিল, ভিএনএক্সের নিজেই একটি ত্রুটিযুক্ত I / O মডিউলটির সাথে। I / O হারটি এখন আমরা এটি যেখানে আশা করব কাছাকাছি। এটি লক্ষণীয় যে আকর্ষণীয় যে ডিডি ফাইল রাইটিং এবং পড়ার পরীক্ষা এবং আইওজোন বেঞ্চমার্কগুলি এটি সনাক্ত করতে সক্ষম হয় নি এবং প্রত্যাশার চেয়ে দ্রুত পড়তে এবং লিখতে পারে।


EMC আপনাকে সেই উপকরণে পৌঁছতে সহায়তা করার জন্য সমর্থন / বিশ্লেষণ সরবরাহ করেছিল?
ইয়েভাইট

হ্যাঁ. (আরও অক্ষর)
বেনিয়ামিন

0

আমি শীঘ্রই পর্যাপ্ত পরিমাণে আরও তথ্য দিয়ে সম্পাদনা করব, তবে প্রথমে আমি বলতে চাই যে আপনি আইওস্যাটের ডিএম- * আউটপুট আপনাকে বিভ্রান্ত করতে দেবেন না। ডিভাইস-ম্যাপার হ'ল এমডি * (এমডি0, এমডি 1, ইত্যাদি) এর মতো একটি কার্নেল পাস্ত্র্রু ডিভাইস যাতে আপনি কেবলমাত্র আপনার অন্তর্নিহিত ডিভাইসগুলির যত্ন নেন। আপনার ডিস্কগুলিতে যাওয়ার সমস্ত ডেটা পথে dm / md কেটে যায় এবং আসল মোট (বাইটস, সেকেন্ড ইত্যাদি) সঠিক, তবে ব্যবহারটি বিভ্রান্তিকর।

এছাড়াও, এটি একটি খুব বড় পরিমাণে স্মৃতি। মজার বিষয়গুলি উচ্চতর হতে শুরু করে (আমি নিজেই 2x64s এবং 2x96s চালাই) বিশেষত যদি আপনার একটি প্রক্রিয়া রামের অর্ধেকেরও বেশি গ্রহণ করে থাকে। আরও তথ্যের জন্য এই নিবন্ধটি পড়ুন । নিবন্ধটি মাইএসকিএল-র উল্লেখ করেছে তবে দয়া করে নোট করুন যে এটি নেইmysql নির্দিষ্ট। প্রতিটি সফ্টওয়্যার প্রক্রিয়া অন্য শারীরিক প্রসেসরের অ্যাক্সেস মেমোরির জন্য জরিমানা বহন করবে - মনে করুন 48 জিবি একটি প্রোকের, 48 এর থেকে অন্যের জন্য। প্রক্রিয়াটি কেবলমাত্র একটি প্রকল্পের অন্তর্ভুক্ত এবং অন্য প্রক্সের মেমোরিতে পৌঁছানোর জন্য (এটির নিজস্ব 48 গিগাবাইট ফুরিয়ে যাওয়ার পরে) অবশ্যই এটির কোনওটি 48 টি স্যুপের মধ্যে সঞ্চয় করতে হবে বা তার কাছ থেকে এবং পেতে প্রচুর মূল্য দিতে হবে অন্য প্রকল্পের স্মৃতি। নিবন্ধটি সফ্টওয়্যারটিকে অদলবদল না করে এবং তার পরিবর্তে জরিমানা দিতে বাধ্য করতে একটি নুম্যাক্টল কমান্ড চালানোর পরামর্শ দেয়। আমি ব্যক্তিগতভাবে এ থেকে ব্যাপক উন্নতি দেখতে পেয়েছি। অন্য কথায় - আপনার কিছু I / O অদলবদল করছে কিনা তা পরীক্ষা করে দেখুন! এর জন্য ফ্রি-এম (বা অনুরূপ) ব্যবহার করুন। আপনার যদি প্রচুর পরিমাণে ফ্রি মেমরি থাকে তবে কিছু তুচ্ছ পরিমাণের অদলবদল (10% প্লাস বলুন), এটি খুব ভাল আপনার সমস্যা হতে পারে।


0

স্টোরেজ দৃষ্টিকোণ থেকে এটি তাকান, আপনার কাছে স্কি লেটেন্সি পরিমাপ করার কোনও উপায় আছে? ওএস আইও অপেক্ষার সময় স্টোরেজ নিয়ন্ত্রণের বাইরে বেশ কিছু জিনিস অন্তর্ভুক্ত করে, তবে যখন আমি আমার স্টোরেজ বাক্সে যাই এবং 2 মিমি আইওর সূত্রপাত দেখি, তখন আমি জানি যে সার্ভার অভ্যন্তরীণভাবে যা পাচ্ছে তা নির্বিশেষে, স্ক্সি কমান্ডগুলি সাড়া দিচ্ছে দ্রুত, এবং আমি একটি পরিবর্তনশীল হিসাবে স্টোরেজ মুছে ফেলতে পারি।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.