লিনাক্স 256 গিগাবাইট মেমো / 48 কোর সহ - মেশিন ছড়িয়ে ছিটিয়ে শুরু করে / প্রচুর পরিমাণে স্মৃতি রেখে দেয় oking


12

মেশিন: ডেল আর 815, সেন্টস 5.4, 256 জিবি র‌্যাম, 4 এক্স 12 কোর।

আমাদের কাছে একটি অ্যাপ্লিকেশন রয়েছে যার একটি 275GB ফাইল রয়েছে। এটি একসাথে 20 গিগাবাইট ডেটাতে স্থান অনুসারে বাছাই করে ie অর্থাত্‍ এটি বিটগুলিকে অদলবদল করে এবং একই ফাইলগুলিতে প্রতিস্থাপন করে। এই সব কাজ করে।

একটি সর্বশেষ পাস রয়েছে যা পরে পুরো ফাইলটি পড়ে এবং বিভিন্ন 20 জিবি খণ্ডগুলিতে একীভূত বাছাই করে এবং তাদের সম্পূর্ণ নতুন ফাইলে আউটপুট করে।

এই প্রক্রিয়াটি কিছুক্ষণের জন্য ঠিকঠাক চলতে SEEMS করে এবং এটি প্রায় 50 গিগাবাইটের ডিস্কে ফ্লাশ করে শেষ হয়। এর কিছু পরে, পুরো মেশিনটি ফ্রিকে আউট করা শুরু করে।

সরল কমান্ড পছন্দ ps -ef, ls -al, একটি দীর্ঘ সময়ের জন্য স্তব্ধ এবং 100% সিপিইউ (যা শুধু একটা কোর) গ্রহণ হিসাবে প্রদর্শিত হয়।

স্মৃতিসংখ্যার পরিসংখ্যানগুলি topদেখে, আমি দেখতে পাচ্ছি এটি প্রায় 120 গিগাবাইট র‌্যাম ব্যবহার করছে (সুতরাং 128 গিগাবাইট ফ্রি) এবং "ক্যাশেড" বিভাগের অধীনে 120 জিবি রয়েছে।

এর আগে কেউ এরকম আচরণ দেখেছেন? একই প্রক্রিয়াটি 64 গিগাবাইট মেমরির সাথে একটি মেশিনে সূক্ষ্মভাবে চালিত হয় - তাই আমি কোনওভাবে মনে করি এটি মেশিনে থাকা র্যামের মাউন্টের সাথে সম্পর্কিত।

(যেমনটি আমরা কথা বলি, আমি এই মেশিনটিতে rule৪ জিবি ব্যতীত সমস্তটি দিয়ে পরীক্ষা চালিয়ে যাচ্ছি - একটি হার্ডওয়্যার সমস্যা থেকে বেরিয়ে আসার জন্য)।

আমি সম্ভবত কিছু ভিএম প্যারাম অনুপস্থিত /etc/sysctrl.conf?

ধন্যবাদ!


ডিস্কগুলি কী করছে .. আপনি কি অদলবলে যাচ্ছেন ????
অ্যারেনস্টার

Bit৪ বিটের কার্নেল / অ্যাপ / ইত্যাদি? আপনি 100% সিপিইউ উল্লেখ করেছেন, লোড গড়টি কখন ঘটে থাকে, এটি অ্যাপটি মাল্টিথ্রেডেড (এটি না হলে সমস্ত প্রসেসর ব্যবহার করবে না), ভিএমস্ট্যাট 4 আপনাকে কী বলেছে (io / cpu বিশেষত)
coredump

"পিএস" এর মতো এটি 100% সিপিইউ 4800% এর বাইরে (কারণ 48 টি কোর) - সুতরাং সম্ভবত আইও বা কোনও কিছু দ্বারা অবরুদ্ধ করা হয়েছে। বাক্সে লোড গড় শুধুমাত্র 5. মত ডিস্ক যা কঠিন অবস্থা লিখেছেন অনেকটা এইজন্য না হয় ... এটি একটি কার্নেল সংখ্যার বেশি সম্পদ মত মনে হয়
aspitzer

মেশিনটি মোটেই অদলবদল করছে না।
অ্যাস্পিটজার

1
হ্যাঁ .. এখন 64gb দিয়ে এটি চলমান। এটি মেশিনে
মেমের

উত্তর:


12

আপনার প্রশ্ন আমাকে সম্প্রতি পড়া কিছু মনে করিয়ে দিয়েছে:

http://jcole.us/blog/archives/2010/09/28/mysql-swap-insanity-and-the-numa-architecture/

এটি কীভাবে NUMA আর্কিটেকচার (যেমন আপনি একটি 48 মূল এএমডি সিস্টেম খুঁজে পেতে পারেন) মেমোরি বরাদ্দ এবং অদলবদলকে প্রভাবিত করে addresses আমি জানি না আপনি এটি যা করছেন তা কিন্তু এটি যথেষ্ট পরিমাণে সাদৃশ্যপূর্ণ যে এটি পড়ার পক্ষে মূল্যবান হতে পারে।

এমনকি যদি এটি উত্তর না হয় তবে এটি আকর্ষণীয় পড়ার জন্য তোলে।


1
এটি এই প্রশ্নের সমস্যার উপযুক্ত শট বলে মনে হচ্ছে। এবং এটি একটি দুর্দান্ত পড়া।
coredump

1
এটি একটি দুর্দান্ত পঠনযোগ্য এবং 4 টি সকেট, 256 জিবি র‌্যাম = 64 জিবি নোড এবং এটি মনে হচ্ছে যেখানে আপনার সমস্যা হচ্ছে যেখানে ডকুমেন্টের পরিস্থিতিটি হুবহু প্রতিবিম্বিত করে।
মার্ক হেন্ডারসন

12

সুতরাং এটি bit৪ বিট সেন্টোস ৫.৪ এবং ed৪ বিট ফেডোরা ১৪-এ কার্নেল বাগ হিসাবে উপস্থিত হয়েছিল I আমি Centos 5.5 ইনস্টল করার পরে সমস্যাটি চলে গেল।

দুঃখিত, আমার সবার কাছে এর চেয়ে উত্তম উত্তর আর নেই ...


1
আরে মানুষ, এটি যদি এটি স্থির করে, তবে এটিই এটি স্থির করেছিল। নিজেকে চেকমার্ক দিন, যাতে অন্য ব্যক্তিরা আপনার অসুবিধাগুলি থেকে শিখতে পারেন :-)
এমফিনি

0

আপনি /etc/sysctl.conf এ একটি লাইন যুক্ত করার চেষ্টা করতে পারেন যে সোয়াপটি কেবলমাত্র যখন প্রয়োজন তখনই ব্যবহার করতে হয়।

swappiness = 0

আপনি ইতিমধ্যে সচেতন থাকতে পারেন যে এই ফাইলটি বিশ্বব্যাপী সেটিংস সংজ্ঞায়িত করেছে, সুতরাং পরিবেশে চলমান বাকী অ্যাপ্লিকেশনগুলিতে এই পরিবর্তনটির কী প্রভাব পড়বে তা বিবেচনা করার প্রয়োজন রয়েছে।


এটি ইতিমধ্যে সেট করা আছে ... তবে যেমনটি আমি উল্লেখ করেছি যে 128 গিগাবাইট ফ্রি রয়েছে - সুতরাং এটি কোনও অদলবদরের বিষয়টিকে আঘাত করছে না।
অ্যাস্পিটজার

0

কোথায় আপনার অস্থায়ী জায়গা। প্রায়শই এটি টেম্পসগুলিতে থাকে। টেম্পফগুলি অদলবদল স্পেস দ্বারা ব্যাকআপ নেওয়া মেমরি থেকে এটি স্থান টেনে নেয়, সুতরাং আপনি যদি টেম্ফগুলিতে খুব বেশি স্টাফ নিয়ে শেষ করেন তবে এটি অদলবদল I / O কে ট্রিগার করবে।

আপনি যখন মার্জ করছেন সেই আকারের আকার দেওয়া আপনি চূড়ান্ত সংশ্লেষের সময় আমি অদলবদল আশা করব।

একাধিক ডিস্ক জুড়ে আপনার অদলবদল স্টোরেজ ছড়িয়ে দেওয়া সাহায্য করতে পারে।


0

আপনি যখন অদলবদল নাও করছেন, আপনি তখনও I / O সীমাবদ্ধ থাকতে পারেন। Ls তথ্য এটি পরামর্শ দেয়।

আমি dstat -dfডিস্কের পরিসংখ্যান প্রদর্শন করার আউটপুটটি দেখব বা dstat -af(হ্যাঁ, এটি একটি ব্যাজিলিয়ান কলাম প্রশস্ত হবে; আপনি যখন 48 টি কোর রাখেন এবং সেগুলিতে সিপিইউ ব্যবহার দেখান) এটিই ঘটে যদি আপনি সমস্ত দেখতে চান।

আমি অবাক হব যদি সমস্ত সিপিইউ ব্যস্ত থাকে (মার্জ বাছাই করা কোনও সিপিইউ নিবিড় কাজ নয়), তবে আপনি আপনার আই / ও সিস্টেম সম্পর্কে কিছুই বলেন না। আপনার যদি কয়েকটি ডিস্ক এবং একগুচ্ছ ফাইল থাকে তবে আপনি সংযুক্তি বাছাই করে রাখতে প্রতিটি ফাইলের জন্য ডিস্কের সাহায্যে চেষ্টা করতে পারেন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.