আবাসিক সেট আকার / ভার্চুয়াল আকার সম্পর্কে ব্যাখ্যা প্রয়োজন


61

আমি খুঁজে পেয়েছি যে pidstatপ্রক্রিয়া নিরীক্ষণের জন্য একটি ভাল হাতিয়ার হবে। আমি একটি নির্দিষ্ট প্রক্রিয়ার গড় মেমরির ব্যবহার গণনা করতে চাই। এখানে কিছু উদাহরণ আউটপুট:

02:34:36 PM       PID  minflt/s  majflt/s     VSZ    RSS   %MEM  Command
02:34:37 PM      7276      2.00      0.00  349212 210176   7.14  scalpel

(এটি থেকে আউটপুট অংশ pidstat -r -p 7276।)

গড় মেমরির খরচ কমাতে আমার কি রেসিডেন্ট সেট সাইজ (আরএসএস) বা ভার্চুয়াল সাইজ (ভিএসজেড) তথ্য ব্যবহার করা উচিত? আমি উইকিপিডিয়া এবং ফোরামে কয়েকটি জিনিস পড়েছি তবে আমি পার্থক্যগুলি সম্পূর্ণরূপে বুঝতে নিশ্চিত নই। এছাড়াও, মনে হয় যে এগুলির কোনওটিই নির্ভরযোগ্য নয়। সুতরাং, আমি কীভাবে কোনও প্রক্রিয়াটির মেমরির ব্যবহার পেতে নিরীক্ষণ করব?

এই বিষয়ে যে কোনও সহায়তা কার্যকর হবে।



উত্তর:


63

আরএসএস হ'ল এই প্রক্রিয়াটি বর্তমানে মূল মেমোরিতে (র‌্যাম) কতটা স্মৃতি রয়েছে। প্রক্রিয়াটি মোট কতটা ভার্চুয়াল মেমরির তা ভিএসজেড। এতে র‌্যামে এবং অদলবদল হওয়া উভয় ধরণের মেমরি রয়েছে। এই সংখ্যাগুলি স্কিউড হতে পারে কারণ এগুলিতে ভাগ করে নেওয়া লাইব্রেরি এবং অন্যান্য ধরণের মেমরি রয়েছে। আপনার bashদৌড়ের পাঁচ শতাধিক দৃষ্টান্ত থাকতে পারে এবং তাদের মেমরির পদচিহ্নগুলির মোট আকারটি তাদের আরএসএস বা ভিএসজেড মানগুলির যোগফল হবে না।

কোনও প্রক্রিয়াটির মেমরির পদচিহ্ন সম্পর্কে আপনাকে আরও বিশদ ধারণা পেতে হলে আপনার কাছে কিছু বিকল্প রয়েছে। আপনি পছন্দ করেন না /proc/$PID/mapএমন জিনিসগুলি দিয়ে আগাছা ফেলে দিতে পারেন। যদি এটি ভাগ করে নেওয়া লাইব্রেরি হয় তবে আপনার প্রয়োজনীয়তার উপর ভিত্তি করে গণনা জটিল হয়ে উঠতে পারে (যা আমি মনে করি মনে করি)।

যদি আপনি কেবল প্রক্রিয়াটির হিপ আকারের বিষয়ে চিন্তা করেন তবে আপনি সর্বদা ফাইলের [heap]এন্ট্রিটিকে বিশ্লেষণ করতে পারেন map। প্রক্রিয়া হ্যাপের জন্য কার্নেল যে পরিমাণ বরাদ্দ করেছে তা প্রক্রিয়াটি বরাদ্দ করতে বলেছে এমন সঠিক সংখ্যা বা প্রতিফলিত করতে পারে না । এখানে মিনিট বিশদ, কার্নেল ইন্টার্নাল এবং অপ্টিমাইজেশন রয়েছে যা এটিকে ফেলে দিতে পারে। একটি আদর্শ বিশ্বে এটি আপনার প্রক্রিয়াটির যতটা প্রয়োজন ঠিক ততই হবে, এটি সিস্টেম পৃষ্ঠার আকারের নিকটতম একাধিক পর্যন্ত গোল হয় ( getconf PAGESIZEএটি আপনাকে কী তা বলে দেবে - পিসিগুলিতে এটি সম্ভবত 4,096 বাইট)।

যদি আপনি দেখতে চান যে কোনও প্রক্রিয়াটি কতটা মেমোরি বরাদ্দ করেছে , তার সেরা উপায়গুলির মধ্যে একটি হ'ল কার্নেল-সাইড মেট্রিক্স ত্যাগ করা। পরিবর্তে, আপনি উপকরণ সি লাইব্রেরির গাদা মেমরি (ডি) এর সাথে বরাদ্দ ফাংশন LD_PRELOADপ্রক্রিয়া। ব্যক্তিগতভাবে, আমি valgrindএই ধরণের জিনিস সম্পর্কে তথ্য পেতে সামান্য অপব্যবহার করি । (দ্রষ্টব্য যে উপকরণ প্রয়োগের জন্য প্রক্রিয়াটি পুনরায় আরম্ভ করা প্রয়োজন))

দয়া করে নোট করুন, যেহেতু আপনি রানটাইমগুলিও বেনমার্কিং করতে পারেন, এটি valgrindআপনার প্রোগ্রামগুলিকে খুব সামান্য করে তুলবে (তবে সম্ভবত আপনার সহনশীলতার মধ্যে)।


অনেক ধন্যবাদ! আমি বিভিন্ন বিকল্প তদন্ত করতে যাচ্ছি। আপনি সাহায্য চেয়ে বেশি হয়েছে! :)
Flanfl

"আপনার কাছে বাশ চলমান পাঁচশো উদাহরণ থাকতে পারে এবং তাদের মেমরির পদচিহ্নগুলির মোট আকার তাদের আরএসএস বা ভিএসজেড মানগুলির যোগফল হবে না।" তবে তাদের আরএসএসের মানগুলির যোগফলটি কি ভাল আনুমানিক হতে পারে? স্ট্যাটামের আবাসিক কলামের যোগফলের মতো, আমার কাছে একটি নির্ভরযোগ্য নির্ভুল মানের দরকার নেই, তবে আমার জাভা প্রক্রিয়াগুলি কতটা স্মৃতি ব্যবহার করছে তা উচ্চ স্তরের জানতে হবে
iloveretards

3
উবুন্টুতে এটি /proc/$PID/mapsটাইপো বা ডিস্ট্রো পার্থক্য?
ডোলজেঙ্কো

1

ন্যূনতম চলমান উদাহরণ

এটি বোঝার জন্য, আপনাকে পেজিংয়ের মূল বিষয়গুলি বুঝতে হবে: https://stackoverflow.com/questions/18431261/how-does-x86-paging-work এবং বিশেষত ওএস পৃষ্ঠা সারণী / এর মাধ্যমে ভার্চুয়াল মেমরির বরাদ্দ করতে পারে এর অভ্যন্তরীণ মেমরি বই রাখার (ভিএসজেড ভার্চুয়াল মেমরি) এর আগে আসলে র‌্যাম বা ডিস্কে আরএসএসের বাসিন্দার মেমরির ব্যাকিং স্টোরেজ রয়েছে।

এখন এটি কার্যকরভাবে পর্যবেক্ষণ করতে, আসুন একটি প্রোগ্রাম তৈরি করুন যা:

  • আমাদের শারীরিক মেমরির চেয়ে আরও বেশি র‌্যাম বরাদ্দ করে mmap
  • এই পৃষ্ঠাগুলির প্রতিটি ভার্চুয়াল কেবল মেমরি আরএসএস এবং ভিএসজেড থেকে চলেছে তা নিশ্চিত করতে প্রতিটি পৃষ্ঠায় একটি বাইট লিখেছেন
  • উল্লিখিত একটি পদ্ধতির সাথে প্রক্রিয়াটির মেমরির ব্যবহার পরীক্ষা করে: https://stackoverflow.com/questions/1558402/memory-usage-of-current-process-in-c

main.c

#define _GNU_SOURCE
#include <assert.h>
#include <inttypes.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>
#include <unistd.h>

typedef struct {
    unsigned long size,resident,share,text,lib,data,dt;
} ProcStatm;

/* https://stackoverflow.com/questions/1558402/memory-usage-of-current-process-in-c/7212248#7212248 */
void ProcStat_init(ProcStatm *result) {
    const char* statm_path = "/proc/self/statm";
    FILE *f = fopen(statm_path, "r");
    if(!f) {
        perror(statm_path);
        abort();
    }
    if(7 != fscanf(
        f,
        "%lu %lu %lu %lu %lu %lu %lu",
        &(result->size),
        &(result->resident),
        &(result->share),
        &(result->text),
        &(result->lib),
        &(result->data),
        &(result->dt)
    )) {
        perror(statm_path);
        abort();
    }
    fclose(f);
}

int main(int argc, char **argv) {
    ProcStatm proc_statm;
    char *base, *p;
    char system_cmd[1024];
    long page_size;
    size_t i, nbytes, print_interval, bytes_since_last_print;
    int snprintf_return;

    /* Decide how many ints to allocate. */
    if (argc < 2) {
        nbytes = 0x10000;
    } else {
        nbytes = strtoull(argv[1], NULL, 0);
    }
    if (argc < 3) {
        print_interval = 0x1000;
    } else {
        print_interval = strtoull(argv[2], NULL, 0);
    }
    page_size = sysconf(_SC_PAGESIZE);

    /* Allocate the memory. */
    base = mmap(
        NULL,
        nbytes,
        PROT_READ | PROT_WRITE,
        MAP_SHARED | MAP_ANONYMOUS,
        -1,
        0
    );
    if (base == MAP_FAILED) {
        perror("mmap");
        exit(EXIT_FAILURE);
    }

    /* Write to all the allocated pages. */
    i = 0;
    p = base;
    bytes_since_last_print = 0;
    /* Produce the ps command that lists only our VSZ and RSS. */
    snprintf_return = snprintf(
        system_cmd,
        sizeof(system_cmd),
        "ps -o pid,vsz,rss | awk '{if (NR == 1 || $1 == \"%ju\") print}'",
        (uintmax_t)getpid()
    );
    assert(snprintf_return >= 0);
    assert((size_t)snprintf_return < sizeof(system_cmd));
    bytes_since_last_print = print_interval;
    do {
        /* Modify a byte in the page. */
        *p = i;
        p += page_size;
        bytes_since_last_print += page_size;
        /* Print process memory usage every print_interval bytes.
         * We count memory using a few techniques from:
         * https://stackoverflow.com/questions/1558402/memory-usage-of-current-process-in-c */
        if (bytes_since_last_print > print_interval) {
            bytes_since_last_print -= print_interval;
            printf("extra_memory_committed %lu KiB\n", (i * page_size) / 1024);
            ProcStat_init(&proc_statm);
            /* Check /proc/self/statm */
            printf(
                "/proc/self/statm size resident %lu %lu KiB\n",
                (proc_statm.size * page_size) / 1024,
                (proc_statm.resident * page_size) / 1024
            );
            /* Check ps. */
            puts(system_cmd);
            system(system_cmd);
            puts("");
        }
        i++;
    } while (p < base + nbytes);

    /* Cleanup. */
    munmap(base, nbytes);
    return EXIT_SUCCESS;
}

গিটহাব উজানের দিকে

সংকলন এবং চালান:

gcc -ggdb3 -O0 -std=c99 -Wall -Wextra -pedantic -o main.out main.c
echo 1 | sudo tee /proc/sys/vm/overcommit_memory
sudo dmesg -c
./main.out 0x1000000000 0x200000000
echo $?
sudo dmesg

কোথায়:

  • 0x1000000000 == 64GiB: 2x আমার কম্পিউটারের 32GiB এর দৈহিক র‌্যাম
  • 0x200000000 == 8GiB: প্রতি 8GiB মেমরিটি মুদ্রণ করুন, সুতরাং 32GiB- এ ক্র্যাশ হওয়ার আগে আমাদের 4 টি প্রিন্ট পাওয়া উচিত
  • echo 1 | sudo tee /proc/sys/vm/overcommit_memory: লিনাক্সের জন্য আমাদের দৈহিক র্যামের চেয়ে বড় একটি এমএমএপ কল করার অনুমতি দেওয়ার জন্য প্রয়োজনীয়: https://stackoverflow.com

প্রোগ্রাম আউটপুট:

extra_memory_committed 0 KiB
/proc/self/statm size resident 67111332 768 KiB
ps -o pid,vsz,rss | awk '{if (NR == 1 || $1 == "29827") print}'
  PID    VSZ   RSS
29827 67111332 1648

extra_memory_committed 8388608 KiB
/proc/self/statm size resident 67111332 8390244 KiB
ps -o pid,vsz,rss | awk '{if (NR == 1 || $1 == "29827") print}'
  PID    VSZ   RSS
29827 67111332 8390256

extra_memory_committed 16777216 KiB
/proc/self/statm size resident 67111332 16778852 KiB
ps -o pid,vsz,rss | awk '{if (NR == 1 || $1 == "29827") print}'
  PID    VSZ   RSS
29827 67111332 16778864

extra_memory_committed 25165824 KiB
/proc/self/statm size resident 67111332 25167460 KiB
ps -o pid,vsz,rss | awk '{if (NR == 1 || $1 == "29827") print}'
  PID    VSZ   RSS
29827 67111332 25167472

Killed

প্রস্থান স্থিতি:

137

যার 128 + সিগন্যাল নম্বর বিধি অনুসারে আমরা সংকেত নম্বর পেয়েছি 9, যার man 7 signalমতে সিগ্কিল , যা লিনাক্স মেমরির বহির্মুখী কিলার দ্বারা প্রেরণ করা হয়েছিল ।

আউটপুট ব্যাখ্যা:

  • ভিএমজেড ভার্চুয়াল মেমরি এমএমএপের পরে printf '0x%X\n' 0x40009A4 KiB ~= 64GiB( psমানগুলি কিবিতে থাকে) স্থির থাকে ।
  • আরএসএসের "আসল মেমরির ব্যবহার" কেবল পৃষ্ঠাগুলি স্পর্শ করার সাথে সাথে অলসতা বাড়ায়। উদাহরণ স্বরূপ:
    • প্রথম মুদ্রণে, আমাদের রয়েছে extra_memory_committed 0, যার অর্থ আমরা এখনও কোনও পৃষ্ঠা স্পর্শ করি নি। আরএসএস একটি ছোট 1648 KiBযা পাঠ্য অঞ্চল, গ্লোবাল ইত্যাদির মতো সাধারণ প্রোগ্রাম স্টার্টআপের জন্য বরাদ্দ করা হয়েছে is
    • দ্বিতীয় প্রিন্টে, আমরা 8388608 KiB == 8GiBমূল্যবান পৃষ্ঠাগুলিতে লিখেছি । ফলস্বরূপ, আরএসএস ঠিক 8GIB দ্বারা বৃদ্ধি পেয়েছে8390256 KiB == 8388608 KiB + 1648 KiB
    • আরএসএস 8 জিআইবি ইনক্রিমেন্টে বাড়তে থাকে। শেষ মুদ্রণটি প্রায় 24 জিআইবি মেমরি দেখায় এবং 32 জিআইবি মুদ্রিত হওয়ার আগে ওওএম হত্যাকারী প্রক্রিয়াটিকে হত্যা করে

আরও দেখুন: আবাসিক সেট আকার / ভার্চুয়াল আকার সম্পর্কে ব্যাখ্যা প্রয়োজন

ওম কিলার লগ

আমাদের dmesgআদেশগুলি OOM হত্যাকারী লগগুলি দেখিয়েছে।

এগুলির একটি সঠিক ব্যাখ্যা এখানে জিজ্ঞাসা করা হয়েছে:

লগের প্রথম লাইনটি ছিল:

[ 7283.479087] mongod invoked oom-killer: gfp_mask=0x6200ca(GFP_HIGHUSER_MOVABLE), order=0, oom_score_adj=0

সুতরাং আমরা দেখতে পেলাম যে মংগডিবি ডিমনটি সর্বদা আমার ল্যাপটপে পটভূমিতে চালিত হয় যেটি OOM হত্যাকারীকে প্রথমে ট্রিগার করেছিল, সম্ভবতঃ যখন দুর্বল জিনিস কিছু স্মৃতি বরাদ্দ করার চেষ্টা করছিল।

তবে ওওম ঘাতক যে জাগ্রত হয়েছিল তাকে অগত্যা হত্যা করে না।

অনুরোধের পরে, কার্নেল একটি টেবিল বা প্রক্রিয়াগুলি সহ প্রিন্ট করে oom_score:

[ 7283.479292] [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
[ 7283.479303] [    496]     0   496    16126        6   172032      484             0 systemd-journal
[ 7283.479306] [    505]     0   505     1309        0    45056       52             0 blkmapd
[ 7283.479309] [    513]     0   513    19757        0    57344       55             0 lvmetad
[ 7283.479312] [    516]     0   516     4681        1    61440      444         -1000 systemd-udevd

এবং আরও এগিয়ে আমরা দেখতে পাচ্ছি যে আমাদের নিজের main.outছোট্টটি আগের অনুরোধে মারা গিয়েছিল:

[ 7283.479871] Out of memory: Kill process 15665 (main.out) score 865 or sacrifice child
[ 7283.479879] Killed process 15665 (main.out) total-vm:67111332kB, anon-rss:92kB, file-rss:4kB, shmem-rss:30080832kB
[ 7283.479951] oom_reaper: reaped process 15665 (main.out), now anon-rss:0kB, file-rss:0kB, shmem-rss:30080832kB

এই লগটিতে উল্লেখ করা হয়েছে score 865যে এই প্রক্রিয়াটি সম্ভবত সম্ভবত সর্বোচ্চ (সবচেয়ে খারাপ) ওওএম ঘাতক স্কোরটির উল্লেখ করেছে: ওম হত্যাকারী কীভাবে প্রথমে হত্যা করার প্রক্রিয়া স্থির করবেন?

এছাড়াও মজার বিষয় হল, দৃশ্যত সবকিছু এত তাড়াতাড়ি ঘটেছিল যে মুক্ত মেমরির হিসাব হওয়ার আগে প্রক্রিয়াটি oomআবার জেগেছিল DeadlineMonitor:

[ 7283.481043] DeadlineMonitor invoked oom-killer: gfp_mask=0x6200ca(GFP_HIGHUSER_MOVABLE), order=0, oom_score_adj=0

এবং এই মুহুর্তে কিছু ক্রোমিয়াম প্রক্রিয়া নিহত হয়েছে যা সাধারণত আমার কম্পিউটারগুলি সাধারণ মেমরি হগ:

[ 7283.481773] Out of memory: Kill process 11786 (chromium-browse) score 306 or sacrifice child
[ 7283.481833] Killed process 11786 (chromium-browse) total-vm:1813576kB, anon-rss:208804kB, file-rss:0kB, shmem-rss:8380kB
[ 7283.497847] oom_reaper: reaped process 11786 (chromium-browse), now anon-rss:0kB, file-rss:0kB, shmem-rss:8044kB

উবুন্টু 19.04, লিনাক্স কার্নেল 5.0.0 এ পরীক্ষিত।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.