OpenVZ Forum: Russian » [kmemsize&privvmpages] failcnt

Home » International » Russian » [kmemsize&privvmpages] failcnt

Show: Today's Messages :: Show Polls :: Message Navigator
E-mail to friend

[kmemsize&privvmpages] failcnt [message #35425]

Wed, 25 March 2009 08:10

fanat1k
Messages: 11
Registered: March 2009

Junior Member

Привет
Проблема с распределением памяти. На одной из виртуалок стоит java+apache+tomcat, при запросе 100 одновременных юзеров - виртуалка виснет и не может более запустить ни одного процесса: fork: Could not allocate memory.
Конфиг хостовой машины: Intel Core2 CPU 6400 @ 2.13GHz / 4Gb / SCSI 320Gbx2 / RAID / Debian 4.1.1-21;
Всего виртуалок пять, настроены были раньше другим человеком. Создал заново конфиг vzsplit'ом, впихнул в проблемную виртуалку, но изменений никаких: failcnt остались такими же(они постоянны, не увеличиваются), при тестовых запросах память забивается и не осовобождается, приходится ребутать ve.

Linux version 2.6.18-ovz-028stab053.5-smp
Debian 4.1.1-21

# vzctl exec 104 cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
      104:  kmemsize                  5422544             15397142            165351424            181886566                 3061
            lockedpages                     0                    0                 8073                 8073                    0
            privvmpages                222579               426238               605535               666088                   21
            shmpages                       20                 3380                60553                60553                    0
            dummy                           0                    0                    0                    0                    0
            numproc                       103                  228                 4036                 4036                    0
            physpages                   45463                89047                    0  9223372036854775807                    0
            vmguarpages                     0                    0               605535  9223372036854775807                    0
            oomguarpages                45463                89047               605535  9223372036854775807                    0
            numtcpsock                     21                  316                 4036                 4036                    0
            numflock                        5                   10                 1000                 1100                    0
            numpty                          0                    5                  403                  403                    0
            numsiginfo                      0                  158                 1024                 1024                    0
            tcpsndbuf                  364896              1073840             38585685             55117141                    0
            tcprcvbuf                  344064              1665552             38585685             55117141                    0
            othersockbuf               130872               170432             19292842             35824298                    0
            dgramrcvbuf                     0                16880             19292842             19292842                    0
            numothersock                   87                  120                 4036                 4036                    0
            dcachesize                      0                    0             36112403             37195776                    0
            numfile                      2459                 3315                64576                64576                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  200                  200                    0

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35429 is a reply to message #35425]

Wed, 25 March 2009 09:38

maratrus
Messages: 1495
Registered: August 2007
Location: Moscow

Senior Member

Здравствуйте,

а это только VE не может запустить ни одного процесса. Как дела у остальных? Можете показать /proc/user_beancounters с HN (для всех VE)?

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35430 is a reply to message #35429]

Wed, 25 March 2009 10:28

fanat1k
Messages: 11
Registered: March 2009

Junior Member

Остальные не тестировали подобными тестами, да и не на всех веб-приложения стоят. Я так подозреваю, что остальные по дефолту настроены.
На данный момент критичнее всего работа именно ve104

# vzctl exec 101 cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
      101:  kmemsize                  3817348              4909502             14372700             14790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                 60070                67280               605535               666088                    0
            shmpages                     7822                11182                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        37                   50                  240                  240                    0
            physpages                   17646                20638                    0  9223372036854775807                    0
            vmguarpages                     0                    0                65536  9223372036854775807                    0
            oomguarpages                17975                20638                26112  9223372036854775807                    0
            numtcpsock                      7                   20                  360                  360                    0
            numflock                        5                    8                  188                  206                    0
            numpty                          0                    3                   16                   16                    0
            numsiginfo                      0                    6                  256                  256                    0
            tcpsndbuf                  121632               252200              1720320              2703360                    0
            tcprcvbuf                  114688               220344              1720320              2703360                    0
            othersockbuf               142352               166832              1126080              2097152                    0
            dgramrcvbuf                     0                 8440               262144               262144                    0
            numothersock                   88                  120                  120                  120                    2
            dcachesize                      0                    0              3409920              3624960                    0
            numfile                      1094                 1407                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0

# vzctl exec 102 cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
      102:  kmemsize                  2880103              4773689            413378560            454716416                    0
            lockedpages                     0                    0                20184                20184                    0
            privvmpages                 88692                94796               605535               666088                    0
            shmpages                        0                 3360                60553                60553                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        53                   96                10092                10092                    0
            physpages                   20942                26021                    0  9223372036854775807                    0
            vmguarpages                     0                    0               605535  9223372036854775807                    0
            oomguarpages                20942                26021               605535  9223372036854775807                    0
            numtcpsock                     19                   61                10092                10092                    0
            numflock                       18                   22                 1000                 1100                    0
            numpty                          0                    1                  512                  512                    0
            numsiginfo                      0                    3                 1024                 1024                    0
            tcpsndbuf                  404360              1669000             96456021            137792853                    0
            tcprcvbuf                  311296              1446120             96456021            137792853                    0
            othersockbuf                 9184                45256             48228010             89564842                    0
            dgramrcvbuf                  3816                 8160             48228010             48228010                    0
            numothersock                    6                   39                10092                10092                    0
            dcachesize                      0                    0             90298904             93007872                    0
            numfile                      2447                 4607               161472               161472                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  200                  200                    0

# vzctl exec 103 cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
      103:  kmemsize                  2861984              4963308             14372700             14790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                108756               218795               605535               666088                    0
            shmpages                        0                 3360                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        59                   82                  240                  240                    0
            physpages                   19412                22548                    0  9223372036854775807                    0
            vmguarpages                     0                    0                65536                65536                    0
            oomguarpages                19412                22548                26112  9223372036854775807                    0
            numtcpsock                      5                   18                  360                  360                    0
            numflock                        4                    6                  188                  206                    0
            numpty                          0                    2                   16                   16                    0
            numsiginfo                      0                    2                  256                  256                    0
            tcpsndbuf                   86880               217696              1720320              2703360                    0
            tcprcvbuf                   81920               219072              1720320              2703360                    0
            othersockbuf                 4592                28200              1126080              2097152                    0
            dgramrcvbuf                     0                16880               262144               262144                    0
            numothersock                    3                   37                  120                  120                    0
            dcachesize                      0                    0              3409920              3624960                    0
            numfile                      1198                 1768                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0

# vzctl exec 105 cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
      105:  kmemsize                  2361521              3620486             14372700             14790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                 53274                58883               131072               131072                    0
            shmpages                       16                   16                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        29                   48                  240                  240                    0
            physpages                   25932                26409                    0  9223372036854775807                    0
            vmguarpages                     0                    0                65536                65536                    0
            oomguarpages                25932                26409                26112  9223372036854775807                    0
            numtcpsock                      4                    6                  360                  360                    0
            numflock                        4                    6                  188                  206                    0
            numpty                          0                    2                   16                   16                    0
            numsiginfo                      0                    7                  256                  256                    0
            tcpsndbuf                   69504                    0              1720320              2703360                    0
            tcprcvbuf                   65536               203552              1720320              2703360                    0
            othersockbuf                13808                39144              1126080              2097152                    0
            dgramrcvbuf                     0                 8440               262144               262144                    0
            numothersock                   15                   23                  360                  360                    0
            dcachesize                      0                    0              3409920              3624960                    0
            numfile                       709                  998                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35434 is a reply to message #35430]

Wed, 25 March 2009 11:39

maratrus
Messages: 1495
Registered: August 2007
Location: Moscow

Senior Member

И с самой HN, пожалуйста.
В логах или dmesg ничего не пишется?

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35436 is a reply to message #35434]

Wed, 25 March 2009 12:23

fanat1k
Messages: 11
Registered: March 2009

Junior Member

0:  kmemsize                  5864968             12004130  9223372036854775807  9223372036854775807                    0
            lockedpages                     0                    8  9223372036854775807  9223372036854775807                    0
            privvmpages                  8525                41099  9223372036854775807  9223372036854775807                    0
            shmpages                      647                 3367  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numproc                        86                  110  9223372036854775807  9223372036854775807                    0
            physpages                    3341                11878  9223372036854775807  9223372036854775807                    0
            vmguarpages                     0                    0  9223372036854775807  9223372036854775807                    0
            oomguarpages                 3348                11885  9223372036854775807  9223372036854775807                    0
            numtcpsock                      7                   21  9223372036854775807  9223372036854775807                    0
            numflock                        4                    9  9223372036854775807  9223372036854775807                    0
            numpty                          1                    4  9223372036854775807  9223372036854775807                    0
            numsiginfo                      1                    5  9223372036854775807  9223372036854775807                    0
            tcpsndbuf                  136960               184992  9223372036854775807  9223372036854775807                    0
            tcprcvbuf                  114688                    0  9223372036854775807  9223372036854775807                    0
            othersockbuf               167608               451448  9223372036854775807  9223372036854775807                    0
            dgramrcvbuf                     0                 8440  9223372036854775807  9223372036854775807                    0
            numothersock                  118                  150  9223372036854775807  9223372036854775807                    0
            dcachesize                      0                    0  9223372036854775807  9223372036854775807                    0
            numfile                      2403                 3241  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numiptent                      10                   10  9223372036854775807  9223372036854775807                    0

На падающей виртуалке в логах томката, апача и других пишется после падения:
[error] (12)Cannot allocate memory: fork: Unable to fork new process

Что конкретно посмотреть в dmesg? Ничего нужного не нашел...

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35437 is a reply to message #35436]

Wed, 25 March 2009 12:42

maratrus
Messages: 1495
Registered: August 2007
Location: Moscow

Senior Member

Quote:

failcnt остались такими же(они постоянны, не увеличиваются), при тестовых запросах память забивается и не осовобождается, приходится ребутать ve.

Как вы определяете, что память забивается?
Уверены, что failcnt не растут?
Мне казалось, я видел подобные проблемы, но они решались увеличением какого-либо параметра в beancounters.

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35438 is a reply to message #35437]

Wed, 25 March 2009 12:45

fanat1k
Messages: 11
Registered: March 2009

Junior Member

Определяю тем, что все приложения на сервере перестают отвечать, в логах пишет, как я писал выше "fork: could not allocate memory".
Failcnt точно не растут, видимо я даю какие-то неверные настройки изначально.

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35439 is a reply to message #35438]

Wed, 25 March 2009 12:52

maratrus
Messages: 1495
Registered: August 2007
Location: Moscow

Senior Member

Quote:

Определяю тем, что все приложения на сервере перестают отвечать

Это неинформативный способ определения.
Снимите показания /proc/user_beancounters в "проблемный момент".
Далее вы пишите

Quote:

приходится ребутать ve.

То есть reboot помогает?
Поэтому можно взять показания /proc/user_beancounters после перезагрузки и сравнить.
Есть шанс, что можно что-нибудь подметить.

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35440 is a reply to message #35439]

Wed, 25 March 2009 12:58

fanat1k
Messages: 11
Registered: March 2009

Junior Member

В тот момент, когда сервер "повис":

# vzctl exec 104 cat /proc/user_beancounters
Cannot allocate memory: fork: Unable to fork new process

Т.е. посмотреть beancounters в этот момент не предоставляется возможным.

Помогает только vzctl restart 104

После перезагрузки beancounters остаются такими же и failcnt точно также 3061 и 21 на ve104

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35441 is a reply to message #35440]

Wed, 25 March 2009 13:04

maratrus
Messages: 1495
Registered: August 2007
Location: Moscow

Senior Member

cat /proc/user_beancounters на HN

Report message to a moderator

Re: [kmemsize&privvmpages] failcnt [message #35463 is a reply to message #35441]

Fri, 27 March 2009 10:35

fanat1k
Messages: 11
Registered: March 2009

Junior Member

Привет, с последними настройками виртуалка выдерживает тесты, но всё равно смущают значения failcnt, можете подсказать как от них избавиться?

BEANS FOR UID 104
resource                     held              maxheld              barrier                limit              failcnt
kmemsize                  6.77 mb             29.24 mb            157.69 mb            173.46 mb                 3061
lockedpages                     0                    0             31.54 mb             31.54 mb                    0
privvmpages             902.56 mb           1734.58 mb           2365.37 mb           2601.91 mb                   21
shmpages                 80.00 kb             13.20 mb            236.54 mb            236.54 mb                    0
numproc                       125                  397                 4036                 4036                    0
physpages               225.13 mb            349.18 mb                    036028797018963968.00 mb                    0
vmguarpages                     0                    0           2365.37 mb36028797018963968.00 mb                    0
oomguarpages            225.13 mb            349.18 mb           2365.37 mb36028797018963968.00 mb                    0
numtcpsock                     19                  859                 4036                 4036                    0
numflock                        5                   10                 1000                 1100                    0
numpty                          0                    5                  403                  403                    0
numsiginfo                      0                  158                 1024                 1024                    0
tcpsndbuf               322.41 kb              6.55 mb             36.80 mb             52.56 mb                    0
tcprcvbuf               368.97 kb              7.84 mb             36.80 mb             52.56 mb                    0
othersockbuf            127.80 kb            166.44 kb             18.40 mb             34.16 mb                    0
dgramrcvbuf               0.00 kb             32.97 kb             18.40 mb             18.40 mb                    0
numothersock                   87                  120                 4036                 4036                    0
dcachesize              260.70 kb            644.92 kb             34.44 mb             35.47 mb                    0
numfile                      2843                 8484                64576                64576                    0
numiptent                      10                   10                  200                  200                    0

Report message to a moderator