Cannot allocate memory [message #37002] |
Mon, 10 August 2009 07:02 |
srv38
Messages: 4 Registered: August 2009 Location: Russia, Siberia, Zarinsk
|
Junior Member |
|
|
ОС gentoo, ядро 2.6.27-openvz-briullov.1-r1, железо
i686 Intel(R) Xeon(R) CPU 5130 @ 2.00GHz имеет на борту 4 гига памяти, вертятся 2 виртуалки, почта и веб сервер,в логах(/var/log/maillog) почтового сервера один раз в день обязательно появляются записи
Aug 10 13:10:50 mail postfix/smtpd[20080]: warning: connect #1 to subsystem public/cleanup: Cannot allocate memory
Aug 10 13:10:50 mail postfix/smtpd[20053]: warning: connect #1 to subsystem public/cleanup: Cannot allocate memory
Aug 10 13:10:52 mail amavis[17707]: (17707-17) ClamAV-clamd: Can't create UNIX socket: Cannot allocate memory, retrying (1)
Aug 10 13:10:52 mail amavis[18600]: (18600-16) ClamAV-clamd: Can't connect to UNIX socket /var/run/clamav/clamd.sock: Cannot allocate memory, retrying (1)
Aug 10 13:10:53 mail postfix/qmgr[26513]: warning: connect to transport virtual: Cannot allocate memory
Aug 10 13:10:53 mail postfix/qmgr[26513]: warning: connect to transport retry: Cannot allocate memory
Aug 10 13:10:53 mail amavis[17707]: (17707-17) (!)ClamAV-clamd: Can't create UNIX socket: Cannot allocate memory, retrying (2)
Aug 10 13:10:54 mail postfix/smtpd[20079]: warning: connect #1 to subsystem public/cleanup: Cannot allocate memory
Aug 10 13:10:54 mail postfix/smtpd[19607]: warning: connect #1 to subsystem public/cleanup: Cannot allocate memory
Aug 10 13:10:55 mail postfix/smtpd[20114]: warning: connect #1 to subsystem private/rewrite: Cannot allocate memory
Aug 10 13:11:01 mail amavis[17707]: (17707-17-2) ClamAV-clamd: Can't connect to UNIX socket /var/run/clamav/clamd.sock: Cannot allocate memory, retrying (1)
Aug 10 13:11:02 mail postfix/smtpd[16282]: warning: connect #1 to subsystem public/cleanup: Cannot allocate memory
Aug 10 13:11:02 mail amavis[17707]: (17707-17-2) (!)ClamAV-clamd: Can't connect to UNIX socket /var/run/clamav/clamd.sock: Cannot allocate memory, retrying (2)
Aug 10 13:11:02 mail pop3d: authdaemon: socket() failed: Cannot allocate memory
Aug 10 13:11:02 mail pop3d: authentication error: Cannot allocate memory
Aug 10 13:11:04 mail postfix/smtpd[20079]: warning: connect #2 to subsystem public/cleanup: Cannot allocate memory
Aug 10 13:11:04 mail postfix/smtpd[19607]: warning: connect #2 to subsystem public/cleanup: Cannot allocate memory
хотя, что на хост машине что на виртуалках всегда есть свободная память, машина можно сказать не загружена, отловить этот момент не получается т.к. он идет всегда менее 30 секунд потом все приходит в норму, конфигурации виртуалок приведу ниже, скажите что может быть не так?
cat /etc/vz/conf/100.conf
KMEMSIZE="11055923:11377049"
LOCKEDPAGES="256:256"
PRIVVMPAGES="2048M:2304M"
SHMPAGES="21504:21504"
NUMPROC="240:240"
PHYSPAGES="0:2147483647"
VMGUARPAGES="33792:2147483647"
OOMGUARPAGES="26112:2147483647"
NUMTCPSOCK="360:360"
NUMFLOCK="188:206"
NUMPTY="16:16"
NUMSIGINFO="256:256"
TCPSNDBUF="1720320:2703360"
TCPRCVBUF="1720320:2703360"
OTHERSOCKBUF="1126080:2097152"
DGRAMRCVBUF="262144:262144"
NUMOTHERSOCK="360:360"
NUMFILE="9312:9312"
DCACHESIZE="3409920:3624960"
NUMIPTENT="128:128"
AVNUMPROC="180:180"
CPUUNITS="1000"
ONBOOT="yes"
ORIGIN_SAMPLE="vps.basic"
DISKSPACE="63G:64G"
DISKINODES="2000000:2200000"
QUOTATIME="0"
cat /etc/vz/conf/200.conf
KMEMSIZE="11055923:11377049"
LOCKEDPAGES="256:256"
PRIVVMPAGES="1024M:1280M"
SHMPAGES="21504:21504"
NUMPROC="240:240"
PHYSPAGES="0:2147483647"
VMGUARPAGES="33792:2147483647"
OOMGUARPAGES="26112:2147483647"
NUMTCPSOCK="360:360"
NUMFLOCK="188:206"
NUMPTY="16:16"
NUMSIGINFO="256:256"
TCPSNDBUF="1720320:2703360"
TCPRCVBUF="1720320:2703360"
OTHERSOCKBUF="1126080:2097152"
DGRAMRCVBUF="262144:262144"
NUMOTHERSOCK="360:360"
NUMFILE="9312:9312"
DCACHESIZE="3409920:3624960"
NUMIPTENT="128:128"
AVNUMPROC="180:180"
CPUUNITS="1000"
ONBOOT="yes"
ORIGIN_SAMPLE="vps.basic"
DISKSPACE="21G:22G"
DISKINODES="200000:220000"
QUOTATIME="0"
|
|
|
|
|
|
Re: Cannot allocate memory [message #37017 is a reply to message #37002] |
Wed, 12 August 2009 16:38 |
srv38
Messages: 4 Registered: August 2009 Location: Russia, Siberia, Zarinsk
|
Junior Member |
|
|
Спасибо большое, я уже обратил, я так понимаю все это происходит из за высокой сетевой нагрузки, это мой первый опыт с OpenVZ может посоветуйте до каких цифр можно безболезненно увеличить эти параметры
TCPSNDBUF="1720320:2703360"
TCPRCVBUF="1720320:2703360"
NUMOTHERSOCK="360:360"
И еще просьба если знаете то ткните носом в то место где есть более подробное описание всех настроек с рекомендациями(примерами), желательно на русском, быстрее въеду , поиск поюзал ничего стоящего не нашел, заранее спасибо!
|
|
|
|
Re: Cannot allocate memory [message #37043 is a reply to message #37002] |
Fri, 14 August 2009 02:40 |
srv38
Messages: 4 Registered: August 2009 Location: Russia, Siberia, Zarinsk
|
Junior Member |
|
|
Понастраивал вчера я, да видате перекрутил чегото, ночью сервер подвис, все процессы ушли в слипинг, 2 было зомби, load average: 186, перезапустить даже нормально не получилось, только с кнопки, т.к. была связка с drbd + heartberd второй сервер поднялся нормально, откатил натсройки перезапустил пока пускай так поработает, хотел перекинуть VE на первую машину но нарвался на ошибку при запуске
(warning) Incorrect quota shutdown for id 100, recalculating disk usage
vzquota : (error) quota check : lstat `1250179819.V11I512009M182784.mail': Stale NFS file handle
vzquota on failed [1]
пришлось опять вернутся на второй сервер, на нем все ровно, теперь резонный вопрос как мне это вылечить и из-за чего это произошло, хотя подазреваю что из за жесткого выключения.
Да кстати вот из лога кусок когда сервер подвис, может тоже интересно будет
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.391065] BUG: unable to handle kernel paging request at ffffff85
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.391072] IP: [<c0338e6a>] cfq_set_request+0x30e/0x391
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.391080] *pde = 00007067 *pte = 00000000
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.391086] Oops: 0002 [#1] SMP
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.391174] Modules linked in: vznetdev vzrst vzcpt vzmon vzdquota vzdev drbd simfs scsi_wait_scan test_nx [last unloaded: vzmon]
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.391363]
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] Pid: 286, comm: pdflush Not tainted (2.6.27-openvz-briullov.1-r1 #1 briullov)
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] EIP: 0060:[<c0338e6a>] EFLAGS: 00010287 CPU: 1
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] EIP is at cfq_set_request+0x30e/0x391
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] EAX: 00000001 EBX: f6f99b40 ECX: 00000000 EDX: f7bd3ec8
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] ESI: 00000000 EDI: 00000001 EBP: f7b07a68 ESP: f7b07a2c
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] DS: 007b ES: 007b FS: 00d8 GS: 0000 SS: 0068
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] Process pdflush (pid: 286, veid: 0, ti=f7b06000 task=f7b10000 task.ti=f7b06000)
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] Stack: 00000010 f604b840 f7088000 00000001 00bd209c f7918c00 f7bd3ec8 00000001
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] 00000202 00000010 00011210 f6f99b40 c0338b5c f7088000 00000000 f7b07a78
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] c032d0bd f7088000 f604b840 f7b07a9c c032f42e f6c13e00 00018001 00000001
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] Call Trace:
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0338b5c>] ? cfq_set_request+0x0/0x391
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032d0bd>] ? elv_set_request+0x17/0x26
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032f42e>] ? get_request+0x202/0x302
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032f957>] ? get_request_wait+0x21/0x147
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<f8f64ec2>] ? drbd_make_request_26+0x5f1/0x643 [drbd]
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032fe4e>] ? __make_request+0x28e/0x304
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032eba8>] ? generic_make_request+0x358/0x386
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c04e1999>] ? __inet_lookup_established+0xc2/0x16a
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0260bc1>] ? mempool_alloc_slab+0xe/0x10
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0260e2e>] ? mempool_alloc+0x42/0xe0
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0260bc1>] ? mempool_alloc_slab+0xe/0x10
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0260e2e>] ? mempool_alloc+0x42/0xe0
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032ece1>] ? submit_bio+0x10b/0x113
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02a1749>] ? bio_alloc_bioset+0x50/0x8a
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c029e608>] ? submit_bh+0xbf/0xdc
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c029f949>] ? sync_dirty_buffer+0x55/0xa3
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02d4a73>] ? journal_update_superblock+0x6c/0xa0
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02d382f>] ? cleanup_journal_tail+0xba/0xc0
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02d3888>] ? log_do_checkpoint+0x17/0x444
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c033941c>] ? cfq_add_rq_rb+0xa7/0xba
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0339485>] ? cfq_insert_request+0x56/0x34c
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032dd1d>] ? elv_insert+0x136/0x1cb
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032de27>] ? __elv_add_request+0x75/0x7a
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032fe95>] ? __make_request+0x2d5/0x304
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032eba8>] ? generic_make_request+0x358/0x386
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c032e1e4>] ? blk_done_softirq+0x4e/0x5b
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0260bc1>] ? mempool_alloc_slab+0xe/0x10
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0260e2e>] ? mempool_alloc+0x42/0xe0
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0260bc1>] ? mempool_alloc_slab+0xe/0x10
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c022a596>] ? lock_timer_base+0x1f/0x3e
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02d3d2f>] ? __log_wait_for_space+0x7a/0x9f
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02d1fc4>] ? start_this_handle+0x26f/0x2ae
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c033d341>] ? radix_tree_gang_lookup_tag_slot+0x76/0x95
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02d212b>] ? journal_start+0x8c/0xb9
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02cc4c1>] ? ext3_journal_start_sb+0x40/0x42
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02c3f9e>] ? ext3_ordered_writepage+0x45/0x116
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0263f7f>] ? __writepage+0xb/0x2d
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02647a7>] ? write_cache_pages+0x1a8/0x2a2
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0263f74>] ? __writepage+0x0/0x2d
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0217d21>] ? update_curr+0x8d/0xf0
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c04a93ad>] ? sock_fasync+0x2d/0x11b
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02648be>] ? generic_writepages+0x1d/0x27
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02648f4>] ? do_writepages+0x2c/0x34
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c029ade5>] ? __writeback_single_inode+0x16e/0x33e
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0219545>] ? pick_next_task_fair+0x97/0xd7
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c029b3a3>] ? generic_sync_sb_inodes+0x25d/0x3a5
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c029b660>] ? writeback_inodes+0x63/0xa2
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02649fd>] ? wb_kupdate+0x7b/0xe3
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02652de>] ? pdflush+0x100/0x198
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0264982>] ? wb_kupdate+0x0/0xe3
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c0233210>] ? kthread+0x85/0xaf
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c02651de>] ? pdflush+0x0/0x198
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c023318b>] ? kthread+0x0/0xaf
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] [<c020454b>] ? kernel_thread_helper+0x7/0x10
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] =======================
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] Code: 4d cc 8b 55 e4 8b 81 50 01 00 00 e8 79 6d 25 00 8b 45 c8 31 c9 8b 55 dc 89 58 54 89 50 50 8b 43 58 8b 40 14 3d 80 00 00 00 74 6c <f0> ff 40 84 31 c9 eb 64 8b 4d d8 83 79 04 00 74 24 8b 01 8b 80
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] EIP: [<c0338e6a>] cfq_set_request+0x30e/0x391 SS:ESP 0068:f7b07a2c
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.392015] ---[ end trace 72ef8a4665184da0 ]---
Aug 13 22:15:01 mail-noda-1 kernel: [4929170.400305] pdflush used greatest stack depth: 4880 bytes left
после этого он больше ничего не сказал.
[Updated on: Fri, 14 August 2009 02:41] Report message to a moderator
|
|
|
|
|