OpenVZ Forum: Russian » Размещение VE на NAS, может ли отразиться на стабильности

Home » International » Russian » Размещение VE на NAS, может ли отразиться на стабильности

Show: Today's Messages :: Show Polls :: Message Navigator
E-mail to friend

Размещение VE на NAS, может ли отразиться на стабильности [message #15667]

Thu, 09 August 2007 11:04

saimon
Messages: 85
Registered: November 2006

Member

Добрый день!

У нас есть надежный дисковый массив NAS, пробуем переносить VE в хранилище и монтировать /vz/private по nfs. Вроде бы все работает,
но временами ядро на HN впадает в панику. Может ли это быть связано с размещением VE на NFS разделе?

Q6600/6G RAM/2.6.18-8.1.8.el5.028stab039.1.sa.1 x86_64
Одна из VE терминальный сервер,т.е. имеем значительный трафик через venet0(1G nic sky2).

Report message to a moderator

Re: Размещение VE на NAS, может ли отразиться на стабильнос [message #15710 is a reply to message #15667]

Fri, 10 August 2007 06:55

vaverin
Messages: 708
Registered: September 2005

Senior Member

Alexey,
конечно, нельзя исключать что проблемы на вашей ноде связаны с NFS. Но всякие абстрактные рассужедния без конкретных error messages совершенно бесполезны, это просто гадание на кофейной гуще. Покажите нам конекретные ошибки, пустите на ноду или забейте баг в bugzilla -- тогда мы сможем посмотреть разобраться и сказать что-нибудь определенное.

С уважением,
Василий Аверин

PS Кстати говоря, в моей практике было _очень_ много проблем связанных со sky2. Я не могу сказать как он работает на 2.6.18 ядрах -- но раньше с этим железом были сплошные неприятности.

Report message to a moderator

Re: Размещение VE на NAS, может ли отразиться на стабильнос [message #15714 is a reply to message #15710]

Fri, 10 August 2007 11:30

saimon
Messages: 85
Registered: November 2006

Member

Первое сообщение было для придания вектора.
Теперь детали:
Каких-либо сообщений по subj в логах системы/консоли нет. Только дамп на консоль.

lan sky2, veth skge сетевухи подключены к одному коммутатору.

[root@c2d /]# uptime
15:00:43 up 4:08, 1 user, load average: 27.02, 27.34, 26.31

[root@c2d /]# ifconfig lan
lan Link encap:Ethernet HWaddr 00:18:F3:D0:1A:2A
inet addr:192.168.0.26 Bcast:192.168.0.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:96778268 errors:0 dropped:0 overruns:0 frame:0
TX packets:107517827 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:39487740953 (36.7 GiB) TX bytes:76202385503 (70.9 GiB)
Interrupt:177

[root@c2d /]# ip a l
2: lo: <LOOPBACK,UP,10000> mtu 16436 qdisc noqueue
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
4: veth: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:18:f3:d0:1f:9c brd ff:ff:ff:ff:ff:ff
6: lan: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc pfifo_fast qlen 1000
link/ether 00:18:f3:d0:1a:2a brd ff:ff:ff:ff:ff:ff
inet 192.168.0.26/24 brd 192.168.0.255 scope global lan
8: br0: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc noqueue
link/ether 00:18:51:f2:d4:cb brd ff:ff:ff:ff:ff:ff
10: vbr0: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc noqueue
link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff
1: venet0: <BROADCAST,POINTOPOINT,NOARP,UP,10000> mtu 1500 qdisc noqueue
link/void
3: veth1005.0: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc noqueue
link/ether 00:12:34:56:78:9d brd ff:ff:ff:ff:ff:ff
5: veth1008.0: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc noqueue
link/ether 00:18:51:f2:d4:cb brd ff:ff:ff:ff:ff:ff
7: veth1025.0: <BROADCAST,MULTICAST,UP,10000> mtu 1500 qdisc noqueue
link/ether 00:18:51:f2:d4:ce brd ff:ff:ff:ff:ff:ff

[root@c2d /]# ip r l
192.168.0.120 dev venet0 scope link
192.168.0.200 dev venet0 scope link
192.168.0.30 dev venet0 scope link
192.168.2.1 dev venet0 scope link
192.168.2.16 dev venet0 scope link
192.168.2.5 dev veth1005.0 scope link
192.168.0.0/24 dev lan proto kernel scope link src 192.168.0.26
169.254.0.0/16 dev lan scope link
default via 192.168.0.20 dev lan
[root@c2d /]# brctl show
bridge name bridge id STP enabled interfaces
br0 8000.001851f2d4cb no veth1008.0
veth1025.0
veth
vbr0 8000.000000000000 no can't get port info: Function not implemented

[root@c2d /]# dmesg |tail -n 20
VE: 1008: started
device veth1008.0 entered promiscuous mode
audit(1186728907.802:3): dev=veth1008.0 prom=256 old_prom=0 auid=4294967295
br0: port 2(veth1008.0) entering learning state
br0: topology change detected, propagating
br0: port 2(veth1008.0) entering forwarding state
VE: 1012: started
VE: 1016: started
VZDQ: not attached to tree, dev 0:13, inode 5363598, fs nfs
VE: 1017: started
VZDQ: not attached to tree, dev 0:13, inode 7261098, fs nfs
VE: 1018: started
VZDQ: not attached to tree, dev 0:13, inode 5385797, fs nfs
VE: 1025: started
device veth1025.0 entered promiscuous mode
audit(1186728983.503:4): dev=veth1025.0 prom=256 old_prom=0 auid=4294967295
br0: port 3(veth1025.0) entering learning state
br0: topology change detected, propagating
br0: port 3(veth1025.0) entering forwarding state
VZDQ: not attached to tree, dev 0:13, inode 425153, fs nfs

Внешнее подключение к ноде на данный момент невозможно.

PS.
Попробовали заменить 2G плашки OCZ на 1G Kingston, т.е. теперь в системе 4G RAM. Работает без зависаний уже несколько часов, но раньше в такой конфигурации тоже падало. Как бы перестать грешить на железо? =)
PSS.
Не получилось прицепить фотки экрана с kernel dump, браузер ругается reset connection.

http://simtech.ru/IMG_8146.jpg
http://simtech.ru/IMG_8147.jpg
http://simtech.ru/config-2.6.18-8.1.8.el5.028stab039.1.sa.1

[Updated on: Fri, 10 August 2007 11:35]

Report message to a moderator

Re: Размещение VE на NAS, может ли отразиться на стабильнос [message #15736 is a reply to message #15714]

Fri, 10 August 2007 12:38

vaverin
Messages: 708
Registered: September 2005

Senior Member

Над первым screendamp я еще поработаю, во втором случае разбираться не с чем -- там нода упала на ровном месте.

Ситуация действительно сильно похожа на проблемы о которых я писал в предыдущий раз -- тогда тоже наблюдались memory corruptions. Пробовали старый драйвер sk98lin, и новый sky2 -- нечего не помогало, ядро работало от нескольких часов до недели -- а потом висло на ровном месте и разбирательства заводили в тупик.

И все проблемы моментально исчезли после того как на ноду поставили Intel e1000 и перестали юзать sysconnect.

Проверьте пожалуйста нет ли у Вас в логах ругани типа
"KERNEL: assertion: flags&MSG_PEEK". Если есть -- то настоятельно рекомендую: если есть возможность, попробуйте сменить sysconnect на что-нить другое, Intel e1000 или broadcom tg3.

О результатах разбюирательства с первым screendamp я отпишу попозже.

С уважением,
Василий Аверин

Report message to a moderator

Re: Размещение VE на NAS, может ли отразиться на стабильнос [message #15745 is a reply to message #15736]

Fri, 10 August 2007 14:24

saimon
Messages: 85
Registered: November 2006

Member

Хм, занятно. Я уже пробовал, правда не отключая сетевухи sysconnect, добавлять в систему платы на e1000. Ядро очень четко зависало после 1-2 минут работы. Возможно дело в драйвере. Только обновил до 7.6.5-NAPI. Как освободится сервер попробую еще, предварительно отключив все от sysconnect.

Report message to a moderator

Re: Размещение VE на NAS, может ли отразиться на стабильнос [message #15764 is a reply to message #15745]

Sat, 11 August 2007 09:27

vaverin
Messages: 708
Registered: September 2005

Senior Member

А как именно зависало? валилось с oops-ом? или просто переставала работать? На magic sysrq keys откликается?

С памятью на ноде у Вас точно все в порядке? Memtest86 гоняли? Если нет -- рекомендую попробовать.

С уважением,
Василий Аверин

Report message to a moderator

Re: Размещение VE на NAS, может ли отразиться на стабильнос [message #15781 is a reply to message #15714]

Sun, 12 August 2007 20:40

alexey
Messages: 8
Registered: October 2006

Junior Member

А если на veth сделать MAC-и вида 02:xx:xx:xx:xx:xx? В этом случае избавимся от перевыборов на br0.

Report message to a moderator

Re: Размещение VE на NAS, может ли отразиться на стабильнос [message #15864 is a reply to message #15667]

Wed, 15 August 2007 08:47

saimon
Messages: 85
Registered: November 2006

Member

Уже несколько дней работает. Проблема перестала возникать после замены модулей памяти. Память проходит memtest, но могла сказаться аппаратная несовместимость MB или разные модули в слотах или объем >4G. Про sky2 мотаем на ус, заменили на e1000(правда на одной машине ну ни в какую не захотело работать).

Спасибо, что помогали.

Report message to a moderator

Previous Topic:	VE остановлен но IP все равно используется.
Next Topic:	Хочу футболку OpenVZ - где взять?

Goto Forum:

-=] Back to Top [=-

[ Syndicate this forum (XML) ] [

] [

]

Current Time: Tue Jul 09 17:26:17 GMT 2024

Total time taken to generate the page: 0.03347 seconds