OpenVZ Forum


Home » International » Russian » Проблема в работе OpenVZ. Squid и vmbr0 (SQUID клиенты icq постоянно переподключаются.)
icon9.gif  Проблема в работе OpenVZ. Squid и vmbr0 [message #40538] Mon, 30 August 2010 13:35 Go to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
Проблема такая, есть openvz и CentOS 5.5
Linux openvz2.localnet 2.6.18-194.8.1.el5.028stab070.2 #1 SMP Tue Jul 6 15:26:41 MSD 2010 i686 i686 i386 GNU/Linux


CentOS release 5.5 (Final)


Это сейчас в контейнере. но и пробывал 3-ю версию сквида
[root@vz01 /]# rpm -qa |grep squid
squid-2.6.STABLE21-6.el5
[root@vz01 /]#


С разной периодичностью времени клиенты сквида теряют подключение к ICQ и переподключаются, время между реконектами бывает от 5 до 40 минут, зависимости нету.

При использовании интерфейса venet0 никаких проблем с потерей связи нету.
Как только контейнер подключен через bridge, все, получаю потери соединения.

Подскажите куда рыть? Sad

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40540 is a reply to message #40538] Mon, 30 August 2010 17:23 Go to previous messageGo to next message
veresk is currently offline  veresk
Messages: 34
Registered: July 2009
Member
У меня такая же хрень и без использования OVZ на SQUID3. Что делать еще не знаю.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40544 is a reply to message #40538] Mon, 30 August 2010 21:17 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
Ладно 3-й сквид, но 2.6 тоже накрывает и он рвет соединение или его заставляют рвать, при этом все показатели в норме.
как можно интересно вычислить причину?

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40549 is a reply to message #40538] Tue, 31 August 2010 09:32 Go to previous messageGo to next message
veresk is currently offline  veresk
Messages: 34
Registered: July 2009
Member
Ща проверил - на 2х тоже рвётся иногда. Надо курить где-то настройки. Кстати, в venet+SQUID рвёт тоже Sad

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40550 is a reply to message #40538] Tue, 31 August 2010 10:51 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
Пошел дальше. накатил Debian 5, minimal, работает через vmbr0
и еще дальше. скачать шаблон CentOS 5.0 minimal, с ним вроде тоже работает, а вот с шаблоном CentOS 5.5 идут разрывы, пока обновляю систему и буду смотреть дальше на её поведение.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40554 is a reply to message #40538] Tue, 31 August 2010 16:55 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
Шаблон с которым проблемы:
http://download.openvz.org/template/precreated/contrib/cento s-5-i386-default-5.5-20100707.tar.gz

А шаблон с которым все нормально даже при yum update
http://download.openvz.org/template/precreated/centos-5-x86. tar.gz


Люди, подскажите куда копать???

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40555 is a reply to message #40554] Tue, 31 August 2010 18:14 Go to previous messageGo to next message
RXL_ is currently offline  RXL_
Messages: 147
Registered: July 2009
Location: Moscow/Russia
Senior Member
Стоит посмотреть логи squid. Возможно стоит повысить детальность лога.
Еще можно снифить трафик. По логам squid определять момент разрыва, а по дампу трафика определять причину.

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40564 is a reply to message #40538] Wed, 01 September 2010 14:16 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
Проблема походу глубже чем я думал, в момент разрыва соединения контейнер становится не доступным.
Поставил в контейнер апач вместе со сквидом, как только падает клиент icq подключенный к squid в этом контейнере. пробую подключится к апач на этом-же сервере и получаю облом, соединение висит и дальше не идет, но чудным образом оно восстанавливается через 1-2 мин и все снова работает на некоторое время.

как можно включить debug системы, на уровне ядра, чтобы видеть что происходит в самой системе в этот момент, подскажите плиз.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40565 is a reply to message #40564] Wed, 01 September 2010 15:06 Go to previous messageGo to next message
RXL_ is currently offline  RXL_
Messages: 147
Registered: July 2009
Location: Moscow/Russia
Senior Member
 
dmesg | tail -f -

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40569 is a reply to message #40538] Thu, 02 September 2010 05:44 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
Это в хосте
[root@openvz2 log]# dmesg | tail -f -
eth0: no IPv6 routers present
eth0: no IPv6 routers present
veth188.0: no IPv6 routers present
hdc: drive_cmd: status=0x51 { DriveReady SeekComplete Error }
hdc: drive_cmd: error=0x04 { AbortedCommand }
ide: failed opcode was: 0xec
vmbr0: topology change detected, propagating
vmbr0: port 5(veth188.0) entering forwarding state
eth0: no IPv6 routers present
eth0: no IPv6 routers present


А вот в контейнере эта команда ничего не показывает.

А есть еще 
ovzkernel-debug.i686 : The Linux kernel compiled with debug config


Можно ли с помощью этого ядра узнать доп информацию?

Это счетчики в проблемном контейнере:
[root@vz02 /]# cat /proc/user_beancounters
Version: 2.5
       uid  resource           held    maxheld    barrier      limit    failcnt
      184:  kmemsize        2541438    2720619 2147483647 2147483647          0
            lockedpages           0          0 2147483647 2147483647          0
            privvmpages       12718      13253 2147483647 2147483647          0
            shmpages            144        144 2147483647 2147483647          0
            dummy                 0          0          0          0          0
            numproc              26         27 2147483647 2147483647          0
            physpages          6603       6642          0 2147483647          0
            vmguarpages           0          0      33792 2147483647          0
            oomguarpages       6603       6642      26112 2147483647          0
            numtcpsock          168        169 2147483647 2147483647          0
            numflock              7         10 2147483647 2147483647          0
            numpty                2          2 2147483647 2147483647          0
            numsiginfo            0          2 2147483647 2147483647          0
            tcpsndbuf       1534400    1525440 2147483647 2147483647          0
            tcprcvbuf       2756800     610496 2147483647 2147483647          0
            othersockbuf      20160      32576 2147483647 2147483647          0
            dgramrcvbuf           0       8384 2147483647 2147483647          0
            numothersock         14         18 2147483647 2147483647          0
            dcachesize            0          0 2147483647 2147483647          0
            numfile             788        824 2147483647 2147483647          0
            dummy                 0          0          0          0          0
            dummy                 0          0          0          0          0
            dummy                 0          0          0          0          0
            numiptent            10         10 2147483647 2147483647          0
[root@vz02 /]#


Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40571 is a reply to message #40569] Thu, 02 September 2010 10:35 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
В общем после проб пришел вот к чему:
связь с контейнером пропадает на 3-6 секунд через разное время но стабильно в течении часа.
если с клиента пинговать постоянно контейнер, то icq клиент отпадавает и связь обрывается, но если пинговать из контейнера клиент где установлен клиент icq, то все нормально, связь с icq не падает в обще.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40574 is a reply to message #40571] Thu, 02 September 2010 12:10 Go to previous messageGo to next message
RXL_ is currently offline  RXL_
Messages: 147
Registered: July 2009
Location: Moscow/Russia
Senior Member
Могу предположить, что такие эффекты могут происходить из-за:
1. периодических проблем с физическим каналом или физическим интерфейсом, как следствие - пропадание пакетов.
2. периодической работы STP. Опять таки может происходить из-за плавающей неисправности физических каналов.
3. странной работы ARP. Например, файлвол настроен так, что динамически влияет прохождение пакетов. Или опять таки физические каналы.
4. работы connection tracking. Например, таймаут соединения или выход на их лимит.
5. периодического изменения таблиц маршрутизации.
6. периодического смены MAC-адреса бриджом (если он используется).
7. чего-то еще.

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40576 is a reply to message #40538] Thu, 02 September 2010 13:13 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
stp на бридже включил, но эффект тот же, если бы это была физика, то например тот же контейнер с debian не работал рядом с контейнером centos, arp тоже отпадает, они на одном коммутаторе cisco 2950.
тут что-то другое. но самое плохое что в логах нету никаких событий по этому поводу.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40582 is a reply to message #40569] Thu, 02 September 2010 19:41 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member
Quote:
hdc: drive_cmd: status=0x51 { DriveReady SeekComplete Error }
hdc: drive_cmd: error=0x04 { AbortedCommand }


Сделайте срочно бэкап данных. И больше никогда не делайте (рекомендация основана на том, что неоднакратно видела слезы людей, потерявших контакты, деньги, и т д) "боевых" серверов без рейдов.

Даже мелкая SOHO-контора получит очень чувствительный удар по своим доходам от простоя в течение дня-двух, пока Вы будете пересетапливать сервер.

Нет проблем в деньгах в том, что бы хотя бы засунуть два SATA-диска в зеркало, а кучи проблем уже нет.

Подозреваю, что Ваши глюки (а так же многие другие) связаны именно с этим!

Но, самое главное что следует запомнить, так это то, что рейд не повод не делать бэкапов, это лишь средство повышения доступности в случае вылета диска, что бы предприятие не простаивало несколько дней, требующихся на то, что бы пересетапить сервер (если не используются такие автоматизированные средства развертывания как Cobbler), бэкапы вовне корпуса сервера (от протечки и короткого замыкания третий HDD в сервере не спасает!) все равно must have!

IT-outsource for UNIX servers,
http://ha-systems.ru

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40583 is a reply to message #40538] Thu, 02 September 2010 19:48 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
sHaggY_caT, спасибо, очень ценю Вашу помощь, но:
1. проблема на 2-х машинах, одна физическая, реальный тестовый сервер, вторая как раз логи с неё это машина на vmware workstation для изучения и обкатки OpenVZ
2. Именование дисков с системе hda, а не как здесь вылезло на ошибке hdc, к тому-же количество ошибок с hdc не как не совпадает с количеством проблем в соединении.

Дальше, хостовая система работает стабильно и без сбоев, контейнер с debian last update так же работает без всяких проблем, проблемы вылазят в контейнере с centos 5.5 last update.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40585 is a reply to message #40583] Thu, 02 September 2010 20:38 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member
http://www.opennet.ru/openforum/vsluhforumID1/89708.html#1

Это Ваш пост? У нас была проблема с похожими симптомами, оказалось, что глючил bind (named) в соседнем контейнере (почему-то имел неполный список корневых DNS), что приводило к таким же переодическим отваливаниям ICQ, при этом Word Wide Web работал.

Конфигурация такая:

1. default gateway - hardware node, в том числе для ICQ
2. На HN есть правило для редиректа исходящего 80-го порта на контейнер со Squid и HAVP для прозрачного проксирования
3. У HN внутренняя сетевая карта (у части клиентов сетевая карта одна, но несколько VLAN-интерфейсов на ноде, WAN от одного или двух ISP втыкаются в каталист) прицеплена к бриджу
4. В контейнере со Squid интерфейсы и venet и veth. Veth используется только для DHCP клиентских ПК

Глючный кэширующий DNS был в контейнере с CentOS 5.5, официальный шаблон (уже с named), нужно бы воспроизвести(если еще не починили), и багрепорт написать...

IT-outsource for UNIX servers,
http://ha-systems.ru

[Updated on: Thu, 02 September 2010 20:39]

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40586 is a reply to message #40585] Thu, 02 September 2010 21:25 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
да, пост мой, еще есть ветка на лоре, пока ничего дельного.
если есть возможность, попробуйте сами:
1. поднять в любой виртуалке centos 5.5
2. накатить последние update на систему.
3. скачать и поставить ядро для openvz
4. поднять интерфейс vmbr0
5. создать виртуальную машину на базе шаблона centos 5
6. обновить контейнер до последнего обновления.
7. поставить в него сквиду.
8. подключить icq клиента к этому сквиду.

больше никаких лишних движений не делал.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40589 is a reply to message #40586] Fri, 03 September 2010 15:47 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member
А для чего пропускать ICQ через прокси?
Может, лучше SNAT'ить?

IT-outsource for UNIX servers,
http://ha-systems.ru

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40590 is a reply to message #40538] Fri, 03 September 2010 16:11 Go to previous messageGo to next message
Rimlen is currently offline  Rimlen
Messages: 19
Registered: August 2010
Junior Member
Да если бы проблема была с одной сейчас icq, то может и вопросов не было, но проблема общая и от куда-то она ползет.
сейчас делаю поэтапное обновление системы.
по 5 пакетов в час. хочу покусочкам найти после какого обновления начинаются проблемы.

Report message to a moderator

Re: Проблема в работе OpenVZ. Squid и vmbr0 [message #40598 is a reply to message #40590] Sat, 04 September 2010 17:40 Go to previous message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member
Вы не поняли: мы проксим только HTTP трафик (прозрачной проксей), все остальное NAT'им, и все работает идеально на CentOS 5.5, похожая, как у Вас, проблема была, но она связана исключительно с глюками DNS. Сейчас все работает без нареканий на более чем десяти инсталляциях.

IT-outsource for UNIX servers,
http://ha-systems.ru

Report message to a moderator

Previous Topic: Выделение ресурсов с Hyper Threading
Next Topic: Странности с hostname
Goto Forum:
  

[ Syndicate this forum (XML) ] [ RSS ] [ PDF ]

Current Time: Fri Sep 27 22:25:01 GMT 2024

Total time taken to generate the page: 0.04376 seconds
Powered by FUDforum Powered by Virtuozzo Containers