OpenVZ Forum


Home » International » Russian » Балансировка venet на нескольких сетевых картах (Что-то не понял я опять)
Балансировка venet на нескольких сетевых картах [message #40203] Fri, 30 July 2010 16:58 Go to next message
veresk is currently offline  veresk
Messages: 34
Registered: July 2009
Member
Вот есть 3 сетевые карты. Есть 5 виртуалок с venet. Как на первую виртуалку посадить одну машину, на вторую - две и на третью - три? Чтоб трафик у них не "перемешивался"
Re: Балансировка venet на нескольких сетевых картах [message #40208 is a reply to message #40203] Sat, 31 July 2010 11:01 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member

veth + bridge-utils интерфейсы, объединенные в один бридж только со своим интерфейсом.

Расскажите лучше подробнее суть задачи. Скорее всего, ее гораздо умнее и эффективнее решить шейпингом...


IT-outsource for UNIX servers,
http://ha-systems.ru
Re: Балансировка venet на нескольких сетевых картах [message #40218 is a reply to message #40203] Tue, 03 August 2010 09:06 Go to previous messageGo to next message
veresk is currently offline  veresk
Messages: 34
Registered: July 2009
Member
Даж и не знаю, как подробнее-то. Нужно привязать venet к определённой сетевой карточке, чтоб виртуалки использовали каждая свою физическую сетевую. Ну или 2-3 виртуалки на одну физику, ещё 2-3 виртуалки - на другую физику.
Re: Балансировка venet на нескольких сетевых картах [message #40221 is a reply to message #40218] Tue, 03 August 2010 10:21 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member

Нет, не рассказали:

>Нужно привязать venet к определённой сетевой карточке, чтоб >виртуалки использовали каждая свою физическую сетевую

Это какая-то задачка из учебника, оторванная от реальной задачи Smile

Вы расскажите настоящую задачу. Зачем нужен такой изврат? Практически уверена, что можно обойтись простоым шейпингом, маршрутами через ip route, и iptables, может быть, парочкой vlan'ов.

Может, конечно, у Вас что-то совсем редкое и экзотическое, требующее нестандартного подхода, но как показывает практика, 99% задач, кажущихся чем-то редким и удивительным, если хорошо подумать, решаются стандартными способами.


IT-outsource for UNIX servers,
http://ha-systems.ru

[Updated on: Tue, 03 August 2010 10:23]

Report message to a moderator

Re: Балансировка venet на нескольких сетевых картах [message #40224 is a reply to message #40203] Tue, 03 August 2010 11:30 Go to previous messageGo to next message
veresk is currently offline  veresk
Messages: 34
Registered: July 2009
Member
Да вроде никакого изврата не предполагается. Описываю задумку:

Есть сервачок под OpenVZ. В него воткнуто 3 сетевые карточки по 100Mbps, других нету. Предполагаемые сервисы в виртуалках:

1. PDC (С переносимыми профилями)
2. Proxy (SQUID)
3. Ejabberd
4. eGroupWare
5. FTP

Есть опасение, что работа всех сервисов встанет раком, когда начнут синхронизироваться профили на сервер\с сервера. Отсюда задумка: ограничить виртуалку с PDC своей сетевой (eth0, например), а eth1-eth2 оставить всем остальным сервисам. Возможно, когда разовьется работа в eGroupWare, ей тоже придётся выделить производительность целой сетевушки (eth3).
Re: Балансировка venet на нескольких сетевых картах [message #40225 is a reply to message #40224] Tue, 03 August 2010 11:47 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member

Вас спасет коммутатор с гигабитным аплинком для сервера(а лучше двумя, которые Вы сцепите в bound).
Если станций много, то вся сеть должна быть на гигабите, а аплинков, может быть, даже четыре (две двухпортовые сетевые карты, так же в bound)

Уверяю Вас, Вы упретесь не в сеть, а в диск, в i/o, если диски не SAS/SCSI.
Советую raid10 из четырех SAS минимум.

Для Ваших же задач, для ограничения взаимовлияния сервисов по сети, максимум, потребуется шейпинг трафика, который на OVZ запросто делается программными средствами, через tc (читайте вики), но если bound из интерфейсов будет достаточной мощности, то и этого не нужно будет, а все сядет катастрофически сильно по i/o, если SATA-диски.


IT-outsource for UNIX servers,
http://ha-systems.ru

[Updated on: Tue, 03 August 2010 11:51]

Report message to a moderator

Re: Балансировка venet на нескольких сетевых картах [message #40226 is a reply to message #40203] Tue, 03 August 2010 12:07 Go to previous messageGo to next message
veresk is currently offline  veresk
Messages: 34
Registered: July 2009
Member
>>>Вас спасет коммутатор с гигабитным аплинком для сервера(а лучше двумя, которые Вы сцепите в bound).

Вот когда его купять (если, конечно, вообще когда-либо купят), тогда я и воспользуюсь объединением портов и поделю единый канал. А пока у меня эти сетевухи воткнуты в 2 свича старинных.


>>Уверяю Вас, Вы упретесь не в сеть, а в диск, в i/o, если диски не SAS/SCSI.

Сейчас всё работает, упираясь в сеть, на 2-х обычных SATA в RAID1. В "новом" сервере для /var/lib/vz выделен RAID1 из двух SCSI по 160Gb + есть RAID1 для системы на 18Gb.

Re: Балансировка venet на нескольких сетевых картах [message #40228 is a reply to message #40226] Tue, 03 August 2010 12:15 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member

Сделайте bound из четырех 100 мегабит интерфейсов + шейпинг.

был бы гигабит, все было встало "колом" из-за нехватки i/o.

Собственно, советую из всех четырех scsi (сделать так, что бы они были одного размера) сделать raid10, иначе ничего хорошего (при гигабитном линке) Вас не ждет.

Станций сколько?


IT-outsource for UNIX servers,
http://ha-systems.ru
Re: Балансировка venet на нескольких сетевых картах [message #40229 is a reply to message #40203] Tue, 03 August 2010 12:29 Go to previous messageGo to next message
veresk is currently offline  veresk
Messages: 34
Registered: July 2009
Member
>>>Сделайте bound из четырех 100 мегабит интерфейсов + шейпинг.

А вот это уже более интересная мысля. Хотя бы из 2-х, для начала.

>>>Собственно, советую из всех четырех scsi (сделать так, что бы они были одного размера) сделать raid10, иначе ничего хорошего (при гигабитном линке) Вас не ждет.

Ну будет у меня RAID10 на 36 гигов, что я с ним делать-то буду? У меня одних профилей 10 гиг хранится.

>>>Станций сколько?
30 штук
Re: Балансировка venet на нескольких сетевых картах [message #40234 is a reply to message #40229] Tue, 03 August 2010 18:33 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member

Quote:
Ну будет у меня RAID10 на 36 гигов, что я с ним делать-то буду? У меня одних профилей 10 гиг хранится.

>>>Станций сколько?
30 штук


ааа! Кошмар какой!! Жесть! У работодателя/клиента _вообще_ нет денег?


IT-outsource for UNIX servers,
http://ha-systems.ru
Re: Балансировка venet на нескольких сетевых картах [message #40236 is a reply to message #40234] Tue, 03 August 2010 18:58 Go to previous messageGo to next message
RXL_ is currently offline  RXL_
Messages: 147
Registered: July 2009
Location: Moscow/Russia
Senior Member
Напрасно иронизируете! Многие считают каждую копейку по принципу: нет экономического выхода - значит это напрасные траты.
И в чем-то они правы. Обосновывать расходы нужно!


... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.
Re: Балансировка venet на нескольких сетевых картах [message #40237 is a reply to message #40236] Tue, 03 August 2010 20:04 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member

Многие, у нас тоже. Поэтому я бы поставила raid10 из 36Gb дисков. Ничего, пережили бы.

При этом громко, и во всеуслышание объявляется, что в проблеме виновато урезание бюджета, а не ИТ-отдел или аутсорсер, тем более что это правда.
А в больших профилях, скорее всего, какая-то ересь типа mp3.

Кстати, почту можно хранить в imap, а большие файлы на диске файлопомойки, на дешевых SATA.


А когда бы стали говорить, что "так жить нельзя", объяснить про дважды запредельное(два раза за пределом) нищебродство, и сказать нормальный бюджет на новое оборудование (~120k rur за Proliant G6 + Каталист), и объяснить, что, например, с бюджетом 40-50k rur(кстати, вполне себе хватит и на б/у каталист, и на бу сервер даже с двумя блоками питания) и так очень сильно экономим.


IT-outsource for UNIX servers,
http://ha-systems.ru

[Updated on: Tue, 03 August 2010 21:38]

Report message to a moderator

Re: Балансировка venet на нескольких сетевых картах [message #40238 is a reply to message #40203] Wed, 04 August 2010 04:17 Go to previous messageGo to next message
veresk is currently offline  veresk
Messages: 34
Registered: July 2009
Member
>>>ааа! Кошмар какой!! Жесть! У работодателя/клиента _вообще_ нет денег?

Да, у работодателя СОВЕРШЕННО нет денег. Последнее время на форумах всё чаще при вопросах приходится это уточнять.

>>>Поэтому я бы поставила raid10 из 36Gb дисков
Не-не-не, у меня 2х18Gb и 2х160Gb. В итоге я подумал и решил, что освобожу один гигабитный порт на свиче (есть там такой всё же, только занят), и туда воткнусь до лучших времён.

>>>Кстати, почту можно хранить в imap, а большие файлы на диске файлопомойки, на дешевых SATA.
Есть такая идея, да.

>>>сказать нормальный бюджет на новое оборудование
Бюджет не изменялся с 2008 года. Попросту каждый год повторяем одну и ту же бумагу, потому что выполнение - 0%. На 2011 год будет совершенно то же самое. И не надо спрашивать, как я работаю! Линуксоид застарелый, потому и выжил.

>>>нет экономического выхода - значит это напрасные траты.
А у нашей конторы его и так нет, баланс отрицательный не первый год. Хорошо хоть з\п платят.
Re: Балансировка venet на нескольких сетевых картах [message #40390 is a reply to message #40238] Mon, 16 August 2010 12:55 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member

кстати, можно сделать так:

sd[abcd]1: 36Gb, raid 10, под профили
оставшиеся концы двух дисков большего размера собрать в raid1, пустить под почту и остальное.


IT-outsource for UNIX servers,
http://ha-systems.ru
Re: Балансировка venet на нескольких сетевых картах [message #40929 is a reply to message #40203] Tue, 26 October 2010 13:32 Go to previous messageGo to next message
SimbioS is currently offline  SimbioS
Messages: 2
Registered: October 2010
Junior Member
Приветствую.
Не стал создавать новую тему, так как зада у меня похожая.
Есть 5 сетевых карт. Необходимо 4 виртуальным серверам выделить по одной физической карте. Это необходимо для того что бы эти серверы были в DMZ зоне. А это в свою очередь подразумевает что они должны быть физически разделены (сетевые интерфейсы).
Вопрос можно ли это реализовать ? использовать veth ? или ...

Огромная просьба подсказать куда двигаться.

Спасибо всем !
Re: Балансировка venet на нескольких сетевых картах [message #40933 is a reply to message #40929] Tue, 26 October 2010 15:44 Go to previous messageGo to next message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member

Вы так же как и топикстартер, решаете задачу исходя из неверных посылок Smile

DMZ запросто организуется с venet сетью с помощью iptables на ноде.
У нас сделано именно так.
Для VPS, который должен находится в DMZ, просто разрешаете FORWARD во внешний мир(и из внешнего мира) первым правилом, а вторым запрещаете любой трафик.

Реальный пример для контейнера, проксирующего web-трафик к нескольким другим(тут у него внутренний IP, и проброшенный порт 80):

-A PREROUTING -d XX.XX.XX.XX -i eth1 -p tcp -m tcp --dport 80 -j DNAT --to-destination 10.YY.Y.18:80 
-A FORWARD -s 10.YY.Y.18 -o eth1 -p tcp -m tcp --dport 25 -j DROP 
-A FORWARD -s 10.YY.Y.180 -i vmbr0 -p tcp -m tcp --dport 25 -j DROP 
-A FORWARD -s 10.YY.Y.180 -i vmbr0 -p ! icmp -m state --state INVALID -j DROP 
-A FORWARD -d 10.YY.Y.180 -o vmbr0 -p ! icmp -m state --state INVALID -j DROP 
-A FORWARD -s 10.YY.Y.180 -i vmbr0 -o eth1 -j ACCEPT 
-A FORWARD -d 10.YY.Y.180 -i vmbr0 -p icmp -j ACCEPT 
-A FORWARD -s 10.YY.Y.180 -o vmbr0 -p icmp -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.20 -j ACCEPT 
-A FORWARD -s 10.YY.Y.20 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.31 -j ACCEPT 
-A FORWARD -s 10.YY.Y.31 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.36 -j ACCEPT 
-A FORWARD -s 10.YY.Y.36 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.15 -j ACCEPT 
-A FORWARD -s 10.YY.Y.15 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.29 -j ACCEPT 
-A FORWARD -s 10.YY.Y.29 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.19 -j ACCEPT 
-A FORWARD -s 10.YY.Y.19 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.37 -j ACCEPT 
-A FORWARD -s 10.YY.Y.37 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.43 -j ACCEPT 
-A FORWARD -s 10.YY.Y.43 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -d 10.YY.Y.18 -p tcp -m tcp --dport 80 -j ACCEPT 
-A FORWARD -s 10.YY.Y.38 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.38 -j ACCEPT 
-A FORWARD -s 10.YY.Y.75 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.75 -j ACCEPT 
-A FORWARD -s 10.YY.Y.54 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.54 -j ACCEPT 
-A FORWARD -s 10.YY.Y.12 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.12 -j ACCEPT 
-A FORWARD -s 10.YY.Y.71 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.71 -j ACCEPT 
-A FORWARD -s 10.YY.Y.51 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.51 -j ACCEPT 
-A FORWARD -s 10.YY.Y.32 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.32 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -o eth1 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -j DROP 
-A FORWARD -d 10.YY.Y.18 -j DROP 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.32 -j ACCEPT 
-A FORWARD -s 10.YY.Y.32 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.194 -j ACCEPT 
-A FORWARD -s 10.YY.Y.194 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.195 -j ACCEPT 
-A FORWARD -s 10.YY.Y.195 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.33 -j ACCEPT 
-A FORWARD -s 10.YY.Y.33 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.12 -j ACCEPT 
-A FORWARD -s 10.YY.Y.12 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.34 -j ACCEPT 
-A FORWARD -s 10.YY.Y.34 -d 10.YY.Y.18 -j ACCEPT 
-A FORWARD -s 10.YY.Y.18 -d 10.YY.Y.38 -j ACCEPT 
-A FORWARD -s 10.YY.Y.38 -d 10.YY.Y.18 -j ACCEPT 


Правила генерятся скриптом, написанным на основе идей скрипта из wiki: http://wiki.openvz.org/Setting_up_an_iptables_firewall



IT-outsource for UNIX servers,
http://ha-systems.ru

[Updated on: Tue, 26 October 2010 15:51]

Report message to a moderator

Re: Балансировка venet на нескольких сетевых картах [message #40953 is a reply to message #40203] Wed, 27 October 2010 05:14 Go to previous messageGo to next message
SimbioS is currently offline  SimbioS
Messages: 2
Registered: October 2010
Junior Member
Спасибо. Идея понятна. Но это лишний геморой. DMZ зону у меня будет разруливать шлюз. Мне просто надо физически тыкнуть шнурок в DMZ свич.
Любые идеи ?
Re: Балансировка venet на нескольких сетевых картах [message #40970 is a reply to message #40953] Fri, 29 October 2010 07:31 Go to previous message
sHaggY_caT is currently offline  sHaggY_caT
Messages: 144
Registered: August 2008
Location: Moscow, Russian Federatio...
Senior Member

Нет, это единственно верный подход Smile
Остальные это и есть геморрой, велосипед, и т д, который может лишь привести к появлению совершенно лишних и необъяснимых проблем.

Особенно идеи вроде "прокидывания" сетевых карт в контейнеры


IT-outsource for UNIX servers,
http://ha-systems.ru

[Updated on: Fri, 29 October 2010 07:31]

Report message to a moderator

Previous Topic: Обновляю контейнет- пропадает сеть
Next Topic: ovzkernel-xen + drbd
Goto Forum:
  


Current Time: Mon Nov 04 13:00:57 GMT 2024

Total time taken to generate the page: 0.03505 seconds