OpenVZ Forum


Home » International » Russian » Предпочтительная схема использования физических диск
Re: Предпочтительная схема использования физических ди [message #40618 is a reply to message #40617] Mon, 06 September 2010 10:23 Go to previous messageGo to previous message
RXL_ is currently offline  RXL_
Messages: 147
Registered: July 2009
Location: Moscow/Russia
Senior Member
Бекап не обеспечит быстрого переключения сервисов (в идеале вообще хотелось бы автоматизировать что можно). Как показала практика, выход из строя оборудования (в основном - диски и БП) происходит в 90% случаев либо в нерабочее время, либо вообще в выходные. Админы тоже люди - им отдыхать надо, а не бекапы заливать по ночам в свои выходные.

SAN не будет. Ну нету денег. Т.ч. давайте не будем выходить за рамки имеющегося. Се ля ви...

Недостатки DRBD (если рассматривать протокол C) я вижу в том, что операция записи совершается после подтверждения записи на удаленных узлах - так сказано в документации.
Задержка удаленной записи составит: прохождение большого пакета с блоком данных, запись блока удаленном диске, прохождение короткого блока с подтверждением. Также есть параллельная локальная запись. Фактическая задержка составит максимум из двух этих задержек. Т.е. возможны две ситуации в каждом конкретном случае записи: либо разницы между DRBD и локальным диском нет, либо есть - не в пользу DRBD. В среднем, это время передачи двух пакетов по сети. Без учета внутриядерных задержек (которые зависят от множества причин) это составит порядка 5 мкс.
Если же рассматривать ненадежные формы DRBD - протоколы B и A, то тормоза начнутся не раньше, чем позволит ширина выделенного под DRBD трафик канала.
Хочу заметить, что вышесказанное о RDBD для меня пока только теория. Надеюсь проверить на практике. Постараюсь сделать это заранее на какой-нибудь модели.

Потестил на двух машинах с SATA и 100 Mbit интерфейсами.
[root@test]# dd bs=1024k count=64 if=/dev/zero of=/dev/drbd0 oflag=direct
64+0 records in
64+0 records out
67108864 bytes (67 MB) copied, 7.00015 seconds, 9.6 MB/s

[root@test]# dd bs=256k count=256 if=/dev/zero of=/dev/drbd0 oflag=direct
256+0 records in
256+0 records out
67108864 bytes (67 MB) copied, 9.46926 seconds, 7.1 MB/s

[root@test]# dd bs=64k count=1024 if=/dev/zero of=/dev/drbd0 oflag=direct
1024+0 records in
1024+0 records out
67108864 bytes (67 MB) copied, 12.7353 seconds, 5.3 MB/s

[root@test]# dd bs=16k count=4096 if=/dev/zero of=/dev/drbd0 oflag=direct
4096+0 records in
4096+0 records out
67108864 bytes (67 MB) copied, 38.7679 seconds, 1.7 MB/s


Вполне ожидаемый результат - локальные диски также себя ведут при понижении копируемого блока - снижают скорость.
В общем, думаю, для нормальной скорости стоит собрать пару гигабитных интерфейсов в bonding rr и выставить для них MTU 9000.

Создал на drbd0 ext4, смонтировал и проверил время копирования с синхронизацией буферов 273 разномастных файлов (4к..10М) на общий объем 385899008: 11 МБ/с. Если не синхронизировать и оставить эту заботу системе, то процесс копирования происходит со скоростью чтения с источника.

Продолжение эксперимента. Переключил интерфейсы в гигабитный режим. Сразу скажу, что локальные диски на одной из машин офисного класса, да еще и необходимые для DRBD девайсы создавались через losetup, а второй сервер нагружен задачами.
Скорость записи ~670 МБ в ~500 файлах (в МБ/с):
на локальный диск напрямую - 66;
на DRBD с отключенным пиром - 52;
на DRBD в полной сборке - 44;
на DRBD в режиме primary diskless - 33.

... мы преодолеваем эту трудность без синтеза распределенных прототипов. (с) Жуков М.С.

[Updated on: Tue, 07 September 2010 06:00]

Report message to a moderator

[Message index]
 
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Read Message
Previous Topic: AMD vs Intel
Next Topic: Opevz, во время остановки контейнера пропадает сеть
Goto Forum:
  

[ Syndicate this forum (XML) ] [ RSS ] [ PDF ]

Current Time: Sun Jul 27 07:08:13 GMT 2025

Total time taken to generate the page: 0.69137 seconds
Powered by FUDforum Powered by Virtuozzo Containers