OpenVZ Forum


Home » International » Russian » А возможно ли сделать след. на OpenVZ
А возможно ли сделать след. на OpenVZ [message #6149] Sun, 10 September 2006 10:27 Go to next message
HappyAlex is currently offline  HappyAlex
Messages: 27
Registered: September 2006
Junior Member
очень интересный продукт, хочу погонять его Wink
и так ..
пока мы маленькая Хостинг компания, но хотим предоставлять VDS нашим клиентам
интесуют вопросы
каждый клиент получает я так понимаю свой кусок места свои рессурсы
каждый пользователь может запустить свой апач ?! свой неймед !? свой маскуль ?! или все то что он хочет ?!
ресурсы не пересекаются с другими процессами других VDS ?

вот еще какой вопрос
Я рассматриваю систему от RH GFS
будет ли работать OPenVZ c GFS ?

Возможно ли организовать след.
скажем на Сервере я поднимаю 3 VDS
мне нужно след. при отказе одной с VDS в работу включался след. VDS или любой из 2 оставшися .. т.е брал на себя роль умершего VDS можно это сделать или нет ?

[Updated on: Sun, 10 September 2006 10:29]

Report message to a moderator

Re: А возможно ли сделать след. на OpenVZ [message #6151 is a reply to message #6149] Sun, 10 September 2006 16:38 Go to previous messageGo to next message
Vasily Tarasov is currently offline  Vasily Tarasov
Messages: 1345
Registered: January 2006
Senior Member
Quote:

каждый пользователь может запустить свой апач ?! свой неймед !? свой маскуль ?! или все то что он хочет ?!

Если вы выдаёте VE per client, т.е. каждому клиенту свой VE с рутовым доступом - то клиент, как root имеет полный контроль над VE: может ставить, запускать всё, что хочет, не выходя при этом из VEшных лимитов.

Quote:

ресурсы не пересекаются с другими процессами других VDS?

Извините, не очень понимаю что вы имеете в виду? Поясните на примере, пожалуйстаю.

Quote:

Возможно ли организовать след.
скажем на Сервере я поднимаю 3 VDS
мне нужно след. при отказе одной с VDS в работу включался след. VDS или любой из 2 оставшися .. т.е брал на себя роль умершего VDS можно это сделать или нет ?

Главное понять, что является "отказом VE", т.е. по какому признаку это определять. Пример: вы с некоторым промежутком времени делает http запросы на apache server, запущенный в VE. Если запросы перестают обрабатываться - скрипт либо перезапускает этот VE, либо запускает второй, с теми же настройками...

Что касается RH GFS... В принципе, проблем быть не должно, с двумя оговорками.
1) Ядрёный модуль от gfs вам придётся билдить самим как модуль к OpenVZ ядру. А так как OpenVZ ядро изменённое - могут возникнуть некоторые проблемы. Например, сообщается: http://forum.openvz.org/index.php?t=tree&th=909&mid= 4931&&rev=&reveal=
Но я думаю эта проблема решается достаточно быстро.
2) OpenVZ disk quota не будет работать на GFS.
Re: А возможно ли сделать след. на OpenVZ [message #6161 is a reply to message #6151] Mon, 11 September 2006 03:21 Go to previous messageGo to next message
HappyAlex is currently offline  HappyAlex
Messages: 27
Registered: September 2006
Junior Member
упс сорри на счет пересекаются,
я имел ввиду-то, что апач запущенный в разных VDS попортам
но Вы уже ответили
Спасибо большое
Re: А возможно ли сделать след. на OpenVZ [message #6178 is a reply to message #6149] Mon, 11 September 2006 10:43 Go to previous messageGo to next message
Rommer is currently offline  Rommer
Messages: 25
Registered: January 2006
Location: Belarus
Junior Member

> 2) OpenVZ disk quota не будет работать на GFS.
Откуда такие сведения?
Кто-нибудь это уже запускал VPS'ы на OpenVZ?
Или по аналогии с NFS?
Re: А возможно ли сделать след. на OpenVZ [message #6179 is a reply to message #6178] Mon, 11 September 2006 10:51 Go to previous messageGo to next message
Vasily Tarasov is currently offline  Vasily Tarasov
Messages: 1345
Registered: January 2006
Senior Member
по аналогии...
Re: А возможно ли сделать след. на OpenVZ [message #6181 is a reply to message #6149] Mon, 11 September 2006 11:18 Go to previous messageGo to next message
Rommer is currently offline  Rommer
Messages: 25
Registered: January 2006
Location: Belarus
Junior Member

Ясно. Просто я сейчас как-раз пытаюсь портировать GFS под openvz ядро. Попутно вопрос:
Изменилось количество аргументов в функции invalidate_inodes (было 1 - стало 2). Вторым аргуменом в патче ставится 0 в файловых системах. В gfs тоже ставить 0 насколько я понимаю?
Re: А возможно ли сделать след. на OpenVZ [message #6182 is a reply to message #6181] Mon, 11 September 2006 11:34 Go to previous messageGo to next message
Vasily Tarasov is currently offline  Vasily Tarasov
Messages: 1345
Registered: January 2006
Senior Member
Отличная новость. Потом расскажите о резульатах! Smile
Да, нолик вторым аргументом в invalidate_inodes подходит.
Re: А возможно ли сделать след. на OpenVZ [message #6194 is a reply to message #6149] Mon, 11 September 2006 17:20 Go to previous messageGo to next message
Rommer is currently offline  Rommer
Messages: 25
Registered: January 2006
Location: Belarus
Junior Member

Портировал. Монтирую, делаю VPS, запускаю VPS - работает. Квоты не считаются и периодически выскакивеат вот это:

Positive vm_rss: process pid 17097 comm gfs_glockd flags 400040, vma 0729d338 0804f000-080500
00 0926b4c0 rss 1 freed 0
 flags 101873, ub 100
 [<0216436f>] warn_bad_zap+0xff/0x120
 [<0216480d>] zap_page_range+0x16d/0x180
 [<02165a78>] unmap_mapping_range+0x168/0x1e0
 [<0a97327b>] gfs_inval_pte+0x7b/0xa0 [gfs]
 [<0a955160>] inode_go_drop_th+0x10/0x20 [gfs]
 [<0a950636>] rq_demote+0xb6/0xd0 [gfs]
 [<0a950092>] gfs_holder_get+0x42/0x50 [gfs]
 [<0a95077d>] run_queue+0xdd/0xf0 [gfs]
 [<0a9508db>] unlock_on_glock+0x2b/0x40 [gfs]
 [<0a9538c7>] gfs_reclaim_glock+0x157/0x1c0 [gfs]
 [<02121030>] default_wake_function+0x0/0x20
 [<0a941a28>] gfs_glockd+0x58/0x110 [gfs]
 [<02121030>] default_wake_function+0x0/0x20
 [<02121030>] default_wake_function+0x0/0x20
 [<0a9419d0>] gfs_glockd+0x0/0x110 [gfs]
 [<02104321>] kernel_thread_helper+0x5/0x14

Чтобы это могло быть?
Похожие симптомы у всех сетевых файловых систем (кроме NFS), что я пробовал с openvz (lustre, gfs), при работе VPS 'а.
Re: А возможно ли сделать след. на OpenVZ [message #6196 is a reply to message #6194] Mon, 11 September 2006 18:37 Go to previous messageGo to next message
Rommer is currently offline  Rommer
Messages: 25
Registered: January 2006
Location: Belarus
Junior Member

Согласно вашим предположениям насчёт квот на NFS:
http://forum.openvz.org/index.php?t=msg&goto=5101#msg_51 01
GFS должна работать, т. к. квоты в ней считает клиент, а не сервер, поскольку сервер предтавляет из себя машину, которая просто предоставляет block device по сети (NBD, GNBD, iSCSI). Файловая система уже монтируется с любого блочного устройства локально на нодах кластера:

Allows a cluster of computers to simultaneously use a block 
device that is shared between them (with FC, iSCSI, NBD, etc...). 
GFS reads and writes to the block device like a local filesystem, 
but also uses a lock module to allow the computers coordinate 
their I/O so filesystem consistency is maintained.  One of the 
nifty features of GFS is perfect consistency -- changes made to 
the filesystem on one machine show up immediately on all other 
machines in the cluster.


Я думаю, что заставить VPS'ы работать на GFS вполне реально, поскольку я не вижу никаких технических и теоретических
препятствий для этого. В результате должно получиться что-то вроде этого:
http://wiki.openvz.org/HA_cluster_with_DRBD_and_Heartbeat
только не надо будет, чтобы машины простаивали, ожидая, пока свалится active-сервер, и с возможность практически моментального
мигрирования VPS'ов между нодами.
Re: А возможно ли сделать след. на OpenVZ [message #6219 is a reply to message #6194] Tue, 12 September 2006 09:16 Go to previous messageGo to next message
Vasily Tarasov is currently offline  Vasily Tarasov
Messages: 1345
Registered: January 2006
Senior Member
Можете дать ссылку на сырцы GFS?
Спасибо.
Re: А возможно ли сделать след. на OpenVZ [message #6238 is a reply to message #6149] Tue, 12 September 2006 13:14 Go to previous messageGo to next message
Rommer is currently offline  Rommer
Messages: 25
Registered: January 2006
Location: Belarus
Junior Member

ok. вот мои наработки:
http://dl.activeby.net/rpms/gfs-ovz/

Я использовал 2.6.9-023stab016.2-enterprise, но в нём нужно включить POSIX_ACL, иначе gfs не подгрузится. Я сделал это так:

1. Нужно скачать и установить:
http://download.openvz.org/kernel/rhel4/023stab016.2/ovzkern el-2.6.9-023stab016.2.src.rpm

2. /usr/src/redhat/SPEC/kernel-ovz.spec нужно заменить на этот:
http://dl.activeby.net/rpms/gfs-ovz/ovzkernel/kernel-ovz.spe c

3. Вот этот патч
http://dl.activeby.net/rpms/gfs-ovz/ovzkernel/enterprise-pos ix-acl.patch
нужно положить в /usr/src/redhat/SOURCES

4. Ну и пересобрать enterprise ядро:
# cd /usr/src/redhat/SPEC
# rpmbuild --target=i686 -bb kernel-ovz.spec


Теперь как я ставлю gfs:
Во первых тестирую всё локально, т. е. block device использую локальный (в моём случае /dev/hdc1)

1. Нужно пересобрать все rpm-ки из
http://dl.activeby.net/rpms/gfs-ovz/
Я делал это на centos-4.2.
Получившееся ранее ovzkernel-2.6.9-023stab016.2.i686.rpm с включенным POSIX_ACL должно быть установлено.
Патч к GFS находится в
http://dl.activeby.net/rpms/gfs-ovz/GFS-kernel-2.6.9_023stab 016.2-58.3.centos4.src.rpm
В остальных я ничего не менял, либо менял только spec-файл чтобы собралось под 2.6.9-023stab016.2-enterprise

2. Всё, что собралось нужно поставить (кроме *-debuginfo-*)

3. Далее так ({hostname} - это имя сервера, должно резолвится не в 127.0.0.1):
# gfs_mkfs -t cluster:st01 -p lock_dlm -j 2 /dev/hdc1
...
# ccs_tool create cluster
# ccs_tool addfence manual fence_manual
# ccs_tool addnode -v 1 -f manual {hostname}
# reboot (в новое ядро 2.6.9-023stab016.2-enterprise)
...


4. После ребута:
# mkdir /vz
# mount -t gfs /dev/hdc1 /vz


5. Теперь стандартная установка vzctl, vzctl-lib, vzquota, и т. д. и т. п.

Ошибки начинают вылазить не сразу - где-то через минуты 2 после старта VPS'а. Квоты не считаются никак.

[Updated on: Tue, 12 September 2006 13:42]

Report message to a moderator

Re: А возможно ли сделать след. на OpenVZ [message #6276 is a reply to message #6238] Wed, 13 September 2006 08:13 Go to previous messageGo to next message
Rommer is currently offline  Rommer
Messages: 25
Registered: January 2006
Location: Belarus
Junior Member

Да, совсем забыл ссылку на оригинальные rpm'ки с srpm'ки:
http://isoredirect.centos.org/centos/4/csgfs/
Re: А возможно ли сделать след. на OpenVZ [message #6295 is a reply to message #6149] Wed, 13 September 2006 15:52 Go to previous messageGo to next message
Rommer is currently offline  Rommer
Messages: 25
Registered: January 2006
Location: Belarus
Junior Member

Вы что-нибудь пытались сделать с GFS'ом?
Re: А возможно ли сделать след. на OpenVZ [message #6318 is a reply to message #6295] Thu, 14 September 2006 06:05 Go to previous messageGo to next message
Vasily Tarasov is currently offline  Vasily Tarasov
Messages: 1345
Registered: January 2006
Senior Member
Собираюсь в плотную заняться этим в конце неделе, может в начале следующей! Т.е. as far as possible. Smile
Re: А возможно ли сделать след. на OpenVZ [message #7235 is a reply to message #6149] Sun, 08 October 2006 10:48 Go to previous message
HappyAlex is currently offline  HappyAlex
Messages: 27
Registered: September 2006
Junior Member
Добрый день, Вы какие либо работы проводили с GFS ?
кстати как на счет SAN ?
Previous Topic: Apache vhosts
Next Topic: Проброс физического eth0 внутрь VE
Goto Forum:
  


Current Time: Sun May 19 10:48:01 GMT 2024

Total time taken to generate the page: 0.00520 seconds