OpenVZ Forum


Home » International » Russian » Проблема со Swap'ом
Проблема со Swap'ом [message #22886] Wed, 07 November 2007 04:32 Go to next message
in-system is currently offline  in-system
Messages: 15
Registered: November 2007
Junior Member
Приветствую!
Сколько не бился swap по нулям в top/free
total used free shared buffers cached
Mem: 252920 2892 250028 0 0 0
-/+ buffers/cache: 2892 250028
Swap: 0 0 0

параметры privvmpages выставляються нормально
ядро 2.6.18-ovz-028stab045.1
В чём может быть проблема ?

PS заранее прошу прощение если вопрос уже поднимался (в поиске я не нашол)

[Updated on: Wed, 07 November 2007 04:33]

Report message to a moderator

Re: Проблема со Swap'ом [message #22900 is a reply to message #22886] Wed, 07 November 2007 09:17 Go to previous messageGo to next message
maratrus is currently offline  maratrus
Messages: 1495
Registered: August 2007
Location: Moscow
Senior Member
Здравствуйте,

1. это нормальная ситуация. Дело в том, что для VPS выделяется просто память, и внутри vps не показывается различие между swap и остальной памятью, поэтому в /proc/meminfo (а также в top/free) мы наблюдаем swap по нулям.

2. Можете посмотреть на параметр meminfo для vzclt, он влияет на отображение /proc/meminfo (top/free) внутри VPS (man vzctl).

Report message to a moderator

Re: Проблема со Swap'ом [message #22918 is a reply to message #22900] Wed, 07 November 2007 14:23 Go to previous messageGo to next message
in-system is currently offline  in-system
Messages: 15
Registered: November 2007
Junior Member
Что то не хочет Smile
Ладно другой вопрос:
Скажем есть у меня тестовая машина с 256Mb RAM + 1Gb SWAP
На ней хочу поднять то, что уедет на машину с 1-2Gb RAM
задачи, которым минимум надо 300-400Mb RAM (RAM+SWAP)
как мне эти задачи запустить внутри VPS?
Спасибо за ответ.

[Updated on: Wed, 07 November 2007 14:23]

Report message to a moderator

Re: Проблема со Swap'ом [message #22932 is a reply to message #22918] Wed, 07 November 2007 15:38 Go to previous messageGo to next message
maratrus is currently offline  maratrus
Messages: 1495
Registered: August 2007
Location: Moscow
Senior Member
Здравствуйте,

я не совсем понял вопрос.
Если вы не будете ограничивать VPS через UBC, то запустить подобное приложение равносильно запуску данного приложения на Hardware Node.

Report message to a moderator

Re: Проблема со Swap'ом [message #22937 is a reply to message #22932] Wed, 07 November 2007 16:19 Go to previous messageGo to next message
in-system is currently offline  in-system
Messages: 15
Registered: November 2007
Junior Member
Надо ограничить так что бы получилось 256 RAM и 512 свопа
а как я выше писал сколько не бился свопа нет и в top/free и meminfo он по нулям

[Updated on: Wed, 07 November 2007 16:20]

Report message to a moderator

Re: Проблема со Swap'ом [message #22946 is a reply to message #22932] Wed, 07 November 2007 19:10 Go to previous messageGo to next message
antmix is currently offline  antmix
Messages: 1
Registered: November 2007
Location: Russia, Moscow
Junior Member
Дано:
1 машина 1Gb RAM - 6 контейнеров на базе vserver
1 машина 256Mb RAM - ничего нет, хочется использовать как промежуточную для перехода с vserver на OpenVZ для сокращения даунтайма + хотелось бы проверить все ньюансы до переезда.

Есть софт (например mysql) который в 256Mb не влезает.
Единственная идея - временно поместить часть в swap.
А как выдать OpenVZ-контейнеру памяти больше, чем размер RAM на Hardware Node без свопа - я не представляю.
Есть идеи?
Идея "докупить памяти" мне не особо нравится. Промежуточная/тестовая машина обычно под сервер не используется.

Заранее спасибо за ответы/идеи/предложения.

Report message to a moderator

Re: Проблема со Swap'ом [message #22986 is a reply to message #22937] Fri, 09 November 2007 08:02 Go to previous messageGo to next message
maratrus is currently offline  maratrus
Messages: 1495
Registered: August 2007
Location: Moscow
Senior Member
Здравствуйте,

1. как я уже написал - это нормальная ситуация, поскольку для VPS не важет тип памяти, поэтому вывод значения swap в /proc/meminfo не имеет значения (вот он и отображается нулем). Для VPS Вы можете с помощью параметра meminfo запретить виртуализацию /proc/meminfo (top/free) (будет выводится так же, как и на Hardware Node).
2. Соответственно, если Вы не будете ограничивать VPS через UBC (например все параметры выставить в LONG_MAX), то
запуск подобных приложений равносилен их запуску на обычной Linux Node. А если они будут потреблять много памяти, то для таких приложений будут применяться характерные ограничения, например, постоянное вытеснение в swap или, если ядро решит, то приложение может "прибить" oom_killer.

Report message to a moderator

Re: Проблема со Swap'ом [message #23191 is a reply to message #22986] Wed, 14 November 2007 09:11 Go to previous messageGo to next message
in-system is currently offline  in-system
Messages: 15
Registered: November 2007
Junior Member
Обьясните пожалуйста по подробнее про meminfo, что писать вместе с --meminfo ? а то что то в мане нет ничего про meminfo, или дайте ссылочку где расписано хоть

заранее спасибо!

[Updated on: Wed, 14 November 2007 09:12]

Report message to a moderator

Re: Проблема со Swap'ом [message #23196 is a reply to message #23191] Wed, 14 November 2007 09:34 Go to previous messageGo to next message
maratrus is currently offline  maratrus
Messages: 1495
Registered: August 2007
Location: Moscow
Senior Member
Здравствуйте!
http://openvz.org/documentation/mans/vzctl.8

P.S. Но этот параметр только влияет на вывод команды /proc/meminfo

Report message to a moderator

Re: Проблема со Swap'ом [message #23250 is a reply to message #23196] Wed, 14 November 2007 23:22 Go to previous messageGo to next message
in-system is currently offline  in-system
Messages: 15
Registered: November 2007
Junior Member
Гм
а реально выставить что бы оперативки было 256 и 768 swap'а и что бы это всё показывалось free/top ?

PS что то копаюсь и не могу понять как, срабатывает только --meminfo none (но тогда получаеться всё как на реальной машине,а это не катит)

[Updated on: Wed, 14 November 2007 23:23]

Report message to a moderator

Re: Проблема со Swap'ом [message #23294 is a reply to message #23250] Thu, 15 November 2007 10:23 Go to previous messageGo to next message
vaverin is currently offline  vaverin
Messages: 708
Registered: September 2005
Senior Member
А чем Вас собственно не устраивает /proc/meminfo c hardware node?
Вы хотите знать информацию о потреблении ресурсов внутри VE?
Смотрите /proc/user_beancounters
Вы не понимаете что значат эти параметры?
https://wiki.openvz.org/UBC_parameters_table и далее по ссылкам.
Вы не понимаете как ограничить потребление ресурсов?
https://wiki.openvz.org/UBC_systemwide_configuration

За память в OpenVZ отвечают следующие параметры:
kmemsize -- память которую занимают большинство объектов ядра.
sockbufs -- память под различные сокетные буфера
Эта память не вытесняется в swap, поэтому речь тут идет исключительно о RAM.

userspace memory может быть ограничена privmpages -- но в данном случае речь идет о виртуальной памяти без какого либо разбиения на Ram или Swap.
Privvmpages ограничивает аллокацию памяти, однако понятно, что далеко не вся аллоцированная память реально будет использоватся. поэтому сумма privvmpages может превышать RAM+swap.

Потребление RAM openvz не ограничивает, однако считает его (сумма physpages, kmemsize и sockbuf)
Потребление виртуальной памяти (ram+swap) можно узнав посчитав
сумму oomguarpages, kmemsize и sockbuf.

Как вы видите у нас нет явного ограничения по RAM и по SWAP. privvmpages RAM никак не ограничивает, да и RAM+SWAP может превышать. Наши ограничения имеют несколько другую природу, поэтому свести их к "X RAM + Y SWAP" не получится.

Report message to a moderator

Re: Проблема со Swap'ом [message #23297 is a reply to message #23294] Thu, 15 November 2007 10:42 Go to previous messageGo to next message
in-system is currently offline  in-system
Messages: 15
Registered: November 2007
Junior Member
vaverin wrote on Thu, 15 November 2007 05:23

А чем Вас собственно не устраивает /proc/meminfo c hardware node?
Вы хотите знать информацию о потреблении ресурсов внутри VE?
Смотрите /proc/user_beancounters
Вы не понимаете что значат эти параметры?
https://wiki.openvz.org/UBC_parameters_table и далее по ссылкам.
Вы не понимаете как ограничить потребление ресурсов?
https://wiki.openvz.org/UBC_systemwide_configuration

За память в OpenVZ отвечают следующие параметры:
kmemsize -- память которую занимают большинство объектов ядра.
sockbufs -- память под различные сокетные буфера
Эта память не вытесняется в swap, поэтому речь тут идет исключительно о RAM.

userspace memory может быть ограничена privmpages -- но в данном случае речь идет о виртуальной памяти без какого либо разбиения на Ram или Swap.
Privvmpages ограничивает аллокацию памяти, однако понятно, что далеко не вся аллоцированная память реально будет использоватся. поэтому сумма privvmpages может превышать RAM+swap.

Потребление RAM openvz не ограничивает, однако считает его (сумма physpages, kmemsize и sockbuf)
Потребление виртуальной памяти (ram+swap) можно узнав посчитав
сумму oomguarpages, kmemsize и sockbuf.

Как вы видите у нас нет явного ограничения по RAM и по SWAP. privvmpages RAM никак не ограничивает, да и RAM+SWAP может превышать. Наши ограничения имеют несколько другую природу, поэтому свести их к "X RAM + Y SWAP" не получится.



Я понимаю что значат эти параметры но! хочеться что бы VPS при выводе команды free/top была похожа на реальную железку!

Не реально так не реально!

Report message to a moderator

Re: Проблема со Swap'ом [message #23300 is a reply to message #23297] Thu, 15 November 2007 11:18 Go to previous messageGo to next message
vaverin is currently offline  vaverin
Messages: 708
Registered: September 2005
Senior Member
А виртуализованный /proc/meminfo разве не похож на реальную железку с неким количеством памяти и без свопа вовсе?
Вы хотите чтоб был swap? И чтобы он показывал честное потребление?
На первый взгляд вполне разумное пожелание.
Но к сожалению тут есть проблемы: весь userspace внутри VE в принципе может быть вытеснен в swap. Поэтому максимальный размер swap внутри VE будет равен privvmpages.
Но в то же время в своп может быть вытеснена другая VE, а вся "наша" память будет жить в RAM. поэтому максимальный размер RAM который мы должны показывать внутри VE будет опять таки privvmpages + kmemsize + sockbufs.

В результате /proc/meminfo будет показывать что VE эквивалентна ноде с privvmpages+kmemsize+sockbufs RAM и privvmpages SWAP.
Как мы видим privvmpages тут учитываются _дважды_. И такая аналогия будет выглядеть совсем неправильным. IMHO много хуже чем у нас сейчас сделано (т.е. вообще без swap).

Report message to a moderator

Re: Проблема со Swap'ом [message #27909 is a reply to message #23300] Sun, 02 March 2008 16:39 Go to previous messageGo to next message
seyko2 is currently offline  seyko2
Messages: 188
Registered: February 2007
Location: Moscow
Senior Member
Ну человек наверно хочет зарезервировать за VE кусок реальной памяти (чтоб другим VM не отдавалась). Что-то на подобие XEN. Аналогично и со SWAP (зарезервировать кусок SWAP).

Report message to a moderator

Re: Проблема со Swap'ом [message #29106 is a reply to message #22886] Sat, 05 April 2008 08:14 Go to previous messageGo to next message
JustFake is currently offline  JustFake
Messages: 10
Registered: November 2006
Junior Member
вот эта особенность со свапом кстати довольно сильно конфузит =) т.е. вводит в заблуждение =) возможно было бы лучше еслиб ram и свап были отдельными сущностями и управлялись разными параметрами...

[Updated on: Sat, 05 April 2008 08:15]

Report message to a moderator

Re: Проблема со Swap'ом [message #29140 is a reply to message #29106] Mon, 07 April 2008 04:02 Go to previous messageGo to next message
vaverin is currently offline  vaverin
Messages: 708
Registered: September 2005
Senior Member
OpenVZ по своей сути -- средство управлять группой процессов в рамках одного ядра. Именно поэтому resource management на OpenVZ отличается от resource management на dedicated server или Virtual Machine.

Ядро linux не дает возможности выделить процессу swap. Зачем? Согласитесь, это даже выглядит странно. Возможность выделить процессу RAM -- есть, это locked memory, однако это достаточно странный и реально мало использующийся на практике механизм.

Кроме того, если какой-то ресурс выделен в экслюзивное пользование одной VE, то другие VE его использовать не смогут, даже если он не используется. "Ни себе, ни людям".
Жесткие лимиты -- на cpu, memory или swap -- это костыли существенно снижающие эффективность работы host node,

Конечно же мы не хотим никого конфузить. Но найти более удобный и понятный механизм, не ухудшающий total performance на host system нам пока не удается.

С уваженеим,
Василий Аверин

Report message to a moderator

Re: Проблема со Swap'ом [message #29151 is a reply to message #29140] Mon, 07 April 2008 10:48 Go to previous messageGo to next message
JustFake is currently offline  JustFake
Messages: 10
Registered: November 2006
Junior Member
vaverin wrote on Mon, 07 April 2008 00:02

...skip...

мм, вот оно как, спасибо. Непонятки со свапом, лично у меня, появляются например при "проектировании" системы - т.е. стандартная практика - если на машине 128 оперативы - то должно быть 256 свапа, а если в openvz отсутствует понятие свап для VE - как тогда быть? барьер 128 а лимит 128+256? впринципе так оно и получается, т.к. по моим наблюдениям (vzmemcheck и vzcalc) память для VE выделяется из MemSwap(которой у меня 2956) а не из RAM(945).

зы наблюдение и "вычисление" методом научного тыка - для меня проще чтения документации от А до Я =)

Report message to a moderator

Re: Проблема со Swap'ом [message #29157 is a reply to message #29151] Mon, 07 April 2008 13:57 Go to previous messageGo to next message
vaverin is currently offline  vaverin
Messages: 708
Registered: September 2005
Senior Member
А метод научного тыка всячески приветствуется. Его практическая ценность не подвергается никаким сомнениям. Smile

если есть желание и возможность -- полнимите лимиты повыше и погоняйте VE под нагрузкой. Потом смотрите на /proc/user_beancounters на максимально заюзанные ресурсы. Если есть возможность -- даете желаемое. Если нет -- режете, пока это не сказывается на работоспособности VE.

очевидно что VE c 384 MB лимитом по памяти -- это верхняя граница соответсвия dediacated server с 128 MB ram +256 MB swap
Понятно что dedicated server часть этой памяти использует под системные нужды -- поэтому процессам оставалось (и очевидно было достаточно) меньших ресурсов. Сколько именно требуется для нормальной работы --- это как раз практикой и определяется.

Report message to a moderator

Re: Проблема со Swap'ом [message #29175 is a reply to message #22886] Tue, 08 April 2008 06:37 Go to previous messageGo to next message
JustFake is currently offline  JustFake
Messages: 10
Registered: November 2006
Junior Member
вобщем получается что для соответствия серверу со 128мб ram и 256мб свапа, нужно делать не барьер 128 и лимит 384, а чтото вроде барьер 360(370) и лимит 384, ведь реальный сервер гарантирует "своим" процессам и всю оперативу и весь свап =)

Спасибо, Василий, теперь можно сказать что все на своих местах, можно вынести это в вики, вдруг кого еще свап сконфузит Razz

и такой вопрос по cpuunits... cpuunit по своей сути что? т.е. меня интересует следующее:

у меня есть сервер sempron 2800+ имеющий 80000 и пенек 4й 2.8GHz имеющий 139000, правильно ли я думаю, что установленный для VE cpuunit в 50000 - означает одну и туже производительность(если брать во внимание исключительно процессор) на обеих машинах?(пенек стоит у хостера и отключен за неуплату Very Happy не имею возможности бенчмаркнуть)

[Updated on: Tue, 08 April 2008 06:40]

Report message to a moderator

Re: Проблема со Swap'ом [message #29176 is a reply to message #29175] Tue, 08 April 2008 06:56 Go to previous message
vaverin is currently offline  vaverin
Messages: 708
Registered: September 2005
Senior Member
про cpuunits я писал здесь:
http://forum.openvz.org/index.php?t=msg&goto=25224&& amp;srch=CPUUNITS#msg_25224
и здесь
http://forum.openvz.org/index.php?t=msg&goto=26196&& amp;srch=cpuunits#msg_26196

Посмотрите, почитайте. вроде доходчиво получилось.
Если будут вопросы -- спрашивайте, но лучше в другом thread-е

Report message to a moderator

Previous Topic: /* RESOLVED */ Не могу удалить VPS
Next Topic: Пробле при сборке ядра
Goto Forum:
  

[ Syndicate this forum (XML) ] [ RSS ] [ PDF ]

Current Time: Thu Apr 25 11:17:50 GMT 2024

Total time taken to generate the page: 0.01594 seconds
Powered by FUDforum Powered by Virtuozzo Containers