SafeSurf на Виртальной машине KVM (Linux)

Обсуждение работы системы JetSwap. Общий форум для всех вопросов, для которых не создано отдельных форумов.
Аватара пользователя
loller5
Сообщения: 2498
Зарегистрирован: 28 ноя 2010, 01:32
Откуда: Из гнезда.

Re: SafeSurf на Виртальной машине KVM (Linux)

Непрочитанное сообщение loller5 » 25 авг 2017, 10:14

KSM сжимает одинаковые страницы в памяти, следовательно на одинаковых системах можно ужать достаточно много, учитывая, что образ один юзается.
Сколько для личной статистики с каждой VM ужимается страниц?

zl0y
Сообщения: 141
Зарегистрирован: 09 июн 2012, 16:02

Re: SafeSurf на Виртальной машине KVM (Linux)

Непрочитанное сообщение zl0y » 25 авг 2017, 11:19

loller5 писал(а):
25 авг 2017, 10:14
Сколько для личной статистики с каждой VM ужимается страниц?
$ cat /sys/kernel/mm/ksm/pages_shared
251236
$ cat /sys/kernel/mm/ksm/pages_sharing
21696047

Аватара пользователя
loller5
Сообщения: 2498
Зарегистрирован: 28 ноя 2010, 01:32
Откуда: Из гнезда.

Re: SafeSurf на Виртальной машине KVM (Linux)

Непрочитанное сообщение loller5 » 25 авг 2017, 11:28

zl0y писал(а):
25 авг 2017, 11:19
loller5 писал(а):
25 авг 2017, 10:14
Сколько для личной статистики с каждой VM ужимается страниц?
$ cat /sys/kernel/mm/ksm/pages_shared
251236
$ cat /sys/kernel/mm/ksm/pages_sharing
21696047
А в попугаях, то есть метрах? (:

drachev
Сообщения: 70
Зарегистрирован: 23 апр 2012, 22:06

Re: SafeSurf на Виртальной машине KVM (Linux)

Непрочитанное сообщение drachev » 25 авг 2017, 12:49

zl0y писал(а):
25 авг 2017, 10:12
у KSM другая математика )),
КЭП: чем больше однотипных систем тем больше экономия места
у меня еще с 10 Гб под КЭШ осталось ;)
Да, интересная математика получается...
Если 10 Гб под КЭШ осталось, значит на одну виртуалку расходуется 54/300=180Мб
В гостевой ХР с серфом подкачка постоянно порядка 250Мб.
Получается KSM дедуплицирует 250Мб в 180Мб. Это то, что у виртуалок сильно разное и KSM не сильно сжимает.
А вот остальные 250Мб из 500Мб у всех виртуалок одинаковые и KSM сжимает их все в 0 !
Нормальный ход!
zl0y писал(а):
25 авг 2017, 10:12
один мастер образ в режиме чтения (пару гиг) + diff образы (tmp) пару сотен МБ на виртуалку
(qemu-img create -b <imagename1> -f qcow2 -l <imagename2>)
проц: i7-3930K
Получается мастер и diff образы всех виртуалок в сумме порядка 62Гб. На 512Гб ссд им грустно не будет!
К чему вся эта арифметика ?
У меня 5820к 32Гб рам 512Гб ссд тащит 250 виртуалок, но на каждой 128Мб т.к. все под виндой.
При активном серфе у всех виртуалок одновременно проц уже начинает заметно подтормаживать.
А у тебя аналогичный проц кроме обслуживаиня 300 виртуалок (а экземпляр виртуалки требует примерно такой же работы т.к. гости - ХР), еще и KSM умудряется обслуживать, а это весьма трудоемкая работа!
Немного озадачен....

Аватара пользователя
loller5
Сообщения: 2498
Зарегистрирован: 28 ноя 2010, 01:32
Откуда: Из гнезда.

Re: SafeSurf на Виртальной машине KVM (Linux)

Непрочитанное сообщение loller5 » 26 авг 2017, 03:04

drachev писал(а):
25 авг 2017, 12:49
zl0y писал(а):
25 авг 2017, 10:12
один мастер образ в режиме чтения (пару гиг) + diff образы (tmp) пару сотен МБ на виртуалку
(qemu-img create -b <imagename1> -f qcow2 -l <imagename2>)
проц: i7-3930K
Получается мастер и diff образы всех виртуалок в сумме порядка 62Гб. На 512Гб ссд им грустно не будет!
К чему вся эта арифметика ?
У меня 5820к 32Гб рам 512Гб ссд тащит 250 виртуалок, но на каждой 128Мб т.к. все под виндой.
При активном серфе у всех виртуалок одновременно проц уже начинает заметно подтормаживать.
А у тебя аналогичный проц кроме обслуживаиня 300 виртуалок (а экземпляр виртуалки требует примерно такой же работы т.к. гости - ХР), еще и KSM умудряется обслуживать, а это весьма трудоемкая работа!
Немного озадачен....
Есть https://habrahabr.ru/post/143083/
1% CPU потребления и вместо сканирования 250 МБ/c
scan memory areas that does not contain duplicated pages at speed of 627MB/sec ~ 2445MB/sec and can merge duplicated areas at speed of 477MB/sec ~ 923MB/sec

drachev
Сообщения: 70
Зарегистрирован: 23 апр 2012, 22:06

Re: SafeSurf на Виртальной машине KVM (Linux)

Непрочитанное сообщение drachev » 27 авг 2017, 02:28

loller5 писал(а):
26 авг 2017, 03:04
Есть https://habrahabr.ru/post/143083/
1% CPU потребления и вместо сканирования 250 МБ/c
scan memory areas that does not contain duplicated pages at speed of 627MB/sec ~ 2445MB/sec and can merge duplicated areas at speed of 477MB/sec ~ 923MB/sec
Так там речь идет об UKSM, это считай совершенно другой алгоритм совмещения. UKSM да, проц практически не грузит.
А тут обсуждают KSM, который, насколько я понял по отзывам, создает приличную доп нагрузку процу.
Уточнение-вопросы для zl0y:
- Из 300 в наличии сколько реально работают одновременно, т.е. крутятся с серфом, просматривающим сайты ?
- Какая загрузка проца в моменты, когда очень многим ВМ одновременно достается просмотр ?
(Такое обычно происходит в начале часа и особенно в начале суток).

zl0y
Сообщения: 141
Зарегистрирован: 09 июн 2012, 16:02

Re: SafeSurf на Виртальной машине KVM (Linux)

Непрочитанное сообщение zl0y » 28 авг 2017, 08:33

drachev писал(а):
27 авг 2017, 02:28
Так там речь идет об UKSM, это считай совершенно другой алгоритм совмещения. UKSM да, проц практически не грузит.
А тут обсуждают KSM, который, насколько я понял по отзывам, создает приличную доп нагрузку процу.
UKSM работает для всей системы, KSM для приложений собранных с поддержкой KSM (гипервизор)

явного преимущества у UKSM нет и вдобавок, для его использования надо пересобирать ядро, KSM по умолчанию входит в состав ядра как и модуль KVM
drachev писал(а):
27 авг 2017, 02:28
Уточнение-вопросы для zl0y:
- Из 300 в наличии сколько реально работают одновременно, т.е. крутятся с серфом, просматривающим сайты ?
- Какая загрузка проца в моменты, когда очень многим ВМ одновременно достается просмотр ?
(Такое обычно происходит в начале часа и особенно в начале суток).
максимальной нагрузки я достигаю редко (даже в начале часа), но тут скорее больше зависит от количество уникальных IP
при идеальных условиях (очень редко), если более сотни виртуалок находятся в активном серфе, я могу нагрузить проц на 90%
но даже при этом, диск не насилуется (iostat показывает незначительную активность), что характерно для других систем виртуализации
у которых гостевые системы (виртуалки) "умирают" в ожидании системы ввода-вывода - паравиртуализированные драйвера (virtio) дают неплохую производительность

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 10 гостей