Автоматический контроль виртуальных машин

Обсуждение новостей системы JetSwap
Аватара пользователя
JetSwap
Администратор
Сообщения: 392
Зарегистрирован: 05 фев 2009, 22:54
Откуда: JetSwap
Контактная информация:

Автоматический контроль виртуальных машин

Непрочитанное сообщение JetSwap » 06 мар 2019, 23:26

Уважаемые пользователи!

Полным ходом идет разработка системы управления виртуальными машинами, которая позволит в автоматическом режиме контролировать их работу, обновлять SafeSurf, при этом не требуя авторизацию для каждой виртуальной машины.
Мы планируем достичь работу в режиме "установил и забыл".

Чтобы лучше понимать, как именно вы используете VirtualBox, мы хотели бы у вас узнать, какие настройки вы изменяете в VirtualBox относительно стандартных, а также любые дополнительные сведения, которые помогут организовать использование системных ресурсов максимально рационально:
  • Тип подключения к сети - NAT, сеть NAT, сетевой мост, виртуальный адаптер хоста и т.п.
  • Установлены ли у вас гостевые дополнения?
  • Какую хостовую ОС используете и какой версии?
  • Делаете ли полный клон базовой виртуальной машины или же ссылку на нее?
  • Используете ли Proxifier или какие-то другие программы для проксирования трафика?
  • Используете ли Sandboxie внутри виртуальной машины?
  • Любые другие изменения, которые вы вносите в стандартные настройки виртуальной машины
Чем более полные сведения мы от вас получим, тем больше вероятность, что больше вероятность, что программа управления будет работать именно так, как хотелось бы вам :D
Также принимаем любые пожелания относительно функционала данной программы.

:idea: Ответы можете публиковать здесь или присылать в службу поддержки через форму контактов.

:idea: Вы также можете принять участие в тестировании в числе первых, для этого отправьте заявку в службу поддержки. Участники тестирования получат, помимо раннего доступа, дополнительный бонус в виде полугодового бесплатного использования программы.
С уважением, Администрация.
http://www.jetswap.com

Hans
Сообщения: 586
Зарегистрирован: 24 май 2010, 20:33

Re: Автоматический контроль виртуальных машин

Непрочитанное сообщение Hans » 07 мар 2019, 06:39

Очень нужное решение. :D
Последний раз редактировалось Hans 05 апр 2019, 04:37, всего редактировалось 1 раз.
Архивация информации в любой точке пространства-времени.
Открыт метод архивации любой информации через область бесконечно удаленных точек не на известных носителях информации, а в вакууме через единичные импульсы специальной приставки к компьютеру.

dimonz1980
Сообщения: 19
Зарегистрирован: 14 ноя 2013, 18:01

Re: Автоматический контроль виртуальных машин

Непрочитанное сообщение dimonz1980 » 07 мар 2019, 12:17

Может я что то пропустил, поэтому такой вопрос:
Это нововведение к виртуалкам будет принудительно или по желанию?
Это будет на платной основе?
По описанию от Hans, вижу что БУБНЫ у всех разные(очень разные). Соглашусь с контролем качества - пусть как то отклоняет айпи(или предупреждает), потому как нет смысла гонять машину с айпи на котором трафик идти не будет(конечно так будет проще). И да, то же согласен с проксифицированием, не нужно усложнять, смысла в этом нет.

Аватара пользователя
Support
Служба поддержки
Сообщения: 4469
Зарегистрирован: 08 фев 2009, 19:24
Откуда: JetSwap
Контактная информация:

Re: Автоматический контроль виртуальных машин

Непрочитанное сообщение Support » 08 мар 2019, 00:45

Hans писал(а):
07 мар 2019, 06:39
1. Тип подключения к сети - сетевой мост. NAT не надёжен.
Я так понимаю клоны получают свои IP от имеющегося в сети DHCP сервера?
Тут есть такой момент, что программа управления должна напрямую подключиться к SafeSurf по сети без прокси, иначе ничего работать не сможет.
Как минимум будет непонятно, прокси умер или виртуалка, если будут какие-то проблемы.
Будут ли у вас проблемы с прямым подключением от хоста к виртуалке, когда SafeSurf использует прокси?
Hans писал(а):
07 мар 2019, 06:39
2. В VirtualBox без гостевых дополнений не обойтись.
Если кто-то обходится, пишите :) Иначе будем на 100% рассчитывать на этот вариант.
Тогда можно обойтись без surfguard, его функции одна на всех будет выполнять программа внешнего контроля виртуалок.
Hans писал(а):
07 мар 2019, 06:39
Просьба не делать проксирование, как это сделано у ближайшего конкурента - программа периодической смены на случайные прокси вносит путаницу с работой виртуальных машин на хосте - возможное подключение одинаковых прокси к разным клонам будет просто выводить из работы машины. Или разрешить также и вариант ручной установки своего прокси, более качественного, чем предлагают программы.
Мы планируем сделать так, чтобы вы могли список прокси загнать через сайт просто в текстовое поле или через API, а конкретные экземпляры уже будет получать прокси случайным образом. Но ни в коем случае они не получат уже занятые прокси, только свободные, причем проверка будет идти в целом по системе, а не только по вам.
При этом можно будет вызывать скрипт установки конкретного прокси из списка или его смены.
Hans писал(а):
07 мар 2019, 06:39
7. Просьба не привязывать авторизацию к изменению памяти виртуальной машины. Если это понадобится только для одной ВМ, при этом автоматически будут авторизованы и другие машины, то можно.
Для авторизации будет использоваться только ключ для программы управления, она вообще не будет ни к чему привязана кроме нее.
Разве что один ключ не смогут использовать несколько программ управления, т.е. для каждого сервера нужен будет отдельный ключ. Для клонов вообще никакая авторизация будет не нужна.
Hans писал(а):
07 мар 2019, 06:39
Для контроля качества прокси очень не помешало бы встроить программку, аналогичную указанной ниже:
контроль прокси
Смысл такой. Каждые 5 мин проходит двойная проверка прокси. Пинга прокси достаточно одного для экономии ресурсов. Из практики двойная однопинговая проверка надёжнее и быстрее, чем двойной пинг. Можно сделать ограничение и по их скорости. В случае некачественного выбрасывается сигнал, чтоб его было хорошо видно в окнах Превью менеджера виртуальных машин при беглом просмотре, и блокируется работа SafeSurf. Как-то так.
А зачем выбрасывать какой-то сигнал о некачественной работе прокси, когда можно просто сменить некорректно работающий прокси?
dimonz1980 писал(а):
07 мар 2019, 12:17
Это нововведение к виртуалкам будет принудительно или по желанию?
На данный момент по желанию.
Но в будущем необходимо будет использовать нашу или любую другую сборку VirtualBox с качественной имитацией реального оборудования.
dimonz1980 писал(а):
07 мар 2019, 12:17
Это будет на платной основе?
Поскольку авторизация SafeSurf будет упрощена, то чтобы не допустить злоупотреблений, использование программы управления будет платным, но его можно будет оплачивать бонусами.
dimonz1980 писал(а):
07 мар 2019, 12:17
По описанию от Hans, вижу что БУБНЫ у всех разные(очень разные).
Программа будет настроена на какие-то определенные бубны :D Поэтому и узнаем, на какие бубны ее затачивать :D
С уважением, Служба поддержки.
http://www.jetswap.com

Hans
Сообщения: 586
Зарегистрирован: 24 май 2010, 20:33

Re: Автоматический контроль виртуальных машин

Непрочитанное сообщение Hans » 08 мар 2019, 05:32

Support писал(а):
08 мар 2019, 00:45
Я так понимаю клоны получают свои IP от имеющегося в сети DHCP сервера?
Да, DHCP сервер автоматически распределяет каждому клону свои внутренние IP.
Как минимум будет непонятно, прокси умер или виртуалка, если будут какие-то проблемы.
После устранения проблемы со слетанием авторизации виртуалки почти не умирают, можно сказать, вечные. Вероятность смерти виртуалки сейчас составляет доли процента, чем можно пренебречь, и отличить её смерть от мёртвого прокси очень легко. Как правило, она выдаёт BlueScreen.
Будут ли у вас проблемы с прямым подключением от хоста к виртуалке, когда SafeSurf использует прокси?
Это уже будет видно при тестировании.
Последний раз редактировалось Hans 22 апр 2019, 03:55, всего редактировалось 2 раза.
Архивация информации в любой точке пространства-времени.
Открыт метод архивации любой информации через область бесконечно удаленных точек не на известных носителях информации, а в вакууме через единичные импульсы специальной приставки к компьютеру.

dimonz1980
Сообщения: 19
Зарегистрирован: 14 ноя 2013, 18:01

Re: Автоматический контроль виртуальных машин

Непрочитанное сообщение dimonz1980 » 08 мар 2019, 11:55

Обходится прекрасно без гостевых дополнений…(подхватывает эмуляцию мыши клавы, без проблем)…
Версия 4.3.12 (4.х.х – самые легкие, но а там кому как)
Хост - Убунту…. Использую NAT – нет проблем..
Проксификация – как для меня, мне достаточно того что есть, сделайте выбор – кому списки (оптом) а кому и так пойдёт.
« использовать нашу или любую другую сборку VirtualBox с качественной имитацией реального оборудования»… - любая сборка палится,.. это ставить дополнительные программы для имитации другого железа – а это дополнительная память и нагрузка (если конечно не сделать это в самой программе, как в случае с подменной userAgent).
Использую сандбокс в виртуалке – не спрашиваем почему , .. вот такая МУЗЫКА…
Почему нельзя сделать запуск нескольких программ одновременно?.. так можно вообще избавится от виртуальных машин,.. и ресурсов больше хватит….

vitaleev
Сообщения: 11
Зарегистрирован: 29 ноя 2013, 09:41

Re: Автоматический контроль виртуальных машин

Непрочитанное сообщение vitaleev » 08 мар 2019, 13:13

Загадал старик желание и понеслось...
А мне достаточно просто знать какая машинка сколько кредитов принесла к примеру за сутки.
Остальную "автоматику" (смена IP, перезагрузка, чистка диска...) легко батником замутить.
VirtualBox однозначно не пользуюсь только Qemu-kvm.
Ubuntu server 18.04 рулит! - сто раз проверял, даже Debian медленнее.
NAT по умолчанию - пашет без проблем.
Далее по желанию, кому то Proxifier, где то OpenVPN...
Главное убрать авторизацию для каждой виртуальной машины и статистика по каждой виртуалке по кредитам.

Аватара пользователя
Support
Служба поддержки
Сообщения: 4469
Зарегистрирован: 08 фев 2009, 19:24
Откуда: JetSwap
Контактная информация:

Re: Автоматический контроль виртуальных машин

Непрочитанное сообщение Support » 08 мар 2019, 14:54

Hans писал(а):
08 мар 2019, 05:32
Единственное пожелание, чтоб программа внешнего контроля не зависела от версий виртуалок.
К сожалению это пожелание выполнить не удастся, она делается под 6 версию, и неспроста.
Мы знаем одну сборку VirtualBox, в которую верит даже гугл. Она основана на 6 версии VirtualBox и сделана под Windows.
Но в качестве гостевой системы должна использоваться как минимум Windows 7.

Разумеется, в этом случае расход ресурсов будет заметно выше.
Но это не должно являться большой проблемой сразу по нескольким причинам:
  • Если конкретная виртуалка не занята показом сайта на данный момент, она будет ставиться на паузу и потреблять 0% процессора.
  • Пока виртуалка на паузе, запросы от ее имени будет отправлять программа контроля. Как только она получит сайт, виртуалка с паузы снимется и продолжит работу
  • Система будет стараться минимизировать простой на паузе запущенных виртуалок, подбирая показы для других прокси, находящихся в списке, и меняя их при необходимости автоматически.
  • И самое главное - виртуалки перестанут палиться, а значит будет значительно больший спрос на показы
Это изменение не будет принудительным, вы сможете остаться и на старой версии, однако у рекламодателей появится фильтр виртуалок, которые палятся. Думаю, что пользоваться им будут активно :D
Hans писал(а):
08 мар 2019, 05:32
Да, DHCP сервер автоматически распределяет каждому клону свои внутренние IP, а прокси уже вставляются скриптом в Свойства обозревателя через реестр.
В этом случае не должно быть большой проблемы прописать в виртуалках маршруты, чтобы локальный трафик на прокси не уходил.
Hans писал(а):
08 мар 2019, 05:32
Было бы неплохо. Именно так я и делаю в настоящее время. Из текстового списка вручную скриптом мёртвые прокси заменяю на рабочие. Если они будут вводиться автоматически, то это замечательно. Скрипты по поиску, и сортировке прокси заточены под конкретные сайты. Но если ваша программа будет искать прокси на любом сайте при введении его адреса, очень хорошо.
Нет, делать парсинг сайтов с прокси и раздавать их всем мы не планируем :)
Поиск прокси зависит от вас, а уже найденные прокси вы сможете ввести через наш сайт или API в общий список.
Это будет нужно, если у вас несколько серверов, чтобы не синхронизировать данные между ними.
dimonz1980 писал(а):
08 мар 2019, 11:55
Хост - Убунту…. Использую NAT – нет проблем..
Сможете перейти на "Сеть NAT"?
В принципе контроллер должен запуститься через mono или wine, он будет консольным приложением без лишних приблуд, но если вдруг нет, то мы планируем предусмотреть возможность создать отдельную ВМ под windows для запуска контроллера, тогда он должен работать в той же сети NAT, что и другие виртуалки, чтобы они могли до него достучаться. При этом к нему также будет подключаться по сети запускаемый на хосте простенький скрипт, который будет транслировать команды для vboxmanage.
dimonz1980 писал(а):
08 мар 2019, 11:55
сделайте выбор – кому списки (оптом) а кому и так пойдёт.
Выбор разумеется сделаем, но без знания списка IP, доступного для вас, система не сможет подбирать вам в фоновом режиме прокси, для которых есть показы.
dimonz1980 писал(а):
08 мар 2019, 11:55
« использовать нашу или любую другую сборку VirtualBox с качественной имитацией реального оборудования»… - любая сборка палится,.. это ставить дополнительные программы для имитации другого железа – а это дополнительная память и нагрузка (если конечно не сделать это в самой программе, как в случае с подменной userAgent).
Как выше описал, не любая, но именно использующая виртуалки. Чисто программная имитация палится сильно, поэтому не имеет смысла.
dimonz1980 писал(а):
08 мар 2019, 11:55
Почему нельзя сделать запуск нескольких программ одновременно?.. так можно вообще избавится от виртуальных машин,.. и ресурсов больше хватит….
Из-за проблем эффективного разделения среды выполнения - данные из движка браузера одной программы могут утекать в другой.
Лучший и наиболее надежный способ добиться разделения - виртуалки. + все равно отпечаток системы будет единый, и грамотной смены отпечатка тоже можно добиться только виртуалками.
vitaleev писал(а):
08 мар 2019, 13:13
Главное убрать авторизацию для каждой виртуальной машины и статистика по каждой виртуалке по кредитам.
Статистику сделаем.
С уважением, Служба поддержки.
http://www.jetswap.com

Hans
Сообщения: 586
Зарегистрирован: 24 май 2010, 20:33

Re: Автоматический контроль виртуальных машин

Непрочитанное сообщение Hans » 08 мар 2019, 16:52

Сделать гостевой Win 7 - это значит, уменьшить количество виртуалок на диск примерно в 4 раза. Минимальную сборку семёрки не удавалось укладывать в виртуальный диск размером менее 5-6 Гб. Надо покупать дополнительный ССД, раз. И второе, сможет ли окупиться это нововведение с обнулением ресурсов виртуалок в простое и распределением их по работающим? Получается, что из 100 виртуалок в настоящем можно запустить только 25 в будущем, из которых некоторые будут ещё и в простое. Можно, конечно, сделать режим multiattach, из одной ВМ создавая множество снимков-образов с нулевым размером, но при разрастании они жутко будут фрагментировать диск, снижая производительность.
Архивация информации в любой точке пространства-времени.
Открыт метод архивации любой информации через область бесконечно удаленных точек не на известных носителях информации, а в вакууме через единичные импульсы специальной приставки к компьютеру.

Аватара пользователя
loller5
Сообщения: 2528
Зарегистрирован: 28 ноя 2010, 01:32
Откуда: Из гнезда.

Re: Автоматический контроль виртуальных машин

Непрочитанное сообщение loller5 » 08 мар 2019, 17:12

Support писал(а):
08 мар 2019, 14:54
Hans писал(а):
08 мар 2019, 05:32
Единственное пожелание, чтоб программа внешнего контроля не зависела от версий виртуалок.
К сожалению это пожелание выполнить не удастся, она делается под 6 версию, и неспроста.
Мы знаем одну сборку VirtualBox, в которую верит даже гугл. Она основана на 6 версии VirtualBox и сделана под Windows.
Но в качестве гостевой системы должна использоваться как минимум Windows 7.

Разумеется, в этом случае расход ресурсов будет заметно выше.
Но это не должно являться большой проблемой сразу по нескольким причинам:
  • Если конкретная виртуалка не занята показом сайта на данный момент, она будет ставиться на паузу и потреблять 0% процессора.
  • Пока виртуалка на паузе, запросы от ее имени будет отправлять программа контроля. Как только она получит сайт, виртуалка с паузы снимется и продолжит работу
  • Система будет стараться минимизировать простой на паузе запущенных виртуалок, подбирая показы для других прокси, находящихся в списке, и меняя их при необходимости автоматически.
  • И самое главное - виртуалки перестанут палиться, а значит будет значительно больший спрос на показы
Это изменение не будет принудительным, вы сможете остаться и на старой версии, однако у рекламодателей появится фильтр виртуалок, которые палятся. Думаю, что пользоваться им будут активно :D
Если x64 и Win2000+, то есть смысл рассмотреть pagefusion а.к.а memory deduplication (: Учитывая, что все VM крайне похожи (копии), у них будут крайне схожие страницы памяти. Должно помочь сэкономить сколько то еще памяти :) Какой CPU overhead кнчн - хз.
https://www.virtualbox.org/manual/ch04. ... pagefusion
Но работает только с дополнениями.

Вроде @Hans-у раньше предлагал потестить, но не помню, чем закончилось.

Ответить