Виртуализация Опции

[leah]

Давненько опросов у нас не было.

Кто что использует для виртуализации? Именно пользуют постоянно! Я вот пользую только три.

На ноуте давно прописались параллели.
Заказчикам ПО отдаем иногда в VirtualBox.
Иногда chroot-чу..

Перевез тут с физического сервера на виртуалку старую красношапку с ПО, которое на новых машинах и системах не поднимается без компиляции (а ее, компиляцию, не осилил за два для). Запустил все под любимым KVM/libvirt и решил опросец заделать.

Сообщение отредактировано leah - 28.01.2013 - 23:31

[un1que]

другое это hV, но тема о *nix )

[Optimist]

XEN - это citrix.

[John Doe]

Давненько опросов у нас не было.

Кто что использует для виртуализации? Именно пользуют постоянно! Я вот пользую только три.

На ноуте давно прописались параллели.
Заказчикам ПО отдаем иногда в VirtualBox.
Иногда chroot-чу..

Перевез тут с физического сервера на виртуалку старую красношапку с ПО, которое на новых машинах и системах не поднимается без компиляции (а ее, компиляцию, не осилил за два для). Запустил все под любимым KVM/libvirt и решил опросец заделать.

Дядь паралелс это контора, а делает она виртуозо/опенвз.. т.е. 1 пунктик лишний.

/me пользует VMware VSphere и OpenVZ для различных задач. Для серьезного использования нужно много и дорого, для "на коленке" собрать несколько старых серверов на одну железку и чтоб оно работало достаточно 1 железки, а вот если захочется vmotion, он же live migration и/или live backup и чтобы быстро, без тормозов, то нужен бюджет ибо надо SAN и стораджи к нему цеплять и серверов поболее. Ну и прайс за лицензии. Даже если захочется халявный KVM на шапке то нужны fancing девайсы для полноценной работы, некоторые сервисы тупо не будут работать без них..

[KiWi]

LinuX Containers

[leah]

Дядь паралелс это контора, а делает она виртуозо/опенвз.. т.е. 1 пунктик лишний.

/me пользует VMware VSphere и OpenVZ для различных задач. Для серьезного использования нужно много и дорого, для "на коленке" собрать несколько старых серверов на одну железку и чтоб оно работало достаточно 1 железки, а вот если захочется vmotion, он же live migration и/или live backup и чтобы быстро, без тормозов, то нужен бюджет ибо надо SAN и стораджи к нему цеплять и серверов поболее. Ну и прайс за лицензии. Даже если захочется халявный KVM на шапке то нужны fancing девайсы для полноценной работы, некоторые сервисы тупо не будут работать без них..

Племяша, а что это у меня на маке стоит? Одноименный продукт одноименной фирмы, дядя. Ну тогда этот пункт оставим. ]]>http://ru.wikipedia.org/wiki/Parallels_Desktop_для_Mac]]> ]]>http://ru.wikipedia.org/wiki/Parallels_Server_for_Mac]]>

Ну а круть из gpfs/ib/fc можно и на kvm/xen поднять, бегать будет не хуже vmware, и миграция в мгновенье ока, если графика не нужна. Да и делов то на два дня максимум...Тоже самое делается на drdb вместо san. Все зависит от того, что получить хочется и каков размер кластера.

LinuX Containers

Не знал, вставляю в опрос.

Сообщение отредактировано leah - 28.01.2013 - 23:40

[John Doe]

Племяша, а что это у меня на маке стоит? Одноименный продукт одноименной фирмы, дядя. Ну тогда этот пункт оставим. ]]>http://ru.wikipedia.org/wiki/Parallels_Desktop_для_Mac]]> ]]>http://ru.wikipedia.org/wiki/Parallels_Server_for_Mac]]>

Ну а круть из gpfs/ib/fc можно и на kvm/xen поднять, бегать будет не хуже vmware, и миграция в мгновенье ока, если графика не нужна. Да и делов то на два дня максимум...Тоже самое делается на drdb вместо san. Все зависит от того, что получить хочется и каков размер кластера.
Не знал, вставляю в опрос.

Дядь, тогда vmware fusion добавь, как альтернативу этому паралелсу от паралелса, гыгы. Но это все совсем бытовое, как и виртуалбокс, хотя он вроде как умеет без гуйни..

дрбд это так по нашему, по пионерски, наколенно малобюджетное, это уже 2 железки, SCTP, затраты на свич. Можно развить тему, два стораджа на опенфилере или фринасе, с дублированием по дрбд, и гора кастылей с запуском виртуалок с дублирующего, и оппа мы приехали к 4 железкам.., а начали с одной, если вернуться к тому с чего начали, если виртуализируемая среда однообразна, то опенвз в лапы и вперед, если там и виндовс будет, от я бы предпочел esxi.

P.S. Серж Фоменко еще пашет у тебя?

[leah]

Дядь, тогда vmware fusion добавь, как альтернативу этому паралелсу от паралелса, гыгы. Но это все совсем бытовое, как и виртуалбокс, хотя он вроде как умеет без гуйни..

дрбд это так по нашему, по пионерски, наколенно малобюджетное, это уже 2 железки, SCTP, затраты на свич. Можно развить тему, два стораджа на опенфилере или фринасе, с дублированием по дрбд, и гора кастылей с запуском виртуалок с дублирующего, и оппа мы приехали к 4 железкам.., а начали с одной, если вернуться к тому с чего начали, если виртуализируемая среда однообразна, то опенвз в лапы и вперед, если там и виндовс будет, от я бы предпочел esxi.

P.S. Серж Фоменко еще пашет у тебя?

Не, не буду добавлять. 1) Fusion = vmware виртуальная машина, а уж где она работает, на маке, под линуксом или под то-чего-не-произносим, все равно. Иначе и параллели для виндовс придется добавлять и virtualbox и остальное. Я разбивал по технологиям виртуализации, а не продуктам.

А зачем дублировать, если мне только миграцию виртуалок делать?! Более того, все это отдается по iscsi и сторадж готов, или сразу GPFS натягиваем и не мучаем бабушку.

Ну, развивать тему так дальше, Делаем по взрослому!
1) Строим сторадж. Берем что-то типа DS3400 (SAN Storage + 4 конца FC), к нему пару HX5 (по два конца FC от стораджа в каждую), натягиваем GPFS на все это.
2) Ставим коммутатор Infiniband (или для бедных тот же самый ethernet использовать?)
3) Сторажд готов, теперь вычислялки, обойдемся BladeCenter с 2мя лезвиями HX5 Blade, будут клиентами к нашему GPFS
4) ну и ethernet для связи с миром понадобится.
5) а теперь все тоже самое и "гора кастылей с запуском виртуалок"
Ну а сколько стоит - в космос слетать дешевле.
А что в итоге? Ну быстрее миграция за счет infiniband... Такие фабрики для других задач нужны, виртуалки на них гонять - грешновато.

PS. Дык он у нас и не работал, а все почему-то так думают У нас задач для него нет Так бы взяли с удовольствием.

[John Doe]

Не, не буду добавлять. 1) Fusion = vmware виртуальная машина, а уж где она работает, на маке, под линуксом или под то-чего-не-произносим, все равно. Иначе и параллели для виндовс придется добавлять и virtualbox и остальное. Я разбивал по технологиям виртуализации, а не продуктам.

А зачем дублировать, если мне только миграцию виртуалок делать?! Более того, все это отдается по iscsi и сторадж готов, или сразу GPFS натягиваем и не мучаем бабушку.

Ну, развивать тему так дальше, Делаем по взрослому!
1) Строим сторадж. Берем что-то типа DS3400 (SAN Storage + 4 конца FC), к нему пару HX5 (по два конца FC от стораджа в каждую), натягиваем GPFS на все это.
2) Ставим коммутатор Infiniband (или для бедных тот же самый ethernet использовать?)
3) Сторажд готов, теперь вычислялки, обойдемся BladeCenter с 2мя лезвиями , будут клиентами к нашему GPFS
4) ну и ethernet для связи с миром понадобится.
5) а теперь все тоже самое и "гора кастылей с запуском виртуалок"
Ну а сколько стоит - в космос слетать дешевле.
А что в итоге? Ну быстрее миграция за счет infiniband... Такие фабрики для других задач нужны, виртуалки на них гонять - грешновато.

PS. Дык он у нас и не работал, а все почему-то так думают У нас задач для него нет Так бы взяли с удовольствием.

Вот так мы побеждаем врага, пока враг готовит наступательные планы, мы меняем ланшафт..причем в ручную.. © ДМБ
Дядь, DS3400 жудкое г...о начального уровня, тупое как пробка, стоит немеряно, разума в нем ноль, разве что зеленые светодиоды завораживают А что если заменить на нетапп фас? По цене будет чуть дороже, но! не надо городить какую-то фс поверх, не надо заморачиваться кучей вопросов, а как потом, а что если.. оно умеет _все_ или почти все. Инфинибенд отправляем вслед за бюджетным DS3400, щас ужо 10GbE шагает по стране, это как бэ в 2,5 раза быстрее. Железо от ибм меняем на железо от хп или делл, но хп лучше и получаем полностью подконтрольный (до каждого вентилятора) из под vsphere комплекс, который знает куда и как у него какой байт падает. И замечу, без кастылей, набора мутных скриптов и прочего шаманства. Динамически расширяемый, с возможностью клонирования и снапшетов, thin provisioning, vmotion, дедупликация и многое многое другое которое работает как единое целое..

А DS3400 неожиданно даже тупее чем MSA2012, хотя они как бы в одном классе. Все выше перечисленное у мну в хозяйстве есть И наколенный вариант тоже был, не сказать чтоб страшный сон, но это как маршрутка после 8 лет эксплуатации сынами гор, оно то едет но болты регулярно отваливаются, и надо каждый раз искать откуда оно отвалилось, чтоб вкрутить обратно, а надо и желательно еще при этом ехать..

[leah]

Вот так мы побеждаем врага, пока враг готовит наступательные планы, мы меняем ланшафт..причем в ручную.. © ДМБ
Дядь, DS3400 жудкое г...о начального уровня, тупое как пробка, стоит немеряно, разума в нем ноль, разве что зеленые светодиоды завораживают А что если заменить на нетапп фас? По цене будет чуть дороже, но! не надо городить какую-то фс поверх, не надо заморачиваться кучей вопросов, а как потом, а что если.. оно умеет _все_ или почти все. Инфинибенд отправляем вслед за бюджетным DS3400, щас ужо 10GbE шагает по стране, это как бэ в 2,5 раза быстрее. Железо от ибм меняем на железо от хп или делл, но хп лучше и получаем полностью подконтрольный (до каждого вентилятора) из под vsphere комплекс, который знает куда и как у него какой байт падает. И замечу, без кастылей, набора мутных скриптов и прочего шаманства. Динамически расширяемый, с возможностью клонирования и снапшетов, thin provisioning, vmotion, дедупликация и многое многое другое которое работает как единое целое..

А DS3400 неожиданно даже тупее чем MSA2012, хотя они как бы в одном классе. Все выше перечисленное у мну в хозяйстве есть И наколенный вариант тоже был, не сказать чтоб страшный сон, но это как маршрутка после 8 лет эксплуатации сынами гор, оно то едет но болты регулярно отваливаются, и надо каждый раз искать откуда оно отвалилось, чтоб вкрутить обратно, а надо и желательно еще при этом ехать..

Э... ну, хозяйство это не я покупал. Да и на тот момент ничего похожего не было. Виртуалки там не гоняются, тупо счетный кластер.

С железом от ибм, тут поспорить можно, нужны машинки с большой памятью (>=64Гб рама), пока лучше блейдов HX5 с 640Гб на рынке ничего не нашел за теже деньги, ну и энергопотребление, тем более корзина для лезвий только наполовину заполнена.

Инфини банд у нас 20-40 Гб/с, так что 10Гб эзернет немного сосет, да и есть он уже. Плюс латенси у него немного лучше для наших задач.

За ссылку на netapp.com бооольшое спасибо! Буду поглядеть, тем более, что пора переходить на GPFS 3.5, а там цена за софт конкурирует со стоимостью нетапа фас!!!

Интересно, как у нее с производительностью по NFS, чтобы от GPFS уйти? Мне нужно во всем кластере как бы единую FS на всех узлах.

[John Doe]

За ссылку на netapp.com бооольшое спасибо! Буду поглядеть, тем более, что пора переходить на GPFS 3.5, а там цена за софт конкурирует со стоимостью нетапа фас!!!

Интересно, как у нее с производительностью по NFS, чтобы от GPFS уйти? Мне нужно во всем кластере как бы единую FS на всех узлах.

Инфинибенд вс езернет, есть 10/40ГбЕ решения, но что-то мне подсказывает по цене они не дешевле т.к. задачи там другие.. тут ты несомненно прав. Кстати вот тема была, красавцы одни затратившись на инфинбенд в качестве стораджей держали линуксовые страджи и поверх инфинибенда летал нфс, а гипервизором там был вышеупомянутый ксен, ох как они имелись и более того имеются досих пор, чето изобретают, скрипты, кастыли, все это дружно и хором валится переодично в разных местах, клиенты их вижжат на обе столицы.. сэкономили.. выше упомянутая маршрутка но только с литыми дисками и низкопрофильной резиной.. гыгы

Все зависит от того что у тебя кластер делает, если переливает байты из одного места в другое то будет крайне дорого, если он арифметикой занимается, логи иногда пишет, то и нфс хватит по уши, опять же как нфс настроен, tcp/udp, jumbo, как сан построен, кто и что клиенты, как рулежка всего хозяйства происходит..

[leah]

Инфинибенд вс езернет, есть 10/40ГбЕ решения, но что-то мне подсказывает по цене они не дешевле т.к. задачи там другие.. тут ты несомненно прав. Кстати вот тема была, красавцы одни затратившись на инфинбенд в качестве стораджей держали линуксовые страджи и поверх инфинибенда летал нфс, а гипервизором там был вышеупомянутый ксен, ох как они имелись и более того имеются досих пор, чето изобретают, скрипты, кастыли, все это дружно и хором валится переодично в разных местах, клиенты их вижжат на обе столицы.. сэкономили.. выше упомянутая маршрутка но только с литыми дисками и низкопрофильной резиной.. гыгы

Все зависит от того что у тебя кластер делает, если переливает байты из одного места в другое то будет крайне дорого, если он арифметикой занимается, логи иногда пишет, то и нфс хватит по уши, опять же как нфс настроен, tcp/udp, jumbo, как сан построен, кто и что клиенты, как рулежка всего хозяйства происходит..

C NFS с виртуалками лучше не делать. Имею ввиду, если по nfs шарить имеджи/root, все упрется в производительность сервера нфс.
Если виртуалки, то имеджи их легче по iscsi гонять. На каждую виртуалку по выделенному куску пространства в SAN и через iscsi хоть с 10 сереверов, и просто и эффективно.

У меня кластер - числодробилка, но при этом на чтение иногда нужно до 1М файлов размером в 0.1-10Кб GPFS 3.2 на мелких файлах дохнет почти до модемной скорости, на GPFS 3.5 говорят, что эту проблему порешали, спрятав мелкие файло в иноды. Но стоимость обновления гпфс $16K, вот и думаем...
Ну и бекап всего хозяйства растянивается на удивительные сутки..

Да, кластер относительно маленький - 10 расчетных серверов и под 50 онлайн пользователей со своими расчетами.

Сообщение отредактировано leah - 30.01.2013 - 17:21

[John Doe]

В качестве гипервизора что? полагаю шапка с квм? и какойнить эвкалиптус для рулежки?

[leah]

В качестве гипервизора что? полагаю шапка с квм? и какойнить эвкалиптус для рулежки?

Нет, чистые шапки, без виртуалок и гипервизоров! Пользователи подключаются удаленным рабочим столом типа gdm/xdm

[John Doe]

В качестве стораджей DS3400? Только не говори, что там сата диски..

[leah]

В качестве стораджей DS3400? Только не говори, что там сата диски..

Да, sata + еще EXP3000 сверху стоит. (всего 24 диска по терабайту в raid5)

В принципе, производительностью дисковой подсистемы довольны. Недовольны производительностью GPFS на боооольшой куче мелких файлов, большие файлы отдаются влет.

Попробуем через nfs + rdma (фича инфинибанда) поотдавать, поверх ext4. Вот только ядро придется компилить под шапки, там поддержка rdma с версии 2.6.26, а у нас 2.6.18

Сообщение отредактировано leah - 31.01.2013 - 15:00

[John Doe]

..аккуратно так скажу, зная пропускную способность инфинибенда, и зная скорость чтения одного такого диска на рандоме, прикинь из скольки дисков должен быть массив чтоб заполнить хотябы половину пропускной способности инфинибенда.. Классический случай хочу заметить, сата менять хотябы на сата 10к вд велосираптор, а лучше на 15к сас, а еще лучше на ссд. Кто это вам впарил? мудрый человек однако.. гыгы, дешевле было бы при таком раскладе инфинибент заменить агрегиорванным 10г эзернетом, а бабло от инфинибенда, и свича егойного пустить на винты получше. Но опять же это все полумеры, надо смотреть на нетапп, с ссд кешем,он умеет часто используемые блоки помещать на ссд для более быстрого обращения к ним.

[leah]

..аккуратно так скажу, зная пропускную способность инфинибенда, и зная скорость чтения одного такого диска на рандоме, прикинь из скольки дисков должен быть массив чтоб заполнить хотябы половину пропускной способности инфинибенда.. Классический случай хочу заметить, сата менять хотябы на сата 10к вд велосираптор, а лучше на 15к сас, а еще лучше на ссд. Кто это вам впарил? мудрый человек однако.. гыгы, дешевле было бы при таком раскладе инфинибент заменить агрегиорванным 10г эзернетом, а бабло от инфинибенда, и свича егойного пустить на винты получше. Но опять же это все полумеры, надо смотреть на нетапп, с ссд кешем,он умеет часто используемые блоки помещать на ссд для более быстрого обращения к ним.

Ну, сата там и так 10к, и как раз рапторы. Что по скорости не выбираем IB, тоже знаю. Кто впарил, только догадываюсь, у меня что есть из документации, все от ИнтеллектуальныхБизнесМашин. На старых машинках IB 20Гб/с, на новой - 40Гб/с. Покупали года ~4 назад.

На счет нетаппа, тестов бы на нем прогнать на NFS. Но скорее всего все на NFS + ext4 переведем, если внутренние тесты покажут правильную скорость с мелкими файлами.

[John Doe]

ибс еще те впариватели, насчет нетаппа, надо звонить вендорам, интеграстам, ощаться, просить чтоб пустили в свою лабу потестировать. И обрати внимание на NFSv4, он поумнее стал, умеет кешировать всякие мелочи.

Сообщение отредактировано John Doe - 31.01.2013 - 17:15

[ivanboy]

Юзаю VirtualBox и доволен как слон