1

Здравствуйте господа. Организация в которой я работу (образовательное учреждение), остро нуждается в бюджетной платформе для виртуализации. Я не силен в этом. Максиму, с чем я до этого работал это VMWare Workstation, в которой создавал модель своей рабочей сети для тестирования групповых политик и настроек профилей пользователей в доменной среде на основе Windows Server 2008 R2. Мой домашний десктоп (4 гига мозгов, процессор Intel Core G620 и отдельный физический HDD на котором я располагаю файлы дисков виртуальных машин) вполне тянет одновременно 2xWin 2008 R2, пару машин Win XP, пару машин Windows 7 и в придачу интернет шлюз для этой виртуальной локалки работающий на Debian. Все это вполне нормально работает и у меня еще остается пол гига оперативки для запуска Оперы и Аимпа для более комфортной работы.

В общем-то про виртуализацию слышал и читал много (в чем разница между ESXi, XEN, VirtualBOX и KVM образно представляю), в моей подведомственной сети к сожалению только один сервак, который тащит на себе и PDC, DHCP, DNS и файл-сервер с кучей шар для разных групп пользователей, работает так сказать на износ и хотелось бы его разгрузить, да и резервный контроллер домена нужен мне как воздух, а то за полтора год я уже дважды всю инфраструктуру заново поднимал из-за частых проблем с электропитанием. Плюс, в нашем учебном заведении есть специальности АСО и ВТ, на которых просто не хватает нормальных ПК. Из 7 компьютерных классов только 2 отвечают современным реалиям и куплены позже 2008 года. Все остальное хлам с одноядерными процессорами на которых едва ли можно в Офисе работать и в интернете серфить.

В общем-то все таки раскачал я свое руководство на покупку более менее мощного компа, под предлогом того, что на нем мы сможем запускать приложения для обучения программистов, различные сервера, для помощи в написании web-приложений, сервер баз данных (им как воздух нужен), сервер резервного копирования и т.д.

Денег на профессиональное железо, которое бы смогло потянуть такие нагрузки (что-то вроде мэйнфрейма для 20-30 пользователей), естественно нет, по моим подсчетом такой сервер без ПО обошелся бы в десять килобаксов, при том, что бюджет мой всего в 1500$. В итоге был собран "сервер" такой конфигурации:
ЦП: Intel® Core™ i7-3770;
Мат плата: Gigabyte GA-Z77-D3H;
ОЗУ: 32 Гб, 1600 MHz;
HDD: 2хHDD 3000 GB Seagate Barracuda (ST3000DM001) подключенные по SATAIII + 1x500 GB по SATAII;
Блок питание, систему охлаждения и корпус позволю опустить в виду своей незначительности в данном вопросе. Ах, да чуть не забыл, по мимо встроенной гигабитной сетевухи я доставил в него еще пару гигабитных D-Link адаптеров.

В общем-то такой вот маленький монстр получился.

Получится-то получился, а вот что с ним теперь делать ума не приложу. Положившись на всеми любимый "авось", почему то был уверен, что смогу поднять на нем ESXi, но не тут то было. Сразу же после того как я его получил, решил попробовать поставить на него этот гипервизор, но уже на этапе определения сетевых адаптеров понял, что попал. Тупо не определяются сетевухи, то чего я собственно и боялся. Были даже мыслишки о том, что бы выковырять ядерные драйвера debian или ubuntu, которые их прекрасно определили, и вшить в дистр ESXi, но после трехдневного мучения я решил оставить эту затею...

В общем-то теперь мечусь и не знаю что делать. Машина-то шустрая, и не хотелось бы в качестве основной ОС видеть на ней что-то вроде Microsoft Hyper-V. Сегодня почитал про XEN и KVM и признаться, настроение мое резко улучшилось. Оказалось, не только VMWare умеет гипервизоры делать. Очень понравился рецепт вот этого товарища, думаю завтра попробовать проделать тоже самое.

В общем-то я к чему все это веду. Реально ли за 1500$ получить шуструю систему виртуализации, которая мне нужна? Т.е. никаких бизнес-критичных приложений в ней крутиться явно не будет, возможно только в качестве тестирования и все. Насколько подойдет подобранный конфиг для этого мэйнфрейма в средне специальном учебном заведении?

Сразу скажу, консоли я не боюсь, а наоборот всеми руками за. Иксы на него ставить не буду однозначно, постараюсь обойтись SSH. Тяготею к использованию KVM. В общем-то у кого какие мысли по сложившейся ситуации, коллеги?

2

Для начала - что конкретно на виртуалках крутится будет?
И да KVM самый что ни на есть "тру вей", разберись с ним, дальше когда ситуация в голове прояснится, сам поймешь нужен ли Xen или OpenVz...
Виртуальную сеть тоже не трудно поднимать, в двух словах - поднимается вирт интерфейс (сетевая карта) и вирт свитч/хаб, настраивается маршрутизация как и в обычной сети...

История показывает, что во всем новом обычно кроется какой-то подвох.
Классическая ошибка, которую совершают проектировщики
абсолютно надежных систем, - недооценка изобретательности клинических идиотов.

3

берется дистр (желательно нормальный - Ubuntu и Debian известны глючностью сборки пакетов виртуализации), ставится kvm и libvirt и все управляется через либвирт или virt-manager.

только вот вы не озвучили конкретные задачи и нагрузки, потому что данное железо честно говоря отнюдь не то на чем поднимается виртуализация в боевых условиях

4

ы. Мануалы по qemu/kvm xen и тд советую тут поискать http://xgu.ru

История показывает, что во всем новом обычно кроется какой-то подвох.
Классическая ошибка, которую совершают проектировщики
абсолютно надежных систем, - недооценка изобретательности клинических идиотов.

5

nkl пишет:

Блок питание, систему охлаждения и корпус позволю опустить в виду своей незначительности в данном вопросе. А

Про блок питания  -  ох зря. Очень важная эта штука.

6 (22.10.2012 20:20:46 отредактировано nkl)

Для начала - что конкретно на виртуалках крутится будет?

1. Резервный контроллер домена.
2. Резервный DNS;
3. Сервер для резервного копирования "бизнес-критичной" инфы (порядка 60 Гб), каждый вечер, желательно иметь архивы за 30 дней;
4. Файловый сервер для всевозможных шар, необходимо навести порядок в процессе обмена информацией между студентами и препадами, плюс имеется большая коллекция собственного медиа-контента (фото и видео с торжественных мероприятий, всякие презетации в PP, калажи на тему "любимого колледжа"), как не странно, но этого говна у меня уже почти 1.5 ТВ на диске крутится.
Все остальное, для учебы, некое подобие хостинга, только в локальной сети, для тестирования студентами своих говноскриптов написанных на Жабе. Почему-то самоу главному специалисту по жабе нужно эти скрипты именно при помощи Апча в браузере отображать, просто так запустить на локальной машине из jar-файла никак.
В общем, первые четыре пункта - обязательны для постоянной работы. Всю остальную мощь, под тестовую лабораторию, так сказать, по большей части для личностного развития и изучения возможностей разных ОСей их взаимодействия в сети, ну в дальнейшем планируется что-то вроде кружка сис.админов)

7

не вижу "мощи". По всем пунктам будут затыки - ядер цпу не хватает, памяти мало, а дисковая подсистема вообще будет затыком.

Плюс траффик кучи машин, некоторые из которых являются файл серверами, пропущенный через единственную физическую сетевую карту... Короче очень грустно все это будет смотреться.

8 (22.10.2012 20:27:01 отредактировано Rabat)

+1 за KVM, но нагрузки большие для такого железа

9

не вижу "мощи". По всем пунктам будут затыки - ядер цпу не хватает, памяти мало, а дисковая подсистема вообще будет затыком.

Я не зря описал то, что прекрасно работает на моем тракторном процессоре Intel Core G620 и 4 ГБ оперативки. Причем на VMWare Workstation, установленной на 64-битной Windows 7. 6 операционок, две из которых Windows server 2008 R2. Прекрасно себе взаимодействуют.
На счет дисковой подсистемы согласен, слабовато.

Плюс траффик кучи машин, некоторые из которых являются файл серверами, пропущенный через единственную физическую сетевую карту... Короче очень грустно все это будет смотреться.

Сервер простаивает без дела с 6 вечера до 8 утра, за это время можно все резервные копии успеть сделать. Файловый сервер предназначен для обмена в локалке файлами типа MS Office Word. В сети всего 120 машин, и самый максимум, запускается и работает одновременно не более 70. Остальные обычно простаивают. Плюс, я же упомянул, там еще 2 гигабитных сетевухи стоит.
Ребят, я в общем-то не хочу сейчас здесь оправдываться, все эти претензии по недостатку мускульной силы, вероятно из-за не понимания того, что твориться в моей сети. Не такие уж и большие у меня нагрузки. Я не провайдер регионального масштаба, я всего лишь маленький админ, маленького учебного заведения (даже не ВУЗа).

10 (22.10.2012 20:36:07 отредактировано dyasny)

просто при такой нехватке ресурсов нет никакого смысла поднимать виртуализацию. одна-две коробки средней мощности все покроют, и будут стоить дешевле.

11 (22.10.2012 20:43:18 отредактировано nkl)

Для лучшего понимания того, с каким объемом трафика работает моя сеть скажу, что в неделю единственный сетевой интерфейс на мое PDC, который является так же и файл-сервером и DNS и DHCP проходит 40-60 Гб внутрь, и 500-600 Гб наружу в неделю, в среднем. Через шлюз из инета в неделю примерно 60-100 Гб выкачивают, для шлюза отдельный старенький комп на основе P-IV и 512 Мб оперативки выделен.

12

Это будет третий физический сервер в моей маленькой локальной сети.

13 (22.10.2012 20:50:46 отредактировано -=Serj=-)

Я в этом не спец, но предположу, что за эти деньги можно собрать 2 машины на Ivy I5, что, на мой взгляд, будет эффективнее.

Да, у меня Ubuntu.
Нет, не глючит.

14

В общем, железо уже приобретено. Возможно в след. раз я буду по умнее, набив шишки в этот. Перейдем к самой теме виртуализации, какой лучше посоветуете дистр для основной ОС?

берется дистр (желательно нормальный - Ubuntu и Debian известны глючностью сборки пакетов виртуализации)

Потому как я почему-то склонял свой выбор к Дебияну. FreeBSD? Что лучше подойдет для моих целей?

15

Free BSD, CentOS, Gentoo, Debian Stable (придётся очень много читать)

Linux Mint 19.3 Mate Edition
Windows 7

16

я на машине послабее ( в тестовых целях)  CentOS 6 ставил, особых проблем не возникало ( те, что были, были по собственной криворукости), глюков при установке и настройке замечено не было

17

Free BSD, CentOS, Gentoo, Debian Stable (придётся очень много читать)

Много читать конкретно по работе виртуализации в Debian или в целом? Я если честно только-только начал в консоль переезжать и пока особых различий в дистрибутивах не замечаю

18

Читать придётся везде. По Debian особенно много.

Linux Mint 19.3 Mate Edition
Windows 7

19

ставьте центос если нет денег на RHEL

20

Funtoo WiKi: Virtualization

Был, был и весь вышел...

21 (23.10.2012 00:35:33 отредактировано Cruiser78)

nkl пишет:

В общем, железо уже приобретено. Возможно в след. раз я буду по умнее, набив шишки в этот. Перейдем к самой теме виртуализации, какой лучше посоветуете дистр для основной ОС?

Я бы посоветовал смотреть в сторону продуктов RedHat. То есть или CentOS или Fedora. На Fedora имеешь самое новье, но возможны и нюансы. А далее - поднимаешь или KVM, или, для простоты, VirtualBox. И там и там есть свои преимущества. Хотя и KVM не сильно сложнее VB.

К недостаткам KVM'а я отношу то, что он тащит по зависимостям то, что ему совершенно не нужно в работе. Например, glusterfs. Я его пользую, но значительно более новой версии (самостоятельно компилирую), чем лежит в репозиториях. Крайне неудобно. Мне.

К недостаткам VB - малопонятную логику работы сетевого интерфейса. Полное ощущение, что оно работает, максимум, на 100 мегабитах (при реальных гигабитных платах) и при этом эти мегабиты делятся пропорционально между всеми юзерами виртуальной машины.

Далее - по дискам. Настоятельно рекомендую ставить их в программный RAID-1, в зеркало. Диски предадут в самый неподходящий момент. Зеркало - наше всё. Я за 3 года заменил на 3-х серверах ВСЕ диски. По гарантии. Спасало только то, что они стояли в зеркалах, то есть сервера оставались в рабочем состоянии при вылете диска.

И еще - при запуске системы обязательно проверь настройки BIOS. Иногда по дефолту в нем может быть отключена опция аппаратной поддержки виртуализации. Без этой опции виртуальная машина работать будет. Но гораздо медленнее.

22

К недостаткам KVM'а я отношу то, что он тащит по зависимостям то, что ему совершенно не нужно в работе. Например, glusterfs. Я его пользую, но значительно более новой версии (самостоятельно компилирую), чем лежит в репозиториях. Крайне неудобно. Мне.

Думаю этот недостаток гораздо менее критичен, чем этот:

К недостаткам VB - малопонятную логику работы сетевого интерфейса. Полное ощущение, что оно работает, максимум, на 100 мегабитах (при реальных гигабитных платах) и при этом эти мегабиты делятся пропорционально между всеми юзерами виртуальной машины.

Далее - по дискам. Настоятельно рекомендую ставить их в программный RAID-1, в зеркало. Диски предадут в самый неподходящий момент. Зеркало - наше всё. Я за 3 года заменил на 3-х серверах ВСЕ диски. По гарантии. Спасало только то, что они стояли в зеркалах, то есть сервера оставались в рабочем состоянии при вылете диска.

Так собственно и собираюсь сделать из двух 3.0TB дисков, а систему на 500 Гб ставить.

И еще - при запуске системы обязательно проверь настройки BIOS. Иногда по дефолту в нем может быть отключена опция аппаратной поддержки виртуализации. Без этой опции виртуальная машина работать будет. Но гораздо медленнее.

Спасибо за совет, обязательно проверю.

23

Что я скажу. У меня на двух серверах крутятся и Xen и KVM. Из годичного опыта юзания виртуализации понял, что KVM тру путь и зря я связался с XEN (заманил блин Citrix Xen Server). Так что советую KVM + libvirt + virt manager.

Если на виртуалках не будут крутиться всякие бяки вида MS SQL, то оперативу можно раскидать в притык. Но блин ядер маловато конечно. Для примера из моих 12 гигов 8 жрет WinServer2003 +MS SQL+ сервер терминалов, 512 - CentOS +VPN + DNS (Slave), Один гиг для контролера домена на Ubuntu + Samba4 и остальное на WinServer 2003 + Firebird 2.* database. На хостовую систему остается где 512. Так все работает уже годик и на Citrix Xen Server. С ним проще.
А вот KVM если юзать, то придется больше углубиться в консольку, да и в саму сисему администррования.

З.Ы. Советую для всего твоего зоопарка ставить CentOS (Fedora может тебя убить своим обновлением, да и не для продакшена она). Подключишь EPEL репозиторий и жить можно. Для тех кому хочется по новее софт, тот же nginx например, то есть репы от CentALT.

MX Linux 21.2 x86_64
Чем больше я работаю админом, тем больше понимаю, насколько волшебна фраза - "Нет технической возможности!"

24

Господа, господа, постойте. Я здесь многое слышу о том, что мало процессорных ядер, но я еще ни разу не увидел в этой теме реальный процент средней утилизации процессорного времени. Сколько для приложения нужно выделить оперативки очень легко расчетать. А вот сколько она будет использовать процессорного времени никто конкретно сказать не может. Я сейчас не хочу бросать камень ни в чей огород, просто не очень хотелось бы наблюдать картину, когда величина загрузки ЦП не будет превышать 2% или LoadAvereg не будет превышать 1.5. Процессор должен работать, я так понимаю, а не тупо стоять. Витруализация как раз в первую очередь и призвана для того, что бы по максимуму утилизировать процессорное время. Зачем покупать две машины на Ivy i5, которы за все свое время не будут загружены больше 10%, зачем это?

25

nkl пишет:

Господа, господа, постойте. Я здесь многое слышу о том, что мало процессорных ядер, но я еще ни разу не увидел в этой теме реальный процент средней утилизации процессорного времени. Сколько для приложения нужно выделить оперативки очень легко расчетать. А вот сколько она будет использовать процессорного времени никто конкретно сказать не может. Я сейчас не хочу бросать камень ни в чей огород, просто не очень хотелось бы наблюдать картину, когда величина загрузки ЦП не будет превышать 2% или LoadAvereg не будет превышать 1.5. Процессор должен работать, я так понимаю, а не тупо стоять. Витруализация как раз в первую очередь и призвана для того, что бы по максимуму утилизировать процессорное время. Зачем покупать две машины на Ivy i5, которы за все свое время не будут загружены больше 10%, зачем это?

все верно, но нагрузка бывает рутинной и пиковой, и планировать надо под пиковую, иначе сюрпризов не оберешься. У меня один клиент поднял на нормальном сервере сразу 500 ВМ, и они вполне себе пыхтели понемногу, со стабильным AVG на 35%, пока внезапно фирма не перешла на agile, и каждую неделю начали забускать билды. Тут все и развалилось, причем очень некрасиво. Так что консолидация это чудесно, но ее нужно правильно планировать, не по load average а по пиковым нагрузкам

26

Кстате, если на хостовой системе запустить top, то по параметру st, можно узнать на сколько ядро рабоатет на виртуализацию.

Для примера. Крутит прокси сервер и хостинг с двумя сайтами (ftp, http зеркало репозиториев). (KVM)
http://storage8.static.itmages.ru/i/12/1023/h_1350989680_2549439_68e93c7156.jpeg
А вот тут виртуалки: домен на самбе, ДНС+ВПН и две 2003 винды. (XEN)
http://storage8.static.itmages.ru/i/12/1023/h_1350989829_6209167_cbfac5e70e.jpeg

MX Linux 21.2 x86_64
Чем больше я работаю админом, тем больше понимаю, насколько волшебна фраза - "Нет технической возможности!"

27

dyasny пишет:

Так что консолидация это чудесно, но ее нужно правильно планировать, не по load average а по пиковым нагрузкам

А чтобы её правильно планировать - надо ориентироваться хоть немного в основах теории массового обсуживания. Соответственно и складывать не арифметические средние загрузки, а пиковые, но складывать геометрически, под корнем. Естественно, при условии, что пики эти кратковременны и независимы друг от друга.

28

Cruiser78 пишет:

А чтобы её правильно планировать - надо ориентироваться хоть немного в основах теории массового обсуживания. Соответственно и складывать не арифметические средние загрузки, а пиковые, но складывать геометрически, под корнем. Естественно, при условии, что пики эти кратковременны и независимы друг от друга.

геометрически? как все сложно... я всегда проводил исследование, брал нагрузки по времени за последние месяцы, накладывал прогнозируемую динамику, и накладывал одно на другое

29

А как на счет Debian (stable) в качестве основной системы? Просто попробовав CentOS я пришел в маленький шок, я только-только начал привыкать к debian (на рабочем компе поставил с иксами, на ноуте ubuntu, а на домашнем десктопе винда), а тут практически заново к этому CentOS нужно подстраиваться. Какой-то менеджер пакетов там непонятный, в общем я от Кента пока не в восторге. Почему Debian считают глючным дистром?

30

nkl пишет:

Почему Debian считают глючным дистром?

лично я не считаю Debian глючным, но точно знаю что либвирт, kvm и все что вокруг там то ли собирают не так, то ли не тестируют вообще. Во всяком случае 90% проблем с виртуализацией с которыми ко мне обращались на дебиане и Ubuntu я на федоре и RHEL воспроизвести не смог. Ничего, кстати, удивительного - libvirt и kvm разрабатываются в Red Hat, и тестируются там же