Ищи в интернете на слово "построение суперкомпьютера". То есть - технология объединение вычислительных мощностей, процессоров, памяти, в единый пул и работа в этом пуле, как в едином компьютере. Это возможно.
Но, задача, которая написана для работы на одиночном компьютере, так и будет работать, скорее всего, на одиночном компьютере. Так как не знает о возможностях "суперкомпьютера". Под них надо писать отдельно.
Простой пример - всем известная 1С бухгалтерия версии 7.7. Сколько ни ставь ядер в процессор, от этого 1С работать быстрее не станет. Так как задача принципиально однопоточная. А один поток идет на одном камне, его не расщепить. Максимум, в чем многоядерность здесь помогает - нагрелось одно ядро от такой задачи - задачу на другое ядро перебрасывают, первое пусть остынет слегка. Это хорошо в диспетчере задач видно.
То есть, если нет у тебя задачи специально написанной под работу на суперкомпьютере, то никакого профита от него ты не получишь. А написать такое приложение  есть большое искусство - искусство параллельных вычислений. Ну и при этом - далеко не все задачи по их сути можно распараллелить. Например, если события в задаче идут последовательно и каждое следующее событие зависит от результатов предыщущего, то никакой здесь параллельности (пустить обсчет на другой процессор) и быть не может.

посмотреть а сторону ovirt

ТС, то, что тебе нужно можно поднять в CentOS с помощью xcp (правда здесь используется xen) и proxmox (здесь как раз kvm). И то, и другое как раз "заточено" под задачи объединения нескольких физ. хостов в "пул" и дальнейшего использования этого пула для виртуализации.