как мониторить их?

на софтовом, как обычные диски, плюс смотреть на статус /proc/mdstat

на железе - собственными утилитами, плюс ipmi/snmp

если бы у меня было по доллару за каждый раз когда клиент говорил "но до сих пор оно работало"...

насколько я знаю, линукс движется от поддержки dmraid, потому что преимуществ нет никаких, а управлять софтовым рейдом проще и надежнее. Так что выбор простой - или софт или железо, полумеры ни к чему

Но, тем не менее - оно работало и проблем не доставляло. Более того, мне каждое утро приходили от сервера отчеты от состоянии дисков (smartctl). Была видна тенденция по битым секторам. По каждому конкретному диску. А если их не видно, то как мониторить их? Очень не хотелось бы оказаться у внезапно "разбитого" диска.

Один раз я момент пропустил, и умерший внезапно (действительно внезапно, несколько месяцев битых секторов было устойчиво полтора десятка, а потом - за день - несколько тыщ) диск поставил колом всю систему. Остановил внезапно, то есть. Но пара движений отверткой и система снова заработала на выжившем диске.

А то, что линукс отходит от dm-raid - как то оно для меня (и для анаконды) внезапно произошло. анаконда сделала стандартную dm-raid'овскую строку загрузчику, и поставила систему именно на dm-raid. А вот dracut эту стандартную запись понимать отказался.

Посмотрел спецификации на сервера моего уровня - действительно, на подавляющем большинстве таких серверов intel ставит софтовый RAID 0-1-10.   

Ладно, сейчас работает на серверах CentOS 6.3. Он про такую беду не знает и эти софтовые диски поддерживает как RAID. А поскольку 6-той центос (как я понимаю) будет поддерживаться года так до 2017-го, то эти сервера к тому сроку станут совсем "дряхлыми" и будут с ним и списаны.
Ну, или напрягу фирму на модернизацию серверов. На покупку честных RAID-контороллеров. Если слишком сильно будет дисковый канал тормозить. А пока этого (на моих объемах данных и на имеющейся загрузке серверов) нет.

Беда в том, что до 14-й федоры оси спокойно этот фейк переваривали.

если бы у меня было по доллару за каждый раз когда клиент говорил "но до сих пор оно работало"...

насколько я знаю, линукс движется от поддержки dmraid, потому что преимуществ нет никаких, а управлять софтовым рейдом проще и надежнее. Так что выбор простой - или софт или железо, полумеры ни к чему

как один диск, сколько бы там физически не было

пример:

# cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 00 Id: 32 Lun: 00
  Vendor: DP       Model: BACKPLANE        Rev: 1.10
  Type:   Enclosure                        ANSI  SCSI revision: 05
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Vendor: DELL     Model: PERC H700        Rev: 2.10
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi0 Channel: 02 Id: 01 Lun: 00
  Vendor: DELL     Model: PERC H700        Rev: 2.10
  Type:   Direct-Access                    ANSI  SCSI revision: 05
Host: scsi7 Channel: 00 Id: 00 Lun: 00
  Vendor: iDRAC    Model: LCDRIVE          Rev: 0323
  Type:   Direct-Access                    ANSI  SCSI revision: 00
Host: scsi8 Channel: 00 Id: 00 Lun: 00
  Vendor: iDRAC    Model: Virtual CD       Rev: 0323
  Type:   CD-ROM                           ANSI  SCSI revision: 00
Host: scsi8 Channel: 00 Id: 00 Lun: 01
  Vendor: iDRAC    Model: Virtual Floppy   Rev: 0323
  Type:   Direct-Access                    ANSI  SCSI revision: 00

тут два массива - пятый рейд на 12 дисков плюс первый на два

это точно фейк, иначе ядро бы увидело массив а не отдельные диски. фейк, в принципе, отличается тем, что настраивается как настоящий, но пашет через драйвер хавая ресурсы системы не хуже содтового, в то время как настоящий имеет свой процессор и память

Ну, фейк, так фейк. Беда не в этом. Беда в том, что до 14-й федоры оси спокойно этот фейк переваривали. И у меня даже и мысли не возникало об фейковости. А вот решил поставить федору 17 (с прицелом на кластер, на pacemaker, на стенде всё замечательно прокачалось) и обломался. Половину праздников (планировал неспешную работу) - псу под хвост... Наплясался на этой грабле. И хорошо, что заметить успел, что система живет на не на 2-х, а только (не хочет А-17 на фековом райде работать, игнорирует его) на одном диске . Они у меня летят быстро, живут года полтора, от силы - два. Потом замена по гарантии :-). И как бы я на ту замену вышел, когда диск рабочий колом бы встал со всеми данными? Ну, данные ладно, они на drbd, на glusterfs'e, но вот весь приклад.... Все настройки - псу под хвост. А где сервер? А нетути...
Ладно, успел весь основной функционал   поднять и протестировать. Но устравивать такие гонки - врагу не пожелаешь...

И вопрос - а как должен выглядеть нефейковый, а честный RAID-массив?

Значит интел на своих платформах фейки устраивает? И при загрузке компа (когда БИОС инициализируется) так явственно пишет про RAID-овость дисков, что массив стоит у него в онлайне... Три года с этими серверами жил и всегда думал, что там честный RAID.

это точно фейк, иначе ядро бы увидело массив а не отдельные диски. фейк, в принципе, отличается тем, что настраивается как настоящий, но пашет через драйвер хавая ресурсы системы не хуже содтового, в то время как настоящий имеет свой процессор и память

ради интереса, что у вас там в /proc/scsi/scsi ? ну не похоже это на настоящий рейд, типичный фейк по поведению.

Сейчас там стоит CentOS.
На одном сервере (два диска в RAID стоят, один, третий, отдельно) 

Значит интел на своих платформах фейки устраивает? И при загрузке компа (когда БИОС инициализируется) так явственно пишет про RAID-овость дисков, что массив стоит у него в онлайне... Три года с этими серверами жил и всегда думал, что там честный RAID.

ну, на виртуалках иногда всякое бывает, я бы нa любой физической машине  (если есть возможность) попробовал бы

Программа не того уровня, чтобы зависеть от виртуальности. Там тривиальное расхождение версий pacemaker'а и corosinc'а. Причем некоторые нужные для работы программы исчезли в тумане, нету там основной программы crm. Вот всё начинающееся с этих букв есть, а самого менеджера - нету, выпилили. Как выпилили поддержку heartbeat'а и так далее... Вобщем, не сладно в pacemaker'е для Центоси 6.3.

А если свежеустановленной федоре скормить этим параметры (rd.md=1 rd.dm=auto) во время первой загрузки? Или так тоже пробовали?
А потом уже (если всё будет ок) - в конфиг груба записать

Для пробы нужно прежде всего время. А его у меня уже не осталось. Сегодня к вечеру должно запустить в предварительную эксплуацию третий сервер. Добиться, чтобы основные службы на нём задышали. Над этим и работаю с утра.
А ставить эксперименты с тем экскрементом у меня нет больше желания. И нужды. Если разработчики поломали логику работы дракута, поломали настолько, что он перестал реагировать на явно задаваемый (установленный той же анакондой при инсталляции системы) параметр запуска rd.dm.uuid=.... На что всегда раньше срабатывал правильно...
Желающие могут потренироваться на досуге.

ну работает - уже хорошо

Да не работает... У меня цель не просто запустить в работу сервера, а постоить на них HA-кластер. Причем не на heartbeat, он только на двух нодах умеет, а на pacemaker-e. У меня в кластере должно стоять три сервера. А вот pacemaker на CentOS 6.3 я за две недели предновогоднего траха на виртуалках завести так и не смог. А на федоре он поднимается на раз-два, делай по книжке и всё получится.

Обидно, что целую неделю потерял на этом долбаном дракуте с RAIDом. Мог бы дано уже отдыхать и пиво пьянствовать. А тут уще целый сервер витруализации переделывать надо. И закончить всё надо 8-го числа. 9-го всё должно работать как часы...