Настоятельно просим вас при общении соблюдать Правила форума и законы РФ. Наша тематика вне политики, поэтому воздержитесь от обсуждения ситуации на Украине и связанных с ней событий, независимо от того, какую сторону вы поддерживаете.
Также напоминаем, что наш форум находится в доменной зоне .ru, физически расположен на российских серверах и мы соблюдаем действующее законодательство России. Любые сообщения о политике будут удаляться.
Linux Forum → Администрирование и настройка сетей → Пересчёт RAID 6
Чтобы отправить ответ, вы должны войти или зарегистрироваться
Здравствуйте уважаемые коллеги. Дано RAID 6 из 5 по 2 Тб, добавили ещё 2 по 2. То, что пересчёт займёт время знали, и потому добавляли в выходные, но на данный момент всего 30 % и это внушает опасения, ибо завтра понедельник. Есть у кого-нибудь опыт? Сколько это может отнять времени? По моим расчётам аж 60 часов... но это много. ОС Debian. Диск данными забит до отказа. ЦПУ больше чем на 15 % даже не грузится.
ну а что же вы хотели? 14ТБ пока засинкается, пока суммы посчитает. +масив в raid 6 не очень производительный. надо расслабиться и ждать.
Спасибо. Ещё вопрос.
# mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Mon Nov 14 10:50:56 2011
Raid Level : raid6
Array Size : 5860531200 (5589.04 GiB 6001.18 GB)
Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
Raid Devices : 7
Total Devices : 7
Persistence : Superblock is persistent
Update Time : Mon Nov 19 13:05:20 2012
State : clean, recovering
Active Devices : 7
Working Devices : 7
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Reshape Status : 58% complete
Delta Devices : 2, (5->7)
Name : tonas:0 (local to host tonas)
UUID : 287f64dd:11d67ba0:6387d98a:671871f1
Events : 26436
Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 97 1 active sync /dev/sdg1
2 8 33 2 active sync /dev/sdc1
3 8 49 3 active sync /dev/sdd1
4 8 65 4 active sync /dev/sde1
6 8 112 5 active sync /dev/sdh
5 8 80 6 active sync /dev/sdfНовые диски без цифр. Они появятся после расширения файловой системы? Заранее не разбивал, в доках этого не было написано, я и не стал. Расширял как здесь http://www.ashep.org/2012/programmnyj-r … e-massiva/
Они появятся после расширения файловой системы?
нет, надо было сделать копию партиции диска которые есть в рейде на ваши диски
нет, надо было сделать копию партиции диска которые есть в рейде на ваши диски
За ответ спасибо. А можно переформулировать? Вообще не понял, и не только я.
resize2fs /dev/md0p1
resize2fs 1.41.12 (17-May-2010)
The filesystem is already 1465132791 blocks long. Nothing to do!Приехали.
Как оказалось raid сделан не так как той в статье и надо было собирать не md0 а md0d1 (ну это я так понял), короче...
mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Mon Nov 14 10:50:56 2011
Raid Level : raid6
Array Size : 9767552000 (9315.06 GiB 10001.97 GB)
Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
Raid Devices : 7
Total Devices : 7
Persistence : Superblock is persistent
Update Time : Tue Nov 20 09:48:42 2012
State : clean
Active Devices : 7
Working Devices : 7
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Name : tonas:0 (local to host tonas)
UUID : 287f64dd:11d67ba0:6387d98a:671871f1
Events : 35008
Number Major Minor RaidDevice State
0 8 81 0 active sync /dev/sdf1
1 8 65 1 active sync /dev/sde1
2 8 97 2 active sync /dev/sdg1
3 8 17 3 active sync /dev/sdb1
4 8 33 4 active sync /dev/sdc1
6 8 112 5 active sync /dev/sdh
5 8 48 6 active sync /dev/sddmdadm --detail /dev/md0p1
/dev/md0p1:
Version : 1.2
Creation Time : Mon Nov 14 10:50:56 2011
Raid Level : raid6
Array Size : 5860531166 (5589.04 GiB 6001.18 GB)
Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
Raid Devices : 7
Total Devices : 7
Persistence : Superblock is persistent
Update Time : Tue Nov 20 09:02:24 2012
State : clean
Active Devices : 7
Working Devices : 7
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Name : tonas:0 (local to host tonas)
UUID : 287f64dd:11d67ba0:6387d98a:671871f1
Events : 35008
Number Major Minor RaidDevice State
0 8 81 0 active sync /dev/sdf1
1 8 65 1 active sync /dev/sde1
2 8 97 2 active sync /dev/sdg1
3 8 17 3 active sync /dev/sdb1
4 8 33 4 active sync /dev/sdc1
6 8 112 5 active sync /dev/sdh
5 8 48 6 active sync /dev/sddВопрос всего один - как всё исправить?
За ответ спасибо. А можно переформулировать? Вообще не понял, и не только я.
надо было сделать как то так:
sfdisk -d /dev/sdb | sfdisk /dev/sdh
sfdisk -d /dev/sdb | sfdisk /dev/sdf
а потом:
mdadm --manage /dev/md0 --add /dev/sdh1
mdadm --manage /dev/md0 --add /dev/sdf1
если конечно же изначально все было сделано правильно.
Приехали.
fdisk -l покажи:
fdisk -l покажи:
fdisk -l
Disk /dev/sda: 40.0 GB, 40019582464 bytes
255 heads, 63 sectors/track, 4865 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0002a323
Device Boot Start End Blocks Id System
/dev/sda1 * 1 4663 37446656 83 Linux
/dev/sda2 4663 4866 1632257 5 Extended
/dev/sda5 4663 4866 1632256 82 Linux swap / Solaris
Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000498f3
Device Boot Start End Blocks Id System
/dev/sdb1 1 243201 1953512001 fd Linux raid autodetect
Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00038618
Device Boot Start End Blocks Id System
/dev/sdc1 1 243201 1953512001 fd Linux raid autodetect
Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000
Disk /dev/sdd doesn't contain a valid partition table
Disk /dev/sde: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000ec176
Device Boot Start End Blocks Id System
/dev/sde1 1 243201 1953512001 fd Linux raid autodetect
Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0002a726
Device Boot Start End Blocks Id System
/dev/sdf1 1 243201 1953512001 fd Linux raid autodetect
Disk /dev/sdh: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000
Disk /dev/sdh doesn't contain a valid partition table
Disk /dev/sdg: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xae2ddf69
Device Boot Start End Blocks Id System
/dev/sdg1 1 243201 1953512001 fd Linux raid autodetect
WARNING: GPT (GUID Partition Table) detected on '/dev/md0'! The util fdisk doesn't support GPT. Use GNU Parted.
Disk /dev/md0: 10002.0 GB, 10001973248000 bytes
255 heads, 63 sectors/track, 1216003 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 524288 bytes / 2621440 bytes
Disk identifier: 0x00000000
Device Boot Start End Blocks Id System
/dev/md0p1 1 267350 2147483647+ ee GPT
Partition 1 does not start on physical sector boundary.может я что то путаю конечно или не понимаю.
но я бы сделал так:
вывел бы эти 2 новых диска из под рейда:
1) пометил бы диск как плохой:
mdadm --manage /dev/md0 --fail /dev/sdX
2) а потом вывел бы его из под рейда:
mdadm --manage /dev/md0 --remove /dev/sdX
обратно возвращаем:
далее сделал бы так:
1) sfdisk -d /dev/sdb | sfdisk /dev/sdX
2) mdadm --manage /dev/md0 --add /dev/sdX1
возможно это не кошерный вариант, но делал так для raid10.
Самбу перед этим положить? И рэйд отмонтровать?
Самбу перед этим положить? И рэйд отмонтровать?
Нет, не обязательно.
Вы же отключает диск, помечаете его как failed, и выводите из под рейда, т.е. имитация сбойного диска, который требуется под замену.
Уж простите за глуповатые вопросы, просто ошибку больше повторить не хочется.
То есть,
1) пометил бы диск как плохой:
mdadm --manage /dev/md0 --fail /dev/sdX
2) а потом вывел бы его из под рейда:
mdadm --manage /dev/md0 --remove /dev/sdX
обратно возвращаем:
далее сделал бы так:
1) sfdisk -d /dev/sdb | sfdisk /dev/sdX
Можно сделать на ходу, и только
2) mdadm --manage /dev/md0 --add /dev/sdX1
Лучше исключить возможность записи и делать это ночью. Так? Просто это боевой NAS
Просто это боевой NAS
Если у этого NAS есть веб морда, то лучше делать через нее, иначе потом будет бардак в системе. (наблюдал подобное на FreeNAS)
Лучше исключить возможность записи и делать это ночью. Так?
Можно и ночью. :-)
Можно сделать на ходу, и только
Как показала практика можно и так и так. Если есть возможность, то лучше делать на "холодную".
Морды нет, только консоль.
Я просто не пойму, если я сейчас это буду делать, то как копировать раздел если на него в этот момент будет идти запись? Что он будет копировать то?
Ну а mdadm --manage /dev/md0 --add /dev/sdX1 в общем не важно, только скорее всего будут проблемы с доступом, а raid всё равно пересчитается. Я верно мыслю?
Запустил. Вроде шара доступна. Господи помилуй... А на будущее буду больше читать перед такими операциями.. спасибо за помощь, будем ждать окончания
Запустил. Вроде шара доступна. Господи помилуй... А на будущее буду больше читать перед такими операциями.. спасибо за помощь, будем ждать окончания
разметку диска покажи что ли, у тебя должны появиться разделы /dev/sdh1 на новых дисках и т.д.
mdadm --detail /dev/md0p1
/dev/md0p1:
Version : 1.2
Creation Time : Mon Nov 14 10:50:56 2011
Raid Level : raid6
Array Size : 5860531166 (5589.04 GiB 6001.18 GB)
Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
Raid Devices : 7
Total Devices : 7
Persistence : Superblock is persistent
Update Time : Tue Nov 20 13:37:12 2012
State : clean, degraded, recovering
Active Devices : 5
Working Devices : 7
Failed Devices : 0
Spare Devices : 2
Layout : left-symmetric
Chunk Size : 512K
Rebuild Status : 6% complete
Name : tonas:0 (local to host tonas)
UUID : 287f64dd:11d67ba0:6387d98a:671871f1
Events : 39956
Number Major Minor RaidDevice State
0 8 81 0 active sync /dev/sdf1
1 8 65 1 active sync /dev/sde1
2 8 97 2 active sync /dev/sdg1
3 8 17 3 active sync /dev/sdb1
4 8 33 4 active sync /dev/sdc1
7 8 49 5 spare rebuilding /dev/sdd1
6 0 0 6 removed
8 8 113 - spare /dev/sdh1Я так понимаю, sdh1 spare пока первый не расчитается?
Я так понимаю, sdh1 spare пока первый не расчитается?
Вообще spare device - диск будет автоматом подцепляться если какой из либо других дисков вдруг умрет, ну и соответственно все потом встанет на место. Дождись ребуилдинга.
Почитай еще вот здесь
Спасибо, будем ждать.
Диски добавились, теперь надо ресайзить.
Делать так?
(parted) select /dev/md0p1
Using /dev/md0p1
(parted) resizeВообще он выдал WARNING (хотя вроде ничего особенного в нём не сказал ) и я решил ещё почитать и не спешить.
WARNING: you are attempting to use parted to operate on (resize) a file system. parted's file system manipulation code is not as robust as what you'll find in dedicated, file-system-specific packages like e2fsprogs. We recommend you use parted only to manipulate partition tables, whenever possible. Support for performing most operations on most types of file systems will be removed in an upcoming release. Partition number?Только щас начинаю понимать какой же изврат вышел с этим GPT
А уже потом resize2fs /dev/md0p1
Почитай еще вот здесь
Видимо вы не до конца прочитали то что я вам скинул.
По делу:
mdadm --grow /dev/md0 --raid-devices=7
а потом уже:
resize2fs /dev/md0
http://www.linux.org.ru/forum/admin/849 … nt-8504461
Я подзапутался. Как это решит трабл с gpt ?
Видимо вы не до конца прочитали то что я вам скинул
С английским к сожалению не очень.. читаю, но не очень хорошо
mdadm --detail /dev/md0 покажи.
/dev/md0:
Version : 1.2
Creation Time : Mon Nov 14 10:50:56 2011
Raid Level : raid6
Array Size : 9767552000 (9315.06 GiB 10001.97 GB)
Used Dev Size : 1953510400 (1863.01 GiB 2000.39 GB)
Raid Devices : 7
Total Devices : 7
Persistence : Superblock is persistent
Update Time : Sat Nov 24 15:10:09 2012
State : clean
Active Devices : 7
Working Devices : 7
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Name : tonas:0 (local to host tonas)
UUID : 287f64dd:11d67ba0:6387d98a:671871f1
Events : 170370
Number Major Minor RaidDevice State
0 8 81 0 active sync /dev/sdf1
1 8 65 1 active sync /dev/sde1
2 8 97 2 active sync /dev/sdg1
3 8 17 3 active sync /dev/sdb1
4 8 33 4 active sync /dev/sdc1
7 8 49 5 active sync /dev/sdd1
8 8 113 6 active sync /dev/sdh1Я так понимаю, надо делать resize, но боязно блин. И нет достаточного понимания вопроса,но и сроки жмут
После попытки расширить RAID развалился совсем!
fdisk -l
Disk /dev/sda: 40.0 GB, 40019582464 bytes
255 heads, 63 sectors/track, 4865 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0002a323
Device Boot Start End Blocks Id System
/dev/sda1 * 1 4663 37446656 83 Linux
/dev/sda2 4663 4866 1632257 5 Extended
/dev/sda5 4663 4866 1632256 82 Linux swap / Solaris
Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0002a726
Device Boot Start End Blocks Id System
/dev/sdb1 1 243201 1953512001 fd Linux raid autodetect
Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000498f3
Device Boot Start End Blocks Id System
/dev/sdd1 1 243201 1953512001 fd Linux raid autodetect
Disk /dev/sde: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00038618
Device Boot Start End Blocks Id System
/dev/sde1 1 243201 1953512001 fd Linux raid autodetect
Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x80c604ad
Device Boot Start End Blocks Id System
/dev/sdf1 1 243201 1953512001 fd Linux raid autodetect
Partition 1 does not start on physical sector boundary.
Disk /dev/sdg: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000ec176
Device Boot Start End Blocks Id System
/dev/sdg1 1 243201 1953512001 fd Linux raid autodetect
Disk /dev/sdh: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x52c348b1
Device Boot Start End Blocks Id System
/dev/sdh1 1 243201 1953512001 fd Linux raid autodetect
Partition 1 does not start on physical sector boundary.
Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xae2ddf69mdadm --detail /dev/md0
mdadm: md device /dev/md0 does not appear to be activemd0p1 попросту перестал существовать. Не находит суперблок. Пожалуйста помогите!
Всё что хотите в мой адрес сказать, уже знаю, лучше посоветуйте как исправить. Бэкап аж недельной давности, если не исправлю до понедельника, то по ходу отработался я.
cat /proc/mdstat
Personalities :
md0 : inactive sdb1[0](S) sde1[4](S) sdd1[3](S) sdc1[2](S) sdg1[1](S)
9767554885 blocks super 1.2
mdadm --assemble /dev/md0 /dev/sdb1 /dev/sde1 /dev/sdd1 /dev/sdc1 /dev/sdg1
mdadm: cannot open device /dev/sdb1: Device or resource busy
mdadm: /dev/sdb1 has no superblock - assembly abortedЧтобы отправить ответ, вы должны войти или зарегистрироваться
Linux Forum → Администрирование и настройка сетей → Пересчёт RAID 6
Форум работает на PunBB, при поддержке Informer Technologies, Inc
