Linux Forum — RAID5: отрезано от надежных HDD

Re: RAID5: отрезано от надежных HDD

null@example.com (Fat-Zer) — Mon, 11 Mar 2013 19:24:23 +0000

-=Serj=-⇓ пишет:

Если их и без рейда не хватает...

тормоза идут при копировании в userspace... в raid'е оверхед будет только на контрольные суммы по идее...

Re: RAID5: отрезано от надежных HDD

null@example.com (-=Serj=-) — Mon, 11 Mar 2013 19:07:49 +0000

Fat-Zer⇓ пишет:

процессор на столько слабый, что тоже является узким местом...

Fat-Zer⇓ пишет:

вопрос только хватит ли на это ресурсов ЦП?

Если их и без рейда не хватает...

Re: RAID5: отрезано от надежных HDD

null@example.com (Fat-Zer) — Mon, 11 Mar 2013 18:56:35 +0000

-=Serj=-⇓ пишет:

Он и без распараллеливания медленно читает.

этому тесту доверять нельзя:

goblin-server tmp # for i in /dev/sd{b,c,d,e}; do time dd if=$i of=/dev/null bs=4k count=$((1024*1024)); done; wait
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 53,0564 c, 81,0 MB/c

real    0m53.321s
user    0m0.684s
sys     0m27.410s
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 71,1936 c, 60,3 MB/c

real    1m11.439s
user    0m0.700s
sys     0m57.864s
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 52,7939 c, 81,4 MB/c

real    0m53.034s
user    0m0.800s
sys     0m27.178s
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 53,1558 c, 80,8 MB/c

real    0m53.411s
user    0m0.700s
sys     0m27.486s
goblin-server tmp # for i in /dev/sd{b,c,d,e}; do (time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done) & sleep 1; done; wait
[1] 16036
[2] 16039
[3] 16042
[4] 16045
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 160,641 c, 26,7 MB/c

real    2m41.013s
user    0m0.780s
sys     0m31.702s
/dev/sdb done
[1]   Done                    ( time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done )
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 161,369 c, 26,6 MB/c

real    2m41.402s
user    0m0.660s
sys     0m31.754s
/dev/sdd done
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 160,864 c, 26,7 MB/c

real    2m40.886s
user    0m0.648s
sys     0m31.794s
/dev/sde done
1048576+0 записей считано
1048576+0 записей написано
 скопировано 4294967296 байт (4,3 GB), 195,162 c, 22,0 MB/c

real    3m15.187s
user    0m0.688s
sys     0m58.488s
/dev/sdc done
[2]   Done                    ( time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done )
[3]-  Done                    ( time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done )
[4]+  Done                    ( time dd if=$i of=/dev/null bs=4k count=$((1024*1024)) && echo $i done )

процессор на столько слабый, что тоже является узким местом... реальная скорость дисков и контроллера в режиме «по-одному» больше раза в 2... так что это обычный SATA-150 получается...
что будет в параллельном режиме сказать сложно... думаю в итоге по задержке дискав raid будет раза в 1,5-2 производительней....
вопрос только хватит ли на это ресурсов ЦП?

собственно я могу без особых проблем попробовать: диски у меня разбиты на куски по 512G, так что я без проблем выделю первые 2 ГБ под raid..

Re: RAID5: отрезано от надежных HDD

null@example.com (-=Serj=-) — Mon, 11 Mar 2013 11:49:56 +0000

Fat-Zer⇓ пишет:

скопировано 1073741824 байта (1,1 GB), 15,3366 c, 70,0 MB/c

Он и без распараллеливания медленно читает.

Re: RAID5: отрезано от надежных HDD

null@example.com (Fat-Zer) — Mon, 11 Mar 2013 11:40:35 +0000

Fat-Zer⇓ пишет:

попробую, как будет параллельно читаться...

goblin-server tmp # for i in /dev/sd{b,c,d,e}; do dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)); done
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 15,609 c, 68,8 MB/c
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 22,9345 c, 46,8 MB/c
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 14,8411 c, 72,3 MB/c
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 15,3366 c, 70,0 MB/c
goblin-server tmp # for i in /dev/sd{b,c,d,e}; do (dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )& sleep 1; done; wait
[1] 15805
[2] 15808
[3] 15811
[4] 15814
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 45,3346 c, 23,7 MB/c
/dev/sdb
[1]   Done                    ( dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 47,5274 c, 22,6 MB/c
/dev/sdd
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 47,8938 c, 22,4 MB/c
/dev/sde
262144+0 записей считано
262144+0 записей написано
 скопировано 1073741824 байта (1,1 GB), 66,6857 c, 16,1 MB/c
/dev/sdc
[2]   Done                    ( dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )
[3]-  Done                    ( dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )
[4]+  Done                    ( dd if=$i of=/dev/null bs=4k count=$((1024*1024/4)) && echo $i )

да.... и правда контроллер сильно тормозит...

Re: RAID5: отрезано от надежных HDD

null@example.com (Fat-Zer) — Mon, 11 Mar 2013 11:06:24 +0000

i2ks⇓ пишет:

И на этом все сдохнет. По личном опыту скажу, то что контролер так себе, не ахти.

сейчас pvmove закончится... попробую, как будет параллельно читаться... но скорость меня меньше волнует, чем ахтунг при отказе диска... если конечно под ноль тормозить не начнёт...

zenon⇓ пишет:

Да ну его этот 5-ый, оперативки побольше zfs и зеркало.

к этому я не готов... да и больше 512-ти мать не держит... да и для избранного зеркало можно с обычным lvm'ом... а всё подряд в него пихать жаба душит...

Re: RAID5: отрезано от надежных HDD

null@example.com (i2ks) — Mon, 11 Mar 2013 10:54:29 +0000

zenon⇓ пишет:

оперативки побольше

смысл от объема ОЗУ, если дохлый контроллер.

Re: RAID5: отрезано от надежных HDD

null@example.com (zenon) — Mon, 11 Mar 2013 10:49:30 +0000

Да ну его этот 5-ый, оперативки побольше zfs и зеркало.

Re: RAID5: отрезано от надежных HDD

null@example.com (i2ks) — Mon, 11 Mar 2013 10:42:00 +0000

Fat-Zer⇓ пишет:

диски подключены через дешёвый саташный PCI контроллер (SiI 3114)

И на этом все сдохнет. По личном опыту скажу, то что контролер так себе, не ахти.

RAID5: отрезано от надежных HDD

null@example.com (Fat-Zer) — Mon, 11 Mar 2013 10:36:37 +0000

[оффтоп]
в очередной раз задумался о том, что жёстким дискам доверять нельзя... задумался о 5-м raid'е
как он процессор кушает? 3-го пенька(847MHz) хватит?
всего 2-3 клиента по 100Мбит сети: торрент/самба/ftp/ssh(sftp).... в общей сложности загрузка ~25-50%... большая часть идёт на торрент....
диски подключены через дешёвый саташный PCI контроллер (SiI 3114). скорей всего будет второй такого же класса...

собственно диски:

goblin-server alexander # for i in /dev/sd{b,c,d,e}; do smartctl -a $i |grep  'Device Model\|User Capacity'; done
Device Model:     WDC WD15EARS-00Z5B1
User Capacity:    1 500 301 910 016 bytes [1,50 TB]
Device Model:     SAMSUNG HD154UI
User Capacity:    1 500 300 828 160 bytes [1,50 TB]
Device Model:     ST2000DL003-9VT166
User Capacity:    2 000 398 934 016 bytes [2,00 TB]
Device Model:     WDC WD20EFRX-68AX9N0
User Capacity:    2 000 398 934 016 bytes [2,00 TB]