Доклад Google о файловых системах Linux

Опубликована видеозапись доклада Майкла Рубина (Michael Rubin), занимающегося системами хранения данных в Google, о причинах миграции с файловой системы Ext2 на Ext4. В докладе показаны результаты исследования производительности EXT2, достоинства и недостатки различных файловых систем, доступных в Linux, причины выбора файловой системы Ext4 для использования на серверах Google.

Некоторые тезисы:

  • Файловая система Ext2 очень надежна, но имеет проблемы с производительностью при высокой интенсивности ввода/вывода. Из всех дисковых операций 40% было связано с обработкой мета-данных и только 60% с самими данными. При высокой нагрузке удаление 8 Мб файла иногда длилось до 800 секунд, наблюдались проблемы с фрагментацией. Как вариант решения проблемы все мета-данные можно было кэшировать, но это потребовало бы больших затрат оперативной памяти. Еще один недостаток Ext2 - очень долгое выполнение восстановления при помощи fsck - для диска 1 Тб восстановление занимало 85 минут;

  • Ext3 - проблемы с долгим выполнение fsck решены за счет поддержки журналирования, но производительность осталась на уровне Ext2. Дополнительные плюсы - простота управления и лёгкость миграции с Ext2;

  • Ext4 - кроме унаследованных у Ext3 плюсов в Ext4 частично решены проблемы с производительностью. Производительность не самая высокая среди доступных ФС, но вполне достаточная;

  • В Btrfs реализованы очень интересные возможности, но код еще не готов для промышленного применения;

  • XFS - отличная производительность, но большая усложнённость реализации;

  • ZFS - отличная производительность, высокая надежность и богатые возможности с одной стороны, но несовместимая с GPL лицензия на код с другой стороны;

  • ReiserFS, JFS не рассматривались в Google как варианты для миграции из-за недостаточной поддержки кодовой базы.

Источник — http://www.opennet.ru/opennews/art.shtml?num=30478
Главная ссылка к новости — http://google-opensource.blogspot.com/2 … linux.html

Был, был и весь вышел...

2

Дак Ext4 получается далеко не лучшая ФС? Даже для десктопа?

АХАХХАХААХАХАХХАХАХ!!!11
То есть "Мяу"

3

Dimaty, угу. Но она хорошо поддерживается Linux.

Linux Mint 19.3 Mate Edition
Windows 7

4 (07.05.2011 11:28:25 отредактировано zenon)

Dimaty пишет:

Дак Ext4 получается далеко не лучшая ФС? Даже для десктопа?

Но у google при этом год назад большая часть серверов была на ext3, сейчас вроде на ext4 большинство перевели.
И далеко не лучшая, это смотря с чем и для каких задач сравнивать.

История показывает, что во всем новом обычно кроется какой-то подвох.
Классическая ошибка, которую совершают проектировщики
абсолютно надежных систем, - недооценка изобретательности клинических идиотов.

5

newzenon пишет:

И далеко не лучшая, это смотря с чем и для каких задач сравнивать.

Стало интересно ab

АХАХХАХААХАХАХХАХАХ!!!11
То есть "Мяу"

6

newzenon пишет:

И далеко не лучшая, это смотря с чем и для каких задач сравнивать.

а сравнивать то и не с чем... ext3, рейзер и xfs по различным тестам она превосходит, zfs не совместима по лицухе, btrfs - очень сырая.

95% процентов проблем находятся между клавиатурой и стулом.

7

Lupo Alberto пишет:
  • В Btrfs...

  • ReiserFS...

Взяли бы под "свое крыло". ФС отличные. Или нет у них таких специалистов?

8

mycetophylax
Google взял btrfs под крыло? Эм, это было бы, как минимум, странно.

9

Darth Revan пишет:

mycetophylax
Google взял btrfs под крыло? Эм, это было бы, как минимум, странно.

Google взял бы, если бы на этом можно было деньжат срубить. А так зачем Google это надо?

10

surf
А как Oracle на это посмотрит?

11

Дык у них же и своя фс есть GoogleFS, она же GFS. Только она закрытая и даже представляет собой коммерческую тайну.

Йа тьомный эльф

Надо будет ZFS заюзать...
ReiserFS очень хорошая (куда стабильнее ext, нечувствительна к перебоям, достаточно быстрая, нет проблем с фрагментацией), хотя как будет себя чувствовать в большой жизни знать не могу.

Даже IRL беседа постоянно плавно перетекает из одной темы в другую... Не надо этого бояться!
Дружно общаемся на ты! Ну а коли на вы, то учтите, что "вы" в обычных случаях пишется с маленькой буквы.
                                                                                                                                                    Ваш moscwich.

13

Капитан Очевидность пишет:

ReiserFS очень хорошая (куда стабильнее ext, нечувствительна к перебоям, достаточно быстрая, нет проблем с фрагментацией), хотя как будет себя чувствовать в большой жизни знать не могу.

Лет уже 5-6 пользуюсь ReiserFS на всех разделах кроме /boot — полёт нормальный!  smile

Был, был и весь вышел...

14

Lupo Alberto пишет:
Капитан Очевидность пишет:

ReiserFS очень хорошая (куда стабильнее ext, нечувствительна к перебоям, достаточно быстрая, нет проблем с фрагментацией), хотя как будет себя чувствовать в большой жизни знать не могу.

Лет уже 5-6 пользуюсь ReiserFS на всех разделах кроме /boot — полёт нормальный!  smile

странновато  :o я (не спрашивайте зачем) сделал /var отдельным разделом с reiserfs, так оно через пару перезагрузок не монтировалось автоматом, требовало проверки  :O вернул /var на ext3 и теперь все пучком smile

Да хранит вас Ctrl+S!

15

redgy92 пишет:

странновато  :o я (не спрашивайте зачем) сделал /var отдельным разделом с reiserfs, так оно через пару перезагрузок не монтировалось автоматом, требовало проверки  :O вернул /var на ext3 и теперь все пучком smile

У меня всё на ReiserFS, другие даже и не пробовал. Да и зачем? И так все устраивает.

16

mycetophylax пишет:

другие даже и не пробовал. Да и зачем? И так все устраивает.

логично  ag меня тоже устраивает ext3. На другие бегал, но в итоге вернулся на ext3 smile

Да хранит вас Ctrl+S!

17

redgy92, у меня есть битый диск на нём reiserfs - так только на нём reiser требует периодически  проверки с опцией rebuild tree, ntfs на этом диске тоже была, и рухнула окончательно, на этом же месте создал reiserfs - и нечего - полгода полёт нормальный, так что живучий он (reiser) однако...

История показывает, что во всем новом обычно кроется какой-то подвох.
Классическая ошибка, которую совершают проектировщики
абсолютно надежных систем, - недооценка изобретательности клинических идиотов.

18

newzenon пишет:

reiserfs - и нечего - полгода полёт нормальный, так что живучий он (reiser) однако...

Лет 6 однако reiserfs на несистемных разделах ab Информацию - доверяю ab

19

mvt, я наоборот под системные т.к. именно при работе с большим количеством мелких файлов заметен прирост скорости по сравнению с ext3/4.

История показывает, что во всем новом обычно кроется какой-то подвох.
Классическая ошибка, которую совершают проектировщики
абсолютно надежных систем, - недооценка изобретательности клинических идиотов.

20 (09.05.2011 22:07:31 отредактировано mvt)

newzenon пишет:

я наоборот под системные т.к. именно при работе с большим количеством мелких файлов заметен прирост скорости по сравнению с ext3/4.

Я слышал об успешном применении reiserfs для корневого раздела. Но мой опыт (основанный кстати, на сузе 9.х, где это было "по умолчанию" ab ), говорит о том, что Ext4 (ну, тогда еще Ext3) - более обоснованное решение.

21

райзера даже консервативный альт понимает, правда, не везде. Но на хоме - без вопросов.

друзья, давайте заменим чсВ на ЧСД!
Проблемы. Глюки. Красные глаза. Так будет с каждым, кто не хочет сменить Ubuntu на минт-росинку9
Знаю, что росинка - внучка убунты, значит, неизбежны родимые пятна. Но бабулька-то куда страшнее!
Но наш слакварь стоит на запасном пути. Он ждет своего часа. Может, когда док вернется из бана?

22 (10.05.2011 14:19:17 отредактировано Капитан Очевидность)

redgy92 пишет:
Lupo Alberto пишет:
Капитан Очевидность пишет:

ReiserFS очень хорошая (куда стабильнее ext, нечувствительна к перебоям, достаточно быстрая, нет проблем с фрагментацией), хотя как будет себя чувствовать в большой жизни знать не могу.

Лет уже 5-6 пользуюсь ReiserFS на всех разделах кроме /boot — полёт нормальный!  smile

странновато  :o я (не спрашивайте зачем) сделал /var отдельным разделом с reiserfs, так оно через пару перезагрузок не монтировалось автоматом, требовало проверки  :O вернул /var на ext3 и теперь все пучком smile

У меня ext3 почти после каждого аварийного отключения падала (ну т. е. также требовала проверки, но сама проверка не оканчивалась т. е. нужен был fsck). Но это все потому что винт древний глюченый был, но Reiser ни разу не падала.

Даже IRL беседа постоянно плавно перетекает из одной темы в другую... Не надо этого бояться!
Дружно общаемся на ты! Ну а коли на вы, то учтите, что "вы" в обычных случаях пишется с маленькой буквы.
                                                                                                                                                    Ваш moscwich.

23

newzenon пишет:

redgy92, у меня есть битый диск на нём reiserfs - так только на нём reiser требует периодически  проверки с опцией rebuild tree, ntfs на этом диске тоже была, и рухнула окончательно, на этом же месте создал reiserfs - и нечего - полгода полёт нормальный, так что живучий он (reiser) однако...

На компе сына года 2 назад сдох винт. Винда ставится на него отказалась на этапе разметки диска. Попробовал поставить ext4. До сих пор полет нормальный использую для фильмов.

То что не убивает нас, делает нас сильнее! © Ницше.
When life puts you in tough situations, don’t say "why me". Just say "try me".
GNU/Linux Debian

24

Все на Ext4, работает четко, без сбоев. Вот думаю попробовать на home xfs.

25

surf, xfs лучше на всякую мультимедию, торренты.

История показывает, что во всем новом обычно кроется какой-то подвох.
Классическая ошибка, которую совершают проектировщики
абсолютно надежных систем, - недооценка изобретательности клинических идиотов.

26

Dimaty пишет:

Дак Ext4 получается далеко не лучшая ФС? Даже для десктопа?

интересно, с чего вы это взяли? что лучше?

Капитан Очевидность пишет:

куда стабильнее ext, нечувствительна к перебоям, достаточно быстрая, нет проблем с фрагментацией

в качестве пруфа вам кроме ника ничего не предоставить? то-же самое говорят про NTFS. да и пруфы у них те-же. (ничего не знаю, да и знать не желаю(С)ваш)

Капитан Очевидность пишет:

У меня ext3 почти после каждого аварийного отключения падала (ну т. е. также требовала проверки, но сама проверка не оканчивалась т. е. нужен был fsck). Но это все потому что винт древний глюченый был, но Reiser ни разу не падала.

Очевидно, она падала, данные терялись, но вас об этом в известность не поставили. Кому нужны ваши данные, в самом деле?

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

27

Капитан Очевидность пишет:

У меня ext3 почти после каждого аварийного отключения падала (ну т. е. также требовала проверки, но сама проверка не оканчивалась т. е. нужен был fsck).

ну и конечно сменить fsck на fsck -y вам не позволила религия? для этого надо менять ФС, на ту, которая делает так по умолчанию?

Карусель разнесло по цепочке за час
Всех известий — конец
Да, весна началась!
(всё к лицу подлецу, как родному отцу, не рассказывай, батя, и так всё пройдёт)

28

drBatty пишет:

fsck -y

порой может убить все данные пользователя, а в папке lost+found окажется не все что надо =)

It is good day to die ...
MS Windows 10
Заметки о главном...

29 (11.05.2011 16:39:22 отредактировано Dimaty)

drBatty пишет:

интересно, с чего вы это взяли? что лучше?

Ни с чего я не взял! Вообще-то это был вопрос

АХАХХАХААХАХАХХАХАХ!!!11
То есть "Мяу"
drBatty пишет:

в качестве пруфа вам кроме ника ничего не предоставить?

Три анологичных отзыва (помимо моего) в данном топике. Очевидно же. bx

drBatty пишет:
Капитан Очевидность пишет:

У меня ext3 почти после каждого аварийного отключения падала (ну т. е. также требовала проверки, но сама проверка не оканчивалась т. е. нужен был fsck).

ну и конечно сменить fsck на fsck -y вам не позволила религия? для этого надо менять ФС, на ту, которая делает так по умолчанию?

Почти. Очевидность не позволяла. Теперь все очевидно ab

Даже IRL беседа постоянно плавно перетекает из одной темы в другую... Не надо этого бояться!
Дружно общаемся на ты! Ну а коли на вы, то учтите, что "вы" в обычных случаях пишется с маленькой буквы.
                                                                                                                                                    Ваш moscwich.