Пользователь
0,0
рейтинг
24 апреля 2009 в 17:12

Администрирование → Особенности Ext4 перевод

Данная статья является переводом той части статьи на KernelNewbies, которая описывает особенности файловой системы Ext4. Последний раздел статьи, об использовании Ext4, уже на Хабре публиковался.

Ext4 — это результат эволюции Ext3, наиболее популярной файловой системы в Linux. Во многих аспектах Ext4 представляет собой больший шаг вперёд по сравнению с Ext3, чем Ext3 была по отношению к Ext2. Наиболее значительным усовершенствованием Ext3 по сравнению с Ext2 было журналирование, в то время как Ext4 предполагает изменения в важных структурах данных, таких как, например, предназначенных для хранения данных файлов.

Это позволило создать файловую систему с более продвинутым дизайном, более производительную и стабильную и с обширным набором функций.

1. Совместимость


Любая имеющаяся файловая система типа Ext3 может быть конвертирована в Ext4 путём простой процедуры, состоящей из запуска пары команд в режиме «только чтение». Это означает, что вы можете повысить производительность и вместимость и улучшить возможности вашей имеющейся файловой системы без переформатирования и без переустановки ОС и программ. Если вы хотите получить преимущества Ext4 в production-системе, вы также можете обновить файловую систему. Эта процедура безопасна и не подвергает риску ваши данные (при этом, само собой, рекомендуется сделать резервную копию важных данных. Впрочем, это нужно делать, даже если вы не собираетесь менять файловую систему).

Ext4 будет использовать новые структуры только для новых данных, а старые при этом останутся неизменными. При необходимости их можно будет читать и изменять. Это безусловно означает, что, единожды сменив файловую систему на Ext4, вернуть Ext3 будет уже невозможно.

Также имеется возможность смонтировать файловую систему Ext3 как Ext4 без использования нового формата данных, что позволит впоследствии смонтировать её опять как Ext3. При этом, само собой, вы не сможете воспользоваться многочисленными преимуществами Ext4.

2. Больший размер файлов и файловой системы


На сегодняшний день максимальный размер файловой системы Ext3 равен 16 терабайтам, а размер файла ограничен 2 терабайтами. В Ext4 добавлена 48-битная адресация блоков, что означает, что максимальный размер этой файловой системы равен одному экзабайту, и файлы могут быть размером до 16 терабайт. 1 EB (экзабайт) = 1,048,576 TB (терабайт), 1 EB = 1024 PB (петабайт), 1 PB = 1024 TB, 1 TB = 1024 GB. Почему 48-битная, а не 64-битная? Имелся ряд ограничений, которые необходимо было бы снять, чтобы сделать Ext4 полностью 64-битной, и такой задачи перед Ext4 не ставилось. Структуры данных в Ext4 проектировались с учётом требуемых изменений, поэтому однажды в будущем поддержка 64 бит в Ext4 появится. Пока же придётся довольствоваться одним экзабайтом.

Примечание: код для создания файловых систем размером более 16 терабайт на момент написания этой статьи не содержится ни в одном из стабильных релизов e2fsprogs. В будущем он будет добавлен.

3. Масштабируемость подкаталогов


В настоящий момент один каталог Ext3 не может содержать более, чем 32000 подкаталогов. Ext4 снимает это ограничение и позволяет создавать неограниченное количество подкаталогов.

4. Экстенты


Традиционные файловые системы, произошедшие от Unix, такие как Ext3, используют схему непрямого отображения блоков для отслеживания каждого блока, отвечающего за хранение данных файла. Такой подход неэффективен для больших файлов, особенно при операциях удаления и усечения таких файлов, поскольку карта соответствия содержит по одной записи на каждый отдельный блок. В больших файлах блоков много, их карты соответствия большие, и обрабатываются они медленно.

В современных файловых системах применяется иной подход, основанный на так называемых экстентах. Экстент — это в общем-то набор последовательных физических блоков. Он как бы говорит нам: «Эти данные находятся в следующих n блоках». Например, файл размером в 100 мегабайт может храниться в единственном экстенте такого же размера, вместо того, чтобы быть разбитым на 25600 4-килобайтных блоков, адресуемых путём непрямого отображения. Огромные файлы можно разделить на несколько экстентов.

Благодаря применению экстентов улучшается производительность, а также уменьшается фрагментированность, поскольку экстенты способствуют непрерывному размещению данных.

5. Многоблочное распределение


Если в Ext3 нужно записать на диск новые данные, специальный механизм распределения блоков определяет, какие блоки из числа свободных будут для этого использованы. Проблема в том, что в Ext3 этот механизм распределяет в один присест только один блок (4 килобайта). Это означает, что, если нужно записать, скажем, ранее упомянутые 100 мегабайт данных, нужно будет обратиться к механизму распределения 25600 раз (речь идёт о каких-то 100 мегабайтах!). Мало того, что это неэффективно, это к тому же не позволяет оптимизировать политику распределения, поскольку соответствующий механизм не имеет понятия о реальном объёме данных, подлежащем записи, а знает только об одном-единственном блоке.

Ext4 использует механизм многоблочного распределения (multiblock allocator, mballoc) который позволяет распределить любое количество блоков с помощью единственного вызова и избежать огромных накладных расходов. Благодаря этому производительность существенно вырастает, что особенно заметно при отложенном распределении (см. ниже) с использованием экстентов. Эта возможность никак не влияет на формат данных.

Также можно отметить, что в механизм распределения блоков и inode в Ext4 получил и другие улучшения, подробно описанные в этом документе.

6. Отложенное распределение


Отложенное распределение представляет собой способ повышения производительности, не влияющий на формат данных и представленный в современных файловых системах, таких как XFS, ZFS, btrfs и Reiser 4.

Суть этого метода состоит в отсрочке выделения блоков насколько это возможно — по контрасту с подходом, применямым в традиционных файловых системах (таких как Ext3, reiser3 и т. д.): распределять блоки сразу, при первой возможности. Например, если процесс осуществляет запись вызовом write(), файловая система распределит блоки под запись немедленно — даже если данные пока не будут записываться на диск, а будут находиться какое-то время в кэше. Недостатки такого подхода, например, в том, что, если процесс непрерывно осуществляет запись в растущий файл, последовательные вызовы write() постоянно распределяют блоки данных, и при этом неизвестно, будет ли файл расти далее.

При использовании отложенного распределения блоки сразу не выделяются при обращении к write(). Вместо этого распределение откладывается до момента, когда файл будет записан из кэша на диск. Благодаря этому механизм получает возможность оптимизировать процесс распределения. Наибольший выигрыш получается при использовании двух ранее упомянутых возможностей — экстентов и многоблочного распределения, поскольку часто встречается ситуация, когда окончательный файл пишется на диск в виде экстентов, распределённых с помощью mballoc. Это даёт существенный прирост производительности, и иногда сильно снижает фрагментированность данных.

7. Быстрый fsck


Fsck — это очень медленная операция, особенно это касается её первой стадии, проверки всех inodes в файловой системе.

В Ext4 после inode-таблицы каждой группы хранится список неиспользованных inodes (снабжённый для надёжности контрольной суммой), поэтому fsck такие inodes не будет проверять. Результатом является уменьшение времени проверки от 2 до 20 раз, что зависит от количества используемых inodes (см. http://kerneltrap.org/Linux/Improving_fsck_Speeds_in_Ext4).

То, что список неиспользуемых inodes составляется fsck, а не Ext4, будет хорошо заметно, если вы запустите fsck, чтобы он построил список неиспользуемых inodes, и когда только следующий запуск fsck пройдёт быстрее (запуск fsck всё равно необходим при конвертировании Ext3 в Ext4).

Кроме того, на ускорение fsck влияет и другая особенность — «гибкие группы блоков», также они ускоряют и другие файловые операции.

8. Контрольные суммы журнала


Журнал является наиболее часто используемой частью диска, вследствие чего блоки, из которых он состоит, становятся особенно чувствительными к отказам оборудования. Более того, попытка восстановления при повреждённом журнале может привести к ещё более массовым повреждениям в данных. Ext4 подсчитывает контрольные суммы журнальных данных, что позволяет определить факт их повреждения. У этого есть и ещё одно преимущество: благодаря контрольным суммам можно превратить систему двухфазной фиксации журнала Ext3 в однофазную, что ускоряет файловые операции в отдельных случаях до 20 %, таким образом, улучшаются одновременно и надёжность, и производительность.

Примечание: часть, отвечающая за производительность — асинхронное протоколирование, — сейчас по умолчанию отключена, и будет включена в одном из последующих релизов, когда удастся добиться надёжной его работы.

9. Режим без журналирования


Журналирование обеспечивает целостность файловой системы путём протоколирования всех происходящих на диске изменений. Но оно также вводит дополнительные накладные расходы на дисковые операции. В некоторых особых ситуациях журналирование и предоставляемые им преимущества могут оказаться излишними. Ext4 позволяет отключить журналирование, что приводит к небольшому приросту производительности.

10. Онлайн-дефрагментация


Эта функция пока в разработке и будет включена в один из будущих релизов.

Хотя отложенное и многоблочное распределение и экстенты помогают уменьшить фрагментированность файловой системы, со временем она всё-таки может вырасти.

Например: вы создаёте три файла в одном каталоге и они расположены на диске друг за другом. Потом, однажды вы решаете обновить второй файл, и при этом файл становится несколько больше — так, что места для него становится недостаточно. При этом нет никаких других решений, кроме как отделить не вмещающийся фрагмент файла и положить его на другое место диска или выделить файлу последовательную область диска большего размера в другом месте, вдалеке от первых двух файлов, что приведёт к перемещениям головки диска, если приложению потребуется считать все файлы в каталоге (скажем, менеджер файлов будет создавать эскизы для файлов изображений).

Помимо этого, файловая система может заботиться только об определённых типах фрагментации и она не может знать, например, что она должна хранить все файлы, требуемые при загрузке, рядом друг с другом, поскольку она просто не знает, какие из них требуются при загрузке. Чтобы решить эту проблему, Ext4 будет поддерживать онлайн-дефрагментацию.

Также имеется утилита e4defrag, которая позволяет дефрагментировать как отдельные файлы, так и всю файловую систему.

11. Улучшения, связанные с inode


Бóльшие inodes, наносекундные временные метки, быстрые расширенные атрибуты, резервирование inodes…

  • Бóльшие inodes: Ext3 поддерживает inodes настраиваемого размера (путём указания mkfs параметра -I), однако размер inode по умолчанию — 128 байт. В Ext4 он будет 256 байт. Это потребовалось, чтобы вместить несколько дополнительных полей (таких как наносекундные временные метки и версии inode), а оставшееся в inode место будет использовано для хранения тех расширенных атрибутов, которые достаточно малы, чтобы там поместиться. Это позволит сделать доступ к таким атрибутам намного быстрее и улучшит производительность приложений, использующих их, в 3­—7 раз.
  • Суть резервирования inode состоит в выделении нескольких inodes при создании каталога в ожидании того, что они будут использованы в будущем. Это улучшает производительность, потому что вновь создаваемые в этом каталоге файлы смогут использовать зарезервированные inodes. Поэтому создание и удаление файлов производится более эффективно.
  • Наносекундные временные метки (nanosecond timestamps) означают, что такие поля inode как, например, время модификации получают наносекундную точность (в Ext3 она была равна секунде).


12. Устойчивое прераспределение


Эта возможность, доступная уже в Ext3 в последних версиях ядра и эмулируемая glibc в файловых системах, которые её не поддерживают, позволяет приложениям заранее распределять дисковое пространство, сообщая о своих потребностях файловой системе. Та, в свою очередь, выделяет необходимое количество блоков и структур данных, но они пусты до тех пор, пока приложение в реальности не осуществит в них запись.

Это именно то, что делают, например, P2P-приложения, выделяя место для данных, которые появятся там только спустя часы или дни. Однако реализовано это намного более эффективно — на уровне файловой системы и с универсальным API.

Применений этому несколько: во-первых, чтобы предотвратить выполнение того же самого приложениями (такими как P2P), неэффективно заполняющими файлы нулями — нужные блоки будут выделены разом.

Во-вторых, чтобы снизить фрагментацию — опять же потому, что блоки выделяются однократно, настолько непрерывно, насколько это возможно.

В-третьих, чтобы гарантировать, что приложение будет иметь столько места, сколько ему требуется, что особенно важно для приложений, работающих в реальном времени, поскольку файловая система может вдруг переполниться в процессе выполнения важной операции.

Эта возможность доступна через интерфейс libc posix_fallocate().

13. Механизм «шлагбаумов» по умолчанию включен


Это опция, обеспечивающая целостность файловой системы ценой некоторой потери производительности (её можно отключить с помощью «mount -o barrier=0», рекомендуется сделать это при замерах производительности).

Выдержка из статьи LWN: «Код файловой системы обязан перед созданием записи фиксации [журнала] быть абсолютно уверенным, что вся информация о транзакции помещена в журнал. Просто делать запись в правильном порядке недостаточно; современные диски имеют кэш большого объёма и меняют порядок записи для оптимизации производительности. Поэтому файловая система обязана явно сообщить диску о необходимости записать все журнальные данные на носитель перед созданием записи фиксации; если сначала будет создана запись фиксации, журнал может быть повреждён. Блокирующая система ввода-вывода ядра предоставляет такую возможность благодаря использованию механизма «шлагбаумов» (barriers); проще говоря, «шлагбаум» запрещает запись любых блоков, посланных после него, до того момента, как всё, что было прислано перед «шлагбаумом», будет перенесено на носитель. При использовании «шлагбаумов» файловая система может гарантировать, что всё, что находится на диске, целостно в любой момент времени».
Перевод: Michael Blizek
Dmitry Kann @yktoo
карма
88,0
рейтинг 0,0
Пользователь
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Спецпроект

Самое читаемое Администрирование

Комментарии (38)

  • НЛО прилетело и опубликовало эту надпись здесь
    • –25
      не судьба в личку написать? комментарии не для этого
      ловите минус)
      • +13
        *ловлю
      • НЛО прилетело и опубликовало эту надпись здесь
        • +1
          ХАБРАЭФФЕКТ мать его =)
  • 0
    Т.е. для ext4 все же понадобится дефрагментация?
    • +3
      фрагментируется она не сильнее чем ext2/ext3, просто для нее в отличие от них будет существовать нормальный дефрагментатор.
  • +2
    Было желание сегодня сносить висту с ноутбука(настроена и работает прекрасно, но хочется бОльшей юзабилити) и ставить либо Win7RC либо Ubuntu9.04+Ext4. Выбор остановился на втором варианте, до винды позже доберемся :)
    • –12
      Я выбрал первое. Собсно, почему заглянул сюда — стало любопытно увидеть где-нить сравнение (плюсы, минусы и все такое) файловых систем от Линуса и Билла :-)
      FYI. «Семерка» оч. хороша. Одно удовольствие работать :-)
      • НЛО прилетело и опубликовало эту надпись здесь
        • –6
          Семерка x64 на моем ноуте работает ощутимо шустрее висты. Пропали всякие непонятные зависания. Нужные приложения установились все без исключения. А Аэро… без нее уже не могу жить. Кто ж в здравом уме Астон Мартин променяет на Фольксваген, пускай последний и добротно сделан? ;-)
          PS. Линух пока никак не прочувствовал. Не вижу в нем смысла кроме как побаловаться :-) Винда — для продуктивной работы, игр, мультимедиа. А линух для каких целей? Поделитесь (я не халиварщик, искренне не понимаю) ;-)
          • +1
            Мне для работы с интернетом- скачивание вкусностей по различным протоколам, серфинг; мультимедиа: просмотр/простенькое редактирование фото и видео, и иногда работы из дома — администрирование debian-серверов.
          • НЛО прилетело и опубликовало эту надпись здесь
          • +10
            У вас упомянуты игры. Наверно речь идёт о конкретных коммерческих 3d-графических играх, построенных на базе DirectX? Если они занимают действительно важную часть вашего времени работы с компьютером, то Ubuntu действительно вам может не подойти. А вот остальные задачи по большей части в Ubuntu решаются элементарно. Я уже два года как избавился от винды поскольку нашёл и разобрался во всех нужных мне для всей деятельности программах. Даже в игры иногда играю, благо предпочитаю логические игры, которых в «линуксах» всегда было много.

            Сейчас даже стало раздражать работать с windows после того как:
            1) для фотоаппарата в Ubuntu не нужны драйвера — FSpot в режиме автозапуска вытягивает и каталогизирует фотки изо всех цифровиков, какие мне попадались.
            2) Для работы не нужен резидентный антивирус. А надёжно изолировать потенциально дырявый браузер дело нескольких минут (тут проскакивала статья)
            3) Какое удовольствие забыть про серийные номера, активацию, крэки, кейгены. Установка программы теперь делается одной кнопкой, редко двумя (когда надо ещё и лицензию принять)
            4) централизованное обновление всего софта и системы тоже очень развращает. как неприятно потом в винде отдельно обновлять оперу, сафари, файрфокс, download master и пр.
          • +7
            > Винда — для продуктивной работы, игр, мультимедиа. А линух для каких целей?
            Винда — для игр. Линух — для продуктивной работы, игр, мультимедиа и пары-другой серверных служб. ;)
          • НЛО прилетело и опубликовало эту надпись здесь
  • 0
    Спасибо за перевод. Очень интересно и приятно почитать о таких вещах на русском.
  • 0
    Извините, но читаю, и кажется, что ext3 вообще нчто отсталое, неэффективное. Немного напоминает хвалености новой версии виндоса относительно предыдущей. Типа было полный остой, но сейчас то вон оно как безопасно и удобно =)
  • +1
    Не хватает перечисления минусов в данной статье. Например:
    При использовании отложенного распределения блоки сразу не выделяются при обращении к write(). Вместо этого распределение откладывается до момента, когда файл будет записан из кэша на диск.

    Что же ни слова о том, что это уменьшает отказоустойчивость?
    • 0
      полагаю, что размер кэша достаточно мал, чтобы это сильно влияло — при использовании журналирования, к тому же.
    • +1
      Это не только уменьшает отказоустойчивость.
      Как недавно писал Линус, 99% программистов проверяют ошибки только при write(), но не при close().
      Так что, это еще и чревато неперехваченными ошибками в куче программ.
  • +5
    «На сегодняшний день максимальный размер файловой системы Ext3 равен 16 терабайтам, а размер файла ограничен 2 терабайтами. В Ext4 добавлена 48-битная адресация блоков, что означает, что максимальный размер этой файловой системы равен одному экзабайту, и файлы могут быть размером до 16 терабайт.»

    Ну наконец-то
    • НЛО прилетело и опубликовало эту надпись здесь
      • 0
        или 16 винтов…
      • +1
        ну шууутка же :-)
  • 0
    Подскажите, а что со стабильностью работы? Бытует мнение что из-за некоторых глюков ext4 можно потерять данные. Об этом даже говорит то, что при установке Ubuntu 9.04 уже возможно форматирование в ext4 но все еще не по умолчанию.
    • 0
      Ext4 все таки еще в разработке, да читал на других порталах, что можно потерять данные, но в основном в следствии сбоя электричества, поэтому ext4 рекомендуется пока для обладателей ноутбуков или UPS.
    • 0
      В результате сбоя электричества или при зависании намертво, так что нельзя даже сбосить кеш на диск. С другими ФС тоже может случиться, но тут дополнительная проблема в виде неправильных программ, полагающихся на старое поведение ядра. Есть патчи, возвращающие старое поведение, но с ними прирост производительности резко падает…
    • 0
      Старые данные вы не потеряете. Есть возможность потерять данные, которые записывались на диск в момент отключения электричества.
  • +1
    Можно как-нить уменьшить время отложенного распределения, потому что у меня иногда бывает отключение света (проблема будет длится не так долго, чтобы покупать UPS). И будет ли тогда какой-то плюс от ext4?
  • 0
    драйвера для виндовса нет, а значит фиг поработает с лайтрумом на лин разделе.
  • 0
    Тот Хабр возвращается? :-)
    Спасибо :-)
  • +5
    «Пока же придётся довольствоваться одним экзабайтом»
    я бы с удоволствием подовольствовался)
  • 0
    «в то время как Ext4 предполагает изменения в важных структурах данных, таких как, например, предназначенных для хранения данных файлов.»
    одному мне слух режет?
  • 0
    Непонятки с пунктом 3:
    «В настоящий момент один каталог Ext3 не может содержать более, чем 32000 подкаталогов. Ext4 снимает это ограничение и позволяет создавать неограниченное количество подкаталогов.»

    А на википедии другая инфа:

    In ext3 the number of subdirectories that a directory can contain is limited to 32,000. This limit has been raised to 64,000 in ext4.

    en.wikipedia.org/wiki/Ext4#Break_32.2C000_subdirectory_limit

    Кому верить?
  • 0
    Я уже ext4 c февраля использую, пока все стабильно, правда поставил в раздел где держу музыку и видео. Спасибо за статью.
  • 0
    Очень хорошо написано, толково и понятно.
    Спасибо.
  • 0
    Скажите ка работать с ext4 в части изменения размера… Мне нужно два раздела совместить с данными, как это сделать? один раздел пуст.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.