ZFS | |
Разработчик |
Oracle (ранее Sun Microsystems) |
---|---|
Файловая система |
ZFS — Zettabyte File System |
Дата представления |
Ноябрь 2005 (OpenSolaris) |
Структура | |
Содержимое папок |
Расширяемая хэш-таблица |
Ограничения | |
Максимальный размер файла |
16 эксабайт |
Максимум файлов |
248 |
Максимальная длина имени файла |
255 байт |
Максимальный размер тома |
16 эксабайт |
Возможности | |
Точность хранения даты |
{{{date_resolution}}} |
Потоки метаданных |
Да (названные Extended Attributes) |
Атрибуты | |
Права доступа |
POSIX |
Фоновая компрессия |
Да |
Фоновое шифрование |
Готовится к выходу: 4 квартал 2009г [1] |
Поддерживается ОС |
Sun Solaris, OpenSolaris, Apple Mac OS X 10.5, FreeBSD, Linux через FUSE[Прим. 1] |
ZFS (Zettabyte File System) — файловая система, изначально созданная в Sun Microsystems для операционной системы Solaris. Эта файловая система поддерживает большие объёмы данных, объединяет концепции файловой системы и менеджера логических дисков (томов) и физических носителей, новаторскую структуру данных на дисках, легковесные файловые системы (англ. lightweight filesystems), а также простое управление томами хранения данных. ZFS является проектом с открытым исходным кодом и лицензируется под CDDL (Common Development and Distribution License).
Основное преимущество ZFS — это её полный контроль над физическими и логическими носителями. Зная, как именно расположены данные на дисках, ZFS способна обеспечить высокую скорость доступа к ним, контроль их целостности, а также минимизацию фрагментации данных. Это позволяет динамически выделять или освобождать дисковое пространство на одном или более носителях для логической файловой системы. Кроме того, имеет место переменный размер блока, что лучшим образом влияет на производительность, параллельность выполнения операций чтения-записи, а также 64-разрядный механизм использования контрольных сумм, сводящий к минимуму вероятность незаметного разрушения данных.
ZFS была спроектирована и создана командой Sun Microsystems, лидером которой является Джеф Бонвик (Jeff Bonwick). Файловая система была анонсирована 14 сентября 2004 года. [2] Исходный код для финального релиза был интегрирован в главную ветку разработки Solaris 31 октября 2005 года [3] и реализован как часть 27-й сборки OpenSolaris 16 ноября 2005 года. Sun заявила, что ZFS была интегрирована в 6/06 обновление для Solaris 10 в июне 2006 года, по прошествии одного года с момента открытия сообщества OpenSolaris. [4]
Изначальное название было «Zettabyte File System», но сейчас оно превратилось в простую аббревиатуру[5].
ZFS — это 128-битная файловая система, что позволяет ей хранить в 18,4 × 1018 раз больше данных, чем нынешние 64-битные системы. ZFS спроектирована так, чтобы её ограничения были настолько малы, что они никогда не встретятся на практике. Как заявил руководитель проекта Бонвик, «заполнение 128-битных файловых систем превысит квантовые возможности хранения данных на Земле. Вы не сможете заполнить и хранить 128-битный объём, не вскипятив при этом океан.»[2]
Некоторые теоретические пределы в ZFS:
Пример того, насколько велики эти числа: если бы 1000 файлов создавались каждую секунду, то потребовалось бы около 9000 лет для достижения предела количества файлов[Прим. 2].
В ответ на вопрос о заполнении ZFS без кипячения океанов, Бонвик пишет:
Хотя мы все хотели бы, чтобы Ultimate physical limits to computation.» Nature 406, 1047—1054 (2000)]. Целиком заполненный 128-битный объём будет содержать 2128 блоков = 2137 байт = 2140 бит; поэтому минимальная масса, необходимая для хранения этого количества бит, будет (2140 бит) / (1031 бит/кг) = 136 млрд кг.
В отличие от традиционных файловых систем, которые располагаются на одном устройстве и, следовательно, при использовании более чем на одном устройстве для них требуется менеджер томов, ZFS строится поверх виртуальных пулов хранения данных, называемых zpool. Пул построен из виртуальных устройств (vdevs), каждое из которых является либо физическим устройством, либо зеркалом (RAID 1) одного или нескольких устройств, либо (RAID Z) — группой из двух или более устройств. Емкость всех vdevs затем доступна для всех файловых систем в zpool.
Для ограничения пространства, доступного конкретной файловой системе, может быть установлена квота. Кроме того, возможно использование дискового резервирования — это гарантирует, что всегда будет оставаться некоторый доступный объём для конкретной файловой системы.
Существуют различные версии файловой системы ZFS и версии пула ZFS (zpool), в зависимости от версии меняется и функциональность.
Посмотреть текущую версию пула ZFS (zpool) и доступные версии можно командой:
#This system is currently running ZFS pool version 33. The following versions are supported: VER DESCRIPTION --- -------------------------------------------------------- 1 Initial ZFS version 2 Ditto blocks (replicated metadata) 3 Hot spares and double parity RAID-Z 4 zpool history 5 Compression using the gzip algorithm 6 bootfs pool property 7 Separate intent log devices 8 Delegated administration 9 refquota and refreservation properties 10 Cache devices 11 Improved scrub performance 12 Snapshot properties 13 snapused property 14 passthrough-x aclinherit 15 user/group space accounting 16 stmf property support 17 Triple-parity RAID-Z 18 Snapshot user holds 19 Log device removal 20 Compression using zle (zero-length encoding) 21 Deduplication 22 Received properties 23 Slim ZIL 24 System attributes 25 Improved scrub stats 26 Improved snapshot deletion performance 27 Improved snapshot creation performance 28 Multiple vdev replacements 29 RAID-Z/mirror hybrid allocator 30 Encryption 31 Improved 'zfs list' performance 32 One MB blocksize 33 Improved share support
По состоянию на декабрь 2011 существует 33 версий ZFS.
ZFS Pool Версия 1
Это начальная реализация дискового формата ZFS. Впервые была внедрена 31 октября 2005 года и в течение шести месяцев использовалась для внутренних целей компании SUN. Первая официально поддерживаемая версия появилась в:
ZFS Pool Версия 2
В этой версии включена поддержка так называемых Ditto Blocks или реплицируемых метаданных. Ввиду того, что структура дискового формата ZFS древовидная, невосстановимые ошибки в метаданных пула могут привести к тому, что пул нельзя будет открыть. Данная функция предоставляет автоматическую репликацию метаданных (до 3х копий каждого блока) независимо от избыточности зависимых пулов (underlying pool-wide redundancy). Например, в пуле с единственным зеркалом наиболее критичные метаданные будут трижды записаны на каждой стороне зеркала, в общей сложности шесть копий. Это позволяет удостовериться, что, если данные потеряны вследствие повреждения, все данные в пуле будут доступны для нахождения и пул будет работоспособным.
Данная функция была представлена 10 апреля 2006 года и доступна в:
ZFS Pool Версия 3
Включена поддержка следующих технологий:
Данные функции были представлены в:
ZFS Pool Версия 4
Добавлена поддержка ведения истории пула ZFS, названная zpool history
Данная функция представлена в:
ZFS Pool Версия 5
Добавлена поддержка сжатия на лету для наборов данных ZFS методом gzip
Данная функция представлена в:
ZFS Pool Версия 6
Включает поддержку свойства bootfs в пуле
Данная функция представлена в:
ZFS Pool Версия 7
В этой версии включена поддержка: ZFS Intent Log (ZIL) — Целевой лог ZFS — удовлетворяет требованиям некоторых приложений, которым необходимо знать, что данные, ими измененные, находятся на стабильном хранилище, по возврату из системного вызова. Intent Log хранит записи этих системных вызовов, они воспроизводятся заново, если произошёл сбой питания или критическая ошибка, при которой основной пул не подтвердил их выполнение. Когда Intent Log находится вне основного пула, он выделяет блоки, которые идут цепочкой через пул.
Данная версия добавляет возможность ведения Intent Log на отдельном устройстве или устройствах.
Данные функции доступны в:
ZFS Pool Версия 8
Добавлена возможность делегировать административные задачи по управлению ZFS обычным пользователям. До этого возможность управлять ZFS была только у администраторов.
Данная функция представлена в:
ZFS Pool Версия 9
В этой версии включена поддержка:
Пример использования
$ zfs set refquota
$ zfs set refreservation
Резервирование автоматически устанавливается, когда созданный non-sparse том ZFS соответствует размеру раздела. Этот релиз предоставляет немедленную функцию резервации, так чтобы вы установили резервацию на non-sparse томе с достаточным размером пространства для снятия снимков и изменения содержимого тома.
Данные функции появилиь в:
ZFS Pool Версия 10
Добавлена следующая функциональность:
Устройства могут быть добавлены в пул как кэширующие устройства. Это предоставляет дополнительный уровень кэширования между основной памятью и диском. Использование кэширующих устройств существенно увеличивает производительность при нагруженных операциях случайного считывания, в основном статичного содержимого.
Функциональность доступна в:
ZFS Pool Версия 11
Улучшена производительность механизма скраббинга (вычищения) zpool
$ zpool scrub
Это изменение доступно в:
ZFS Pool Версия 12
Появилась следующая опция:
Впервые появилось в версии:
ZFS Pool Версия 13
Стали доступны следующие свойства:
Реализовано в:
ZFS Pool Версия 14
Появилась поддержка:
Реализовано в:
ZFS Pool Версия 15
Включает поддержку:
Представлено в:
ZFS Pool Версия 16
Появилась следующая опция:
Реализовано в:
ZFS Pool Версия 17
This page describes the feature available with version 17 of the ZFS on-disk format. This version includes support for the following feature: Реализовано следующая функция
Возможно использовать в:
ZFS Pool Версия 18
Поддержка следующей опции:
Возможно использовать в версии, начиная с:
ZFS Pool Версия 19
Появилась следующая возможность:
Функция доступна в:
ZFS Pool Версия 20
This page describes the feature available with version 20 of the ZFS on-disk format. Эта версия включает алгоритм сжатия zle, который необходим для поддержки ZFS нераздвоения (deduplication) свойств в ZFS Pool версии 21.
Обе версии реализованы в:
ZFS Pool Версия 21
Эта версия включает поддержку ZFS нераздвоения (deduplication) свойств
Доступно в:
ZFS Pool Версия 28
Доступно в:
ZFS использует модель объектных транзакций копия-по-записи. Все указатели на блоки внутри файловой системы содержат 256-битную контрольную сумму в целевом блоке, который проверяется, когда блок прочитан. Блоки данных, содержащие активные (в этот момент) данные, никогда не перезаписываются вместе; напротив, выделяется новый блок, измененные данные записываются в него, а затем метаданные любых блоков, которые на него ссылаются, таким образом всё перераспределяется и записывается. Чтобы уменьшить накладные расходы, в этом процессе группируется несколько обновлений в группу транзакции, также, если требуется, ведётся лог использования при синхронной записи.
Модель копия-по-записи в ZFS обладает ещё одним мощным преимуществом: когда ZFS записывает новые данные — вместо освобождения блоков, содержащих старые данные — она может сохранять их, создавая снимки файловой системы. Снимки в ZFS создаются очень быстро, так как все данные в составе снимка уже сохранены; они также эффективно размещены в пространстве, поскольку любые неизмененные данные разделяются (являются общими) между файловой системой и её снимком.
Также могут быть созданы перезаписываемые снимки («клоны»), в результате чего будут две независимые файловые системы, которые разделяют комплекс блоков. Как только вносятся изменения в какой-либо клон файловой системы, блоки новых данных создаются во всех остальных клонах, чтобы отразить эти изменения.
Динамическое разделение всех устройств на максимальной пропускной способности означает, что дополнительные устройства включаются в zpool, более широкие каналы автоматически расширяется для включения использования всех дисков в пуле, это уравновешивает нагрузку на запись.
ZFS использует переменный размер блоков до 128 килобайт. В настоящее время администратору позволяется настраивать максимальный размер используемых блоков, но некоторые работы не будут выполняться (или будут выполняться с ошибками), если использовались слишком крупные блоки. Автоматические настройки рабочих характеристик соответствуют привилегиям.
Если сжатие включено, используются переменные размеры блока. Если блок был сжат, он может влиться в блок меньшего размера, то есть используется меньшее пространство на диске и повышается пропускная способность (Input/Output) (ценой расширенного использования процессора и оперативной памяти для операций компрессии и декомпрессии).
Под сквозным контролем целостности понимается запись на диск контрольной суммы для каждого блока данных, причем контрольная сумма и данные специально разносятся максимально далеко друг от друга для снижения вероятности их совместной порчи. Если в пуле есть несколько устройств, то для данных, размещенных на одном из них, контрольная сумма будет записана на другом. Контрольные суммы вычисляются не только для данных, но и для метаданных, и получается, что в пуле всегда есть контрольная сумма для каждого блока информации.
При считывании любого блока подсчитывается его контрольная сумма и результат сравнивается с контрольной суммой, хранящейся на диске. В случае расхождения ошибка сразу обнаруживается. Разумеется, если в пуле заранее не было запланировано никакого резервирования (ни RAID-Z, ни иного), то ошибку уже не исправишь, но зато испорченные данные не будут выданы за истинные.
Смысл сквозного контроля целостности данных в том, чтобы предотвратить скрытую незаметную порчу данных в результате сбоя оборудования или встроенного программного обеспечения диска или контроллера. Несмотря на то, что вероятность такого события кажется низкой, некоторые исследования показывают, что она вполне значима для организаций любого масштаба.[7]
В ZFS, манипулирование с файловой системой в пуле легче, чем объёмы манипуляций в традиционных файловых системах; время и усилия, требуемые для создания или изменения файловой системы ZFS в большей степени напоминают объёмы работ связанные с новым каталогом, чем с манипулированием разделом в других технологиях.
ZFS также вводит адаптивную замену кеша (ARC), новый метод управления кэшем вместо традиционных для Solaris виртуальных страниц кэша в памяти.
Массивы и настроенная на них ZFS могут быть перенесены между разными платформами даже если те имеют другой порядок байт. Формат блоков ZFS позволяет автоматически определять и менять порядок байт на лету при чтении метаданных.
При этом разный порядок байт на разных системах никак не отражается на приложениях, файлы для них так и остаются простой последовательностью байтов. Таким образом приложения ответственны за независимый (от платформы) формат уже внутри самих файлов.
ZFS является частью OC Solaris компании Sun и доступна для обеих платформ — SPARC и x86. Поскольку код ZFS является открытым (лицензия CDDL), порты для других операционных систем и платформ могут производиться без участия Sun.
OpenSolaris 2008.05 использует ZFS как файловую систему по умолчанию.
Nexenta OS — это ОС с GNU-окружением (userspace), построенная поверх ядра OpenSolaris и его runtime окружения, в версии alpha1 в ядро была включена поддержка ZFS. Несколько позднее, Nexenta Systems представила NexentaStor — свое устройство хранения ZFS, предоставляющее возможности NAS/SAN/iSCSI и базирующееся на Nexenta OS. NexentaStor включает графический интерфейс, который упрощает процесс использования ZFS. 2 декабря 2008 года выпущена версия NexentaStor 1.1. В ней обновлено ядро OpenSolaris, улучшена интеграция с CIFS/AD а также добавлены несколько плагинов и исправлены некоторые ошибки. Имеется две редакции NexentaStor: коммерческая Enterprise Edition и бесплатная Community Edition с ограничением максимальной емкости хранилища в 18ТБ. По состоянию на август 2012 года текущей версией ПО является 3.1.3.
Nexenta анонсировала в Феврале 2008 года значительный выпуск (названный версией NexentaCore Platform 1.0) своей операционной системы, которая базируется на программном обеспечении из Nexenta и других дистрибутивов. 13 октября 2009 года вышла Nexenta Core Platform 3 Alpha1 (osol b124). Последняя доступная стабильная версия: NexentaCore Platform v2.0
Долгое время в Linux перенос ZFS на уровень ядра считался юридически невозможным из-за несовместимости лицензий CDDL, под юрисдикцией которой находится ZFS, и GNU GPL, под юрисдикцией которой находится Linux. Однако в мае 2010 года Брайан Белендорф (Brian Behlendorf) представил новую версию проекта, в рамках которого ведется работа по реализации родной поддержки файловой системы ZFS для Linux. Для обхода лицензионного ограничения Белендорф воспользовался простым и очевидным методом — он решил распространять свой продукт целиком под лицензией CDDL в виде отдельно загружаемого модуля, который поставляется отдельно от ядра.[11]
Программа Google Summer of Code спонсирует адаптацию ZFS на ОС Linux с использованием FUSE, в которой Файловая система ZFS работает в пользовательском пространстве (userspace).[12] Считается, что это решение теоретически чревато потерями производительности[13]. Но пример с реализацией NTFS (NTFS-3G) через FUSE показывает хорошую производительность по сравнению с другими системами [14], что дает основания предполагать — производительность ZFS-FUSE может быть очень высокой.
На Июль 2008 ZFS-FUSE[15] представлена в виде версии 0.4 beta 2, в которой включена практически полная поддержка ZFS и всех её функций — внедрена поддержка 10й версии zpool. Отсутствует документация в виде man-pages. Хотя сайт проекта обновляется редко и новые бета-версии ZFS-FUSE появляются тоже достаточно редко, текущий код регулярно обновляется, что показывает, что проект жив и развивается.
И хотя сама файловая система ZFS считается стабильной, то, что проект ZFS-FUSE находится в стадии бета-версии, означает, что использовать ZFS-FUSE в повседневной деятельности стоит, только если вы не боитесь полной потери данных, за которые будет отвечать ZFS-FUSE.
Pawel Jakub Dawidek адаптировал ZFS для FreeBSD в виде модуля для ядра системы. ZFS включена в версию FreeBSD 7.0 (вышла 27 февраля 2008).[16]
На сегодняшний момент в FreeBSD не реализован тот функционал ZFS, для которого нет поддержки в ядре операционной системы FreeBSD (несмотря на то, что такой функционал возможен и даже реализован в портах операционной системы), например, iSCSI-target.
Код ZFSv28 протестирован в версии 9-CURRENT и портирован в ветку разработки 8-STABLE. Релизы FreeBSD 8.3 и 9.0 поддерживают ZFSv28.
Информация о реализации ZFS под FreeBSD доступна во FreeBSD Wiki, раздел ZFS. Проекту по ведению Wiki-документации на сайте FreeBSD.org необходима помощь в своевременном обновлении статей.
Apple переносят ZFS на свою систему Mac OS X, ведётся активная дискуссия в списках рассылки ZFS и предварительные снапшоты для следующей версии Apple Mac OS X.[17] Несмотря на то, что Mac OS X 10.5 (Developer Seed 9A321) поддерживает ZFS, отсутствует возможность использовать ZFS на корневых разделах (root partition), что указано выше. Также попытки форматирования локальных дисков под Mac OS в упомянутую файловую систему будут безуспешны. Это баг[18].
11.06.2009 г. Apple на своей пресс-конференции WWDC'09 отказалась от ZFS в представленной версии Mac OS X 10.6 Snow Leopard. Были убраны также все упоминания о ZFS (128-bit Zettabyte File System). ZFS была добавлена в предыдущую версию Mac OS X — 10.5. Apple не раскрывает причины отказа от использования ZFS.[19]
Хотя в сборке Mac OS X 10.6 Snow Leopard под номером 10A432, помеченной как Golden Master, поддержка ZFS была возвращена, в окончательном релизе Mac OS X 10.6 поддержка ZFS вновь убрана, уже окончательно [20]. На данный момент возможно только чтение данных разделов, отформатировать диск под ZFS средствами Mac OS X невозможно.
По всей вероятности, причиной этому послужили неясные правовые перспективы, связанные с продолжающимися с 2007 взаимными судебными тяжбами Sun и NetApp вокруг запатентованных технологий, использованных в ZFS, а также проблемы с совмещением различных лицензий (GPL и CDDL)
На сайте проекта поддержки разработки порта файловой системы ZFS для платформы MacOS X появилось объявление о прекращении разработки, закрытия списка рассылки и в скором времени удаления репозитория исходных текстов.
MacFuse другой подход в ответ на закрытие официальной поддержки ZFS for Mac
Закрытие официального продукта привело к образованию нового свободного проекта MacZFS, который базируется на ранее созданной Apple кодовой базе, но отличающегося методом интеграции в систему. MacZFS выполняется не на уровне ядра, а на пользовательском уровне, работая с использованием MacFUSE.
Для пользователей MacOS X, желающих протестировать новый ZFS-модуль, подготовлен бинарный пакет, собранный на основе опубликованных в Git-репозитории исходных текстов, а также инструкция по настройке.
Sun Microsystems (поглощена Oracle) | |
---|---|
Оборудование | Sun-1 • Sun-2 • Sun-3 • Sun386i • Sun-4 • SPARCstation • Netra • Ultra • Enterprise • Sun Blade • Sun Fire • SPARC Enterprise · SPARC • JavaStation • Sun Ray • Sun Modular Datacenter |
Программное обеспечение | GlassFish • SunOS • Solaris • NIS • NFS • ZFS • SunView • NeWS • OpenWindows • Java Desktop System • Sun Studio • Java • StarOffice • iPlanet/Sun ONE/Java Enterprise System • Sun Secure Global Desktop • MySQL • VirtualBox |
Хранение данных | StorageTek • Sun Open Storage • QFS • ZFS |
High-Performance Computing | Sun Cloud • Sun Constellation System • Sun Visualization System • Sun Grid Engine • Lustre |
Исследования | Sun Labs • picoJava • Fortress • Project Looking Glass |
Обучение | SCPs • BlueJ |
Сообщество | CDDL • Java Community Process • OpenOffice.org • OpenSolaris • OpenSPARC • OpenJDK |
Технологии (Open)Solaris | |
---|---|
Doors • DTrace • IPMP • MPxIO • SMF • snoop • Solaris Containers • Crossbow • Solaris Cluster • Trusted Solaris • ZFS |
Zfs dataset что это, zfs альтернатива, zfs монтирование после ребута.