За последние несколько лет флеш-технологии получили широкое распространение в центрах обработки данных. Однако высокая стоимость, ограниченная надежность и неоптимальная производительность при выполнении операций записи сдерживают их внедрение. ИТ-департаментам приходится искать компромисс между производительностью и емкостью, чтобы добиться показателей затрат, приемлемых в рамках ограниченного бюджета. Другим немаловажным вопросом внедрения решений на базе флеш-технологий остается выбор между платформами хранения, в основе которых используются исключительно флеш-накопители, и гибридной архитектурой.
Являясь мировым лидером в области разработок флеш-технологий (более 350 патентов), Hitachi Data Systems представляет новую модель флеш-модулей корпоративного класса Hitachi Accelerated Flash (HAF) для наиболее требовательных с точки зрения нагрузки продуктивных сред. Новые возможности HAF, интегрированные в унифицированную операционную систему Hitachi Storage Virtualization Operating System (SVOS), обеспечивают более высокую производительность, емкость и низкую стоимость в расчете на бит по сравнению с традиционными твердотельными накопителями (SSD), присутствующими сегодня на рынке.
Заказчики получили возможность добиться высокой окупаемости инвестиций в решения на базе флеш-накопителей, снизив при этом эксплуатационные затраты, а модуль хранения Hitachi Accelerated Flash является первым оптимизированным флеш-устройством, обеспечивающим такой уровень производительности и надежности, который необходим для критически важных приложений. К ним относятся, например, базы данных OLTP, ERP-системы, финансовые системы, системы индексирования и работы с метаданными. Усовершенствованная операционная система для корпоративных платформ позволила значительно повысить быстродействие стека ввода-вывода для ускорения доступа к устройствам флеш-накопителя.
Второе поколение Flash Module Drive (FMD) DC2, накопителей, являющихся важнейшей частью решений Hitachi Accelerated Flash, позволяет достичь еще больших показателей производительности, ускорить работу сервисов компании, а также повысить уровень операционной эффективности. Передовая технология контроллера накопителя FMD DC2 повышает производительность флеш-памяти с технологией MLC (Multi-level cell) до уровня, превосходящего характеристики более дорогой памяти SLC (Single-level cell).
Запатентованная конструкция накопителя Hitachi FMD DC2 использует высокоскоростную архитектуру c параллельной обработкой, позволяющую, в сравнении со стандартными твердотельными накопителями (SSD), выполнять в 5 раз больше операций ввода-вывода в секунду при записи и в 3 раза — при чтении. Другим инновационным новшеством, реализованным на накопителях FMD DC2 второго поколения, является технология компрессии данных в реальном времени, которая позволяет повысить эффективность утилизации дискового пространства до 80%.
Конструктивно накопители FMD DC2 приспособлены для установки в дисковую полку, поддерживающую размещение в стандартной монтажной стойке и обеспечивающую высокую плотность хранения данных — более 154 ТБ эффективной емкости в дисковой полке высотой 2U. Их можно использовать в любом дисковом массиве семейства Hitachi Virtual Storage Platform G, начиная с моделей среднего класса – VSP G200/400/600/800 и заканчивая флагманской системой хранения Hitachi уровня Hi-End– VSP G1000. Для каждой из этих платформ можно создать как полностью построенное на флеш-памяти, так и гибридное решение. Благодаря поддержке большего количества потоков обработки данных HAF значительно ускоряют выполнение операций ввода-вывода и обработку данных. Кроме того, существенно сокращается время отклика дисковой подсистемы.
Преимущества для бизнеса
— Уникальная производительность;
— Минимальная стоимость единицы хранения;
— Высочайшая емкость;
— Улучшенная надежность.
Новое расширение для систем хранения на основе твердотельных накопителей предлагается в виде дисковых полок высотой 2U, подключаемых к контроллерам по стандартному протоколу SAS, которые вмещают до 12 накопителей большой емкости на базе модулей флеш-памяти (FMD). Решение Hitachi Accelerated Flash является гораздо более выгодным по сравнению с SSD корпоративного класса малого форм-фактора объемом 1,6 ТБ. Оно обеспечивает следующие преимущества:
1. в 3 раза более высокую производительность на одно устройство при выполнении случайных операций чтения ввода-вывода;
2. в 5 раз более высокую производительность на одно устройство при выполнении случайных операций записи ввода-вывода;
3. уменьшение стоимости единицы хранения информации до 70%;
4. 60-кратное увеличение скорости форматирования;
5. уменьшение времени отклика пиковой нагрузки до 60%;
6. превосходные показатели обеспечения целостности данных.
Основные технические характеристики модулей FMD
FMD совмещает в себе чипы флеш-памяти и специализированный контроллер Hitachi, используемый для контроля операций на чипах и реализации расширенного функционала, который обеспечивает интеллектуальное хранение и управление информацией на флеш-диске.
Flash Module Drive (FMD) DC2 второго поколения имеет следующие составляющие:
— Контроллер на базе 4х-ядерногопроцессора процессора ASIC;
— 20nm flash-накопитель MLC NAND;
— DDR3 8 ГБ;
— Интерфейс SAS 12Гбит/с;
— Доступен к заказу в модификациях емкостью 1,6, 3,2, 6,4 ТБ.
Сводная таблица типов FMD и их основные характеристики.
Контроллер FMD
Встроенный многоядерный контроллер флеш-накопителя Hitachi обеспечивает множество уникальных возможностей, предназначенных специально для высоконагруженных систем корпоративного класса с повышенными требованиями к надежности хранения информации.
Он включает в себя специально разработанный ASIC, состоящий из четырехъядерного процессора с более чем 60 миллионов транзисторов (что в два раза больше, чем у предыдущего поколения), двух сопроцессоров (для расчета сжатия и четности) и прямого доступа к памяти (DMA). Новый ASIC для FMD DC2 имеет в восемь раз больше каналов и в 16 раз больше флеш-чипов NAND, нежели обычные 2,5-дюймовые твердотельные накопители.
Используя для производственного анализа данные более двух миллиардов системо-часов работы в самых требовательных корпоративных средах, инженеры Hitachi усовершенствовали алгоритмы нового ASIC, в результате добились увеличения его эффективности, функциональности и скорости, что обеспечивает беспрецедентные возможности обработки данных для модуля FMD DC2, позволяющие избежать многих подводных камней и узких мест, с которыми сталкиваются другие производители.
Основные характеристики нового ASIC:
1. 4 х ядерный, 1GHz, 32-bit процессор.
2. 8 х PCIe 2.0 с блоком управления параллельного ввода/вывода на кристалле.
3. 32 х канала к флеш-памяти с запатентованным блоком управления на кристалле.
4. Встроенный интерфейс DDR-3.
5. Поддержка 128 NAND чипов.
Главной стратегией эффективности нового флеш-контроллера ASIC от Hitachi кратко можно назвать «высокоинтеллектуальный параллелизм». Большое количество каналов в сочетании с новыми алгоритмами управления помогают распределить потоки данных для параллельного выполнения нескольких задач, выделяя в отдельный канал на обработку различными службами лишь определенную часть данных, не изменяя скорости движения в других потоках.
Основные функциональные особенности
Inline Compression
Одним из важнейших новшеств, реализованных в накопителях FMD DC2 второго поколения, является технология компрессии данных в реальном времени. Механизм компрессии данных в реальном времени (Inline Compression), использующий архитектуру VLSI (very large-scale integration), позволяет производить сжатие данных без потерь на основе алгоритма LZ77. При этом стоит отметить, что операции компрессии данных осуществляются на уровне интегрированного в накопитель процессора FMD DC2. Это позволяет до 10 раз увеличить скорость выполнения операций сжатия по сравнению с традиционными программными реализациями, предлагаемыми другими компаниями на рынке.
FMD DC2 ISIC Inline Compression Offload Engine
FMD DC2 ASIC Inline – Операция сжатия без потерь
Уменьшение нагрузки на флеш-контроллер ASIC при сжатии данных дает следующие преимущества:
1. Освобождаются ресурсы для выполнения ключевых операций хранения, такие как операции ввода-вывода, защита целостности данных, моментальные снимки, различные виды репликации;
2. Обеспечивает лучшую эффективность системы и масштабируемость в перерасчета на единицу затраченной энергии;
3. Обеспечивает стабильно малое время отклика даже при обработке большого блока ввода/вывода.
Workload Priority Access
Технология предоставления приоритета доступа приложению (Workload Priority Access), встроенная в контроллер FMD-накопителя, совместно с операционной системой SVOS позволяет гарантированно обеспечить необходимым ресурсом критически важные приложения в виде выделенных флеш-чипов.
Smarter Garbage Collection
Функция «сбора мусора» позволяет уменьшить время ожидания ввода/вывода от фоновых задач и улучшает время отклика благодаря многоканальности и большему количеству флеш-чипов NAND, при необходимости перераспределив очередь на другие NAND цели.
VMware vSphere End-to-End Quality of Service
Поддержка массивами Virtual Storage Platform технологии VMware vSphere Virtual Volumes VVOL наряду с использованием функции Workload Priority Access позволяет создать уникальные конфигурации виртуальных сред VMware с ориентацией на особенности приложений, обеспечивая при этом необходимый уровень сервиса от виртуальной машины до определенного флеш-ресурса
Error-correcting Code
Улучшенная функция обеспечения целостности данных исправляет до 59 однобитовых ошибок в каждых 2 Кб данных, обеспечивая более высокие показатели целостности, чем у дисковых накопителей корпоративного класса, – SAS 10K, SAS 15K. Каждый блок памяти имеет собственные показатели износа, т. е. долговечности. Чтобы учесть эти различия в характеристиках, контроллер флеш-памяти выполняет анализ блоков памяти. Благодаря непрерывному сканированию и диагностике каждого блока можно эффективно определять оптимальное время его вывода из эксплуатации, что гарантирует выполнение требований, предъявляемых к обеспечению целостности корпоративных данных. Функция адаптивного обновления данных динамически производит замещение страниц на новые в соответствии с применяемым алгоритмом коррекции ошибок. Кроме того, данная функция сокращает накладные расходы, связанные с выполнением фоновых задач, обеспечивает стабильную производительность и повышает долговечность ячеек флеш-памяти.
Рисунок 20. FMD DC2 коррекция ошибок
Block Write Avoidance
Функция предупреждения записи нулевых блоков ускоряет операции записи и повышает производительность. Благодаря этому алгоритму потоки данных, состоящие только из нулей или единиц, сжимаются в режиме реального времени на величину до 94%. При этом встроенными механизмами кодирования осуществляется обработка блоков данных размером 128 КБ. Поступающие данные заменяются на указатель и соответствующую контрольную сумму. Эта функция, не увеличивая времени отклика, позволяет эффективно использовать емкость флеш-памяти, высвобождая ее как для выделения новых страниц, что улучшает среднюю производительность процесса записи, так и для обеспечения работы фоновых задач, таких как «сбор мусора» и функции выравнивания износа ячеек флеш-памяти. Она также сокращает время введения массива в эксплуатацию, так как форматирование флеш-памяти выполняется в 60 раз быстрее, и увеличивает срок службы за счет исключения избыточных циклов перезаписи данных.
Заключение
План перспективного развития компанией Hitachi Data Systems технологии флеш-памяти охватывает множество вариантов применения – серверы, системы хранения и программно-аппаратные комплексы, предназначенные для ускорения вычислений, системы кэширования и высокопроизводительные носители для хранения данных. По сравнению с альтернативными или узкоцелевыми продуктами на базе технологии флеш-памяти новые решения должны обеспечить более высокую окупаемость инвестиций и снижение эксплуатационных затрат.
Являясь мировым лидером в области разработок флеш-технологий (более 350 патентов), Hitachi Data Systems представляет новую модель флеш-модулей корпоративного класса Hitachi Accelerated Flash (HAF) для наиболее требовательных с точки зрения нагрузки продуктивных сред. Новые возможности HAF, интегрированные в унифицированную операционную систему Hitachi Storage Virtualization Operating System (SVOS), обеспечивают более высокую производительность, емкость и низкую стоимость в расчете на бит по сравнению с традиционными твердотельными накопителями (SSD), присутствующими сегодня на рынке.
Заказчики получили возможность добиться высокой окупаемости инвестиций в решения на базе флеш-накопителей, снизив при этом эксплуатационные затраты, а модуль хранения Hitachi Accelerated Flash является первым оптимизированным флеш-устройством, обеспечивающим такой уровень производительности и надежности, который необходим для критически важных приложений. К ним относятся, например, базы данных OLTP, ERP-системы, финансовые системы, системы индексирования и работы с метаданными. Усовершенствованная операционная система для корпоративных платформ позволила значительно повысить быстродействие стека ввода-вывода для ускорения доступа к устройствам флеш-накопителя.
Второе поколение Flash Module Drive (FMD) DC2, накопителей, являющихся важнейшей частью решений Hitachi Accelerated Flash, позволяет достичь еще больших показателей производительности, ускорить работу сервисов компании, а также повысить уровень операционной эффективности. Передовая технология контроллера накопителя FMD DC2 повышает производительность флеш-памяти с технологией MLC (Multi-level cell) до уровня, превосходящего характеристики более дорогой памяти SLC (Single-level cell).
Запатентованная конструкция накопителя Hitachi FMD DC2 использует высокоскоростную архитектуру c параллельной обработкой, позволяющую, в сравнении со стандартными твердотельными накопителями (SSD), выполнять в 5 раз больше операций ввода-вывода в секунду при записи и в 3 раза — при чтении. Другим инновационным новшеством, реализованным на накопителях FMD DC2 второго поколения, является технология компрессии данных в реальном времени, которая позволяет повысить эффективность утилизации дискового пространства до 80%.
Конструктивно накопители FMD DC2 приспособлены для установки в дисковую полку, поддерживающую размещение в стандартной монтажной стойке и обеспечивающую высокую плотность хранения данных — более 154 ТБ эффективной емкости в дисковой полке высотой 2U. Их можно использовать в любом дисковом массиве семейства Hitachi Virtual Storage Platform G, начиная с моделей среднего класса – VSP G200/400/600/800 и заканчивая флагманской системой хранения Hitachi уровня Hi-End– VSP G1000. Для каждой из этих платформ можно создать как полностью построенное на флеш-памяти, так и гибридное решение. Благодаря поддержке большего количества потоков обработки данных HAF значительно ускоряют выполнение операций ввода-вывода и обработку данных. Кроме того, существенно сокращается время отклика дисковой подсистемы.
Преимущества для бизнеса
— Уникальная производительность;
— Минимальная стоимость единицы хранения;
— Высочайшая емкость;
— Улучшенная надежность.
Новое расширение для систем хранения на основе твердотельных накопителей предлагается в виде дисковых полок высотой 2U, подключаемых к контроллерам по стандартному протоколу SAS, которые вмещают до 12 накопителей большой емкости на базе модулей флеш-памяти (FMD). Решение Hitachi Accelerated Flash является гораздо более выгодным по сравнению с SSD корпоративного класса малого форм-фактора объемом 1,6 ТБ. Оно обеспечивает следующие преимущества:
1. в 3 раза более высокую производительность на одно устройство при выполнении случайных операций чтения ввода-вывода;
2. в 5 раз более высокую производительность на одно устройство при выполнении случайных операций записи ввода-вывода;
3. уменьшение стоимости единицы хранения информации до 70%;
4. 60-кратное увеличение скорости форматирования;
5. уменьшение времени отклика пиковой нагрузки до 60%;
6. превосходные показатели обеспечения целостности данных.
Основные технические характеристики модулей FMD
FMD совмещает в себе чипы флеш-памяти и специализированный контроллер Hitachi, используемый для контроля операций на чипах и реализации расширенного функционала, который обеспечивает интеллектуальное хранение и управление информацией на флеш-диске.
Flash Module Drive (FMD) DC2 второго поколения имеет следующие составляющие:
— Контроллер на базе 4х-ядерногопроцессора процессора ASIC;
— 20nm flash-накопитель MLC NAND;
— DDR3 8 ГБ;
— Интерфейс SAS 12Гбит/с;
— Доступен к заказу в модификациях емкостью 1,6, 3,2, 6,4 ТБ.
Сводная таблица типов FMD и их основные характеристики.
Контроллер FMD
Встроенный многоядерный контроллер флеш-накопителя Hitachi обеспечивает множество уникальных возможностей, предназначенных специально для высоконагруженных систем корпоративного класса с повышенными требованиями к надежности хранения информации.
Он включает в себя специально разработанный ASIC, состоящий из четырехъядерного процессора с более чем 60 миллионов транзисторов (что в два раза больше, чем у предыдущего поколения), двух сопроцессоров (для расчета сжатия и четности) и прямого доступа к памяти (DMA). Новый ASIC для FMD DC2 имеет в восемь раз больше каналов и в 16 раз больше флеш-чипов NAND, нежели обычные 2,5-дюймовые твердотельные накопители.
Используя для производственного анализа данные более двух миллиардов системо-часов работы в самых требовательных корпоративных средах, инженеры Hitachi усовершенствовали алгоритмы нового ASIC, в результате добились увеличения его эффективности, функциональности и скорости, что обеспечивает беспрецедентные возможности обработки данных для модуля FMD DC2, позволяющие избежать многих подводных камней и узких мест, с которыми сталкиваются другие производители.
Основные характеристики нового ASIC:
1. 4 х ядерный, 1GHz, 32-bit процессор.
2. 8 х PCIe 2.0 с блоком управления параллельного ввода/вывода на кристалле.
3. 32 х канала к флеш-памяти с запатентованным блоком управления на кристалле.
4. Встроенный интерфейс DDR-3.
5. Поддержка 128 NAND чипов.
Главной стратегией эффективности нового флеш-контроллера ASIC от Hitachi кратко можно назвать «высокоинтеллектуальный параллелизм». Большое количество каналов в сочетании с новыми алгоритмами управления помогают распределить потоки данных для параллельного выполнения нескольких задач, выделяя в отдельный канал на обработку различными службами лишь определенную часть данных, не изменяя скорости движения в других потоках.
Основные функциональные особенности
Inline Compression
Одним из важнейших новшеств, реализованных в накопителях FMD DC2 второго поколения, является технология компрессии данных в реальном времени. Механизм компрессии данных в реальном времени (Inline Compression), использующий архитектуру VLSI (very large-scale integration), позволяет производить сжатие данных без потерь на основе алгоритма LZ77. При этом стоит отметить, что операции компрессии данных осуществляются на уровне интегрированного в накопитель процессора FMD DC2. Это позволяет до 10 раз увеличить скорость выполнения операций сжатия по сравнению с традиционными программными реализациями, предлагаемыми другими компаниями на рынке.
FMD DC2 ISIC Inline Compression Offload Engine
FMD DC2 ASIC Inline – Операция сжатия без потерь
Уменьшение нагрузки на флеш-контроллер ASIC при сжатии данных дает следующие преимущества:
1. Освобождаются ресурсы для выполнения ключевых операций хранения, такие как операции ввода-вывода, защита целостности данных, моментальные снимки, различные виды репликации;
2. Обеспечивает лучшую эффективность системы и масштабируемость в перерасчета на единицу затраченной энергии;
3. Обеспечивает стабильно малое время отклика даже при обработке большого блока ввода/вывода.
Workload Priority Access
Технология предоставления приоритета доступа приложению (Workload Priority Access), встроенная в контроллер FMD-накопителя, совместно с операционной системой SVOS позволяет гарантированно обеспечить необходимым ресурсом критически важные приложения в виде выделенных флеш-чипов.
Smarter Garbage Collection
Функция «сбора мусора» позволяет уменьшить время ожидания ввода/вывода от фоновых задач и улучшает время отклика благодаря многоканальности и большему количеству флеш-чипов NAND, при необходимости перераспределив очередь на другие NAND цели.
VMware vSphere End-to-End Quality of Service
Поддержка массивами Virtual Storage Platform технологии VMware vSphere Virtual Volumes VVOL наряду с использованием функции Workload Priority Access позволяет создать уникальные конфигурации виртуальных сред VMware с ориентацией на особенности приложений, обеспечивая при этом необходимый уровень сервиса от виртуальной машины до определенного флеш-ресурса
Error-correcting Code
Улучшенная функция обеспечения целостности данных исправляет до 59 однобитовых ошибок в каждых 2 Кб данных, обеспечивая более высокие показатели целостности, чем у дисковых накопителей корпоративного класса, – SAS 10K, SAS 15K. Каждый блок памяти имеет собственные показатели износа, т. е. долговечности. Чтобы учесть эти различия в характеристиках, контроллер флеш-памяти выполняет анализ блоков памяти. Благодаря непрерывному сканированию и диагностике каждого блока можно эффективно определять оптимальное время его вывода из эксплуатации, что гарантирует выполнение требований, предъявляемых к обеспечению целостности корпоративных данных. Функция адаптивного обновления данных динамически производит замещение страниц на новые в соответствии с применяемым алгоритмом коррекции ошибок. Кроме того, данная функция сокращает накладные расходы, связанные с выполнением фоновых задач, обеспечивает стабильную производительность и повышает долговечность ячеек флеш-памяти.
Рисунок 20. FMD DC2 коррекция ошибок
Block Write Avoidance
Функция предупреждения записи нулевых блоков ускоряет операции записи и повышает производительность. Благодаря этому алгоритму потоки данных, состоящие только из нулей или единиц, сжимаются в режиме реального времени на величину до 94%. При этом встроенными механизмами кодирования осуществляется обработка блоков данных размером 128 КБ. Поступающие данные заменяются на указатель и соответствующую контрольную сумму. Эта функция, не увеличивая времени отклика, позволяет эффективно использовать емкость флеш-памяти, высвобождая ее как для выделения новых страниц, что улучшает среднюю производительность процесса записи, так и для обеспечения работы фоновых задач, таких как «сбор мусора» и функции выравнивания износа ячеек флеш-памяти. Она также сокращает время введения массива в эксплуатацию, так как форматирование флеш-памяти выполняется в 60 раз быстрее, и увеличивает срок службы за счет исключения избыточных циклов перезаписи данных.
Заключение
План перспективного развития компанией Hitachi Data Systems технологии флеш-памяти охватывает множество вариантов применения – серверы, системы хранения и программно-аппаратные комплексы, предназначенные для ускорения вычислений, системы кэширования и высокопроизводительные носители для хранения данных. По сравнению с альтернативными или узкоцелевыми продуктами на базе технологии флеш-памяти новые решения должны обеспечить более высокую окупаемость инвестиций и снижение эксплуатационных затрат.