Как флеш-память изменит структуру дата-центров

http://systemdesign.altera.com/flash-upends-the-data-center/
  • Перевод
Сегодня мы решили проанализировать заметку Рона Уилсона (Ron Wilson), который работает в компании Altea. Рон поделился своим мнением о том, как развитие флеш-памяти может изменить структуру ЦОД.


/ Фото Wonderlane / CC

Сейчас мы находимся на пороге переломного момента в истории ЦОД. С увеличением возможностей флеш-памяти мы получаем не только более производительные гаджеты, но и абсолютно иные по своей эффективности облачные сервисы.

Здесь стоит упомянуть такие новинки как память NAND с новой архитектурой и энергонезависимая память Intel-Micron 3D Xpoint — они пойдут в массовое производство в рамках года.

Технологии, которые делают это возможным


На выставке Flash Memory Summit вице-президент компании Samsung Джим Эллиот (Jim Elliott) анонсировал начало продаж новой 256-гигабитной 48-слойной микросхемы. По его словам, такие чипы будут способны выдавать в два раза большую скорость последовательного чтения и будут потреблять на 40% меньше мощности. В данном случае передача параллельно поступающих данные из массивов памяти идет прямо на микроконтроллер с помощью сквозных отверстий через кремний. Такой подход позволяет увеличить пропускную способность.

На этом фоне заметна разработка 3D Xpoint, которая способна создать новую категорию энергонезависимой памяти: достаточно быструю, чтобы использовать шину DRAM, и достаточно емкую, чтобы хранить большое количество данных. Сфера HDD не отстает, здесь набирает обороты черепичная магнитная запись, 2D-запись и термоассистируемая запись.

Мы здесь ненадолго


В ответ на новые технологии начинают появляться и совершенно иные решения для ЦОД. Например, кластер из микросхем флеш-памяти под управлением чипа, эмулирующего контроллер диска. Этот SSD заменяет жесткие диски в критически важных местах.



Если говорить о серверах, то здесь SSD начали вытеснять встроенные SAS-накопители с низкой задержкой, а пулы флеш-памяти стали заменять даже хранилища «холодных» данных. Такой подход не всегда можно считать целесообразным решением.

«Массивы флеш-памяти имеют более высокую пропускную способность, по сравнению с дисковыми накопителями, – говорят эксперты, – но интерфейс SAS, и, в некоторых случаях, шины PCI Express (PCIe), сводят это преимущество на нет»

Эволюция программного обеспечения


Появление разнообразных стартапов и сервисов на рынке ИТ дало почву для существенного пересмотра решений ЦОД. Привычные реляционные БД заменили хранилища типа ключ-значение или просто кучи неструктурированных документальных данных.

«Для загрузки одной страницы сайта Amazon необходимо около 30 микросервисов, – говорит директор по технической стратегии NetApp Вал Берковичи (Val Bercovici). – У вас могут быть хранилища ключ-значение Redis или Riak, графовая база данных Neo4j, для определения сопутствующих товаров, и документно-ориентированная база данных MongoDB. Все это нужно для создания одной страницы».

Главное отличие между новыми и старыми приложениями, такими как Hadoop, это их подход к хранению данных. «Распространение API Memcached и появление Spark и Redis привело к тому, что приложения начали пожирать память, – предупреждает президент Diablo Technologies Рикардо Бадалоне (Riccardo Badalone). – Нам нужно найти альтернативу DRAM».

Новые архитектуры для нового кода


Сегодня уже вполне можно считать флеш памятью, а не хранилищем. All-flash DIMM позволяют передать в четыре или даже в десять раз больше оперативных данных по шине сервера. Результат – это кардинальные изменения в структуре хранилищ данных: небольшое количество DRAM становится большим массивом быстрой флер-памяти.

Если углубиться в структуру дата-центра, то мы увидим высокоемкие и высоконадежные SSD на десятки или сотни терабайт, которые работают с серверными DIMM в режиме прямого доступа – таким образом обходятся ОС и гипервизор, снижается латентность. Некоторые разработчики архитектур называют это дезагрегированием, когда накопители данных распределяются по всему дата-центру, как можно ближе к серверам.

В результате DRAM, DIMM-флеш, память, соединенная RDMA-каналом, и «холодные» хранилища формируют концентрические слои кэша, создавая бесшовную архитектуру, плавно переходящую от кэша первого уровня к постоянному хранилищу на другом конце сети. С точки зрения приложения, все данные будут находиться в DRAM, а оператор дата-центра не будет замечать колебаний в величине задержек.



Однако у этой системы есть недостаток. Небольшие задержки требуют синхронности в чтении и записи. «Временные характеристики DDR4 строго определены», – предупредил один из выступающих. Протокол DDR4 не работает с памятью, если её поведение по чтению детерминировано, но поведение по записи совершенно непредсказуемо.

Если запись происходит не часто, контроллер с достаточно быстрым буфером памяти может решить эту проблему. Нужно просто помещать информацию в соответствующий буфер и выдавать её по мере освобождения аппаратуры. К счастью, большинство современных приложений удовлетворяют этому условию [условию нечастой записи]. Программы, такие как Spark и Redis, редко записывают что-то в память.

Даже в старых SQL-приложениях запись происходит реже, чем считают управляющие дата-центров. Захер Финблит (Shacher Fienblit), главный инженер Kaminario, выяснил, что 97% пользователей записывают всю совокупность (их) данных реже одного раза в день. С хорошим контроллером, говорит он, можно удерживать уровень нагрузки по записи в пределе 15% от всех данных, поступивших за день. Буферы записи могут с этим справиться.

Вывод


С появлением новых технологий архитектура дата-центров, скорее всего, так и не войдет в эру SSD, избежав проблем, связанных с драйверами дискового программного обеспечения и схемами подключения новой памяти – она вступит в новый неизвестный мир. В этом мире программное обеспечение будет считать всю память оперативной, там не будет дисковых драйверов, API для хранилищ данных или виртуализации уровней – все эти функции будут переданы программно-определяемым контроллерам и переключателям.

Кэши SRAM серверного ЦП, DRAM, энергонезависимая высокоскоростная память и сетевые флеш SSD объединены, контроллер к контроллеру, в топологию, которая может изменяться вместе с приложениями. Большая часть данных дата-центра теперь будет храниться ближе к ЦП.

Терабайты данных начнут передаваться напрямую через шину памяти DDR. Дисковые накопители, обладающие низкой стоимостью и большой емкостью, займут свое место в качестве хранилищ «холодных» данных. Эта архитектура будет очень сильно отличаться от уже существующих.
  • +11
  • 13,2k
  • 1
1cloud.ru 155,13
IaaS, VPS, VDS, Частное и публичное облако, SSL
Поделиться публикацией
Похожие публикации
Комментарии 1
  • +2
    Странно, что не упоминается анонс от Samsung о доступности в следующем году SSD емкостью в 16ТБ. То есть SSD уже превысят по объему HDD, которые пока достигли емкости в 10ТБ и испытывают некоторые трудности с дальнейшим ростом емкости. А самое главное, что никаких вариантов увеличения производительности HDD на горизонте не видно. При этом 16ТБ SSD от Samsung это только начальный этап и дальше емкость будет только расти. Так что мне кажется, что разница в цене между SSD и SATA HDD будет меньше 5-10 раз уже через год. Уже сейчас стоимость TLC SSD на уровне enterprise SAS дисков. В итоге в ближайшее время придем к тому, что в ЦОДах останутся только SSD и SATA диски для архивного хранения.

    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

    Самое читаемое