IaaS, VPS, VDS, Частное и публичное облако, SSL
194,52
рейтинг
25 ноября 2015 в 17:25

Разработка → Будущее хранения данных: Новые технологии перевод



Индустрия хранения данных переживает этап драматических перемен, которые проявятся, как в ближайшее время, так и в долгосрочной перспективе. Ранее мы уже говорили высокопроизводительных и емких устройствах хранения, а также рассказывали о новых технологиях Samsung и Intel. Сегодня мы продолжим обсуждать технологии, которые приведут к этим изменениям.

Молекулы ДНК – очень плотная среда хранения, в одном грамме может помещаться до 2000 ТБ данных. Что интересно, ученые спокойно работают с ДНК вымерших животных, который были заморожены на протяжении тысяч лет, и подтверждают, что ДНК можно использовать для хранения архивных данных, которые можно прочитать со 100% точностью.

Конечно, синтез ДНК является слишком дорогим процессом на текущем уровне развития технологий, но перспективы его применения для долгосрочного хранения важной информации – например, данные различных государственных ведомств – весмя очевидны.

Одна из смежных наработок позволяет хранить данные в так называемых «мягких веществах». Термин «мягкое вещество» может относиться к жидкостям, полимерам и даже биоматериалам. Микроскопические частицы в жидкости могут быть использованы, чтобы кодировать те же нули и единицы, а кластеры таких частиц однажды смогут хранить до 1 ТБ данных в столовой ложке жидкости.

Вернемся к более реальным технологиям. Начнем с платформы Kinetic Open Storage от Seagate, которая позволяет отказаться от традиционной схемы работы с привычными системами хранения данных. Использование программного интерфейса на уровне пар «ключ-значение», а также портов Ethernet позволяет упростить процесс создания программных и аппаратных архитектур хранения данных.

Данная платформа позволяет повысить производительность на уровне жестких дисков и стоек, а процесс распределения пространства на жестком диске переносит непосредственно на сам диск. Вот тут можно ознакомиться с более подробной информацией от производителя.

Аналитик Forrester Генри Бальтазар так прокомментировал появление Ethernet-дисков от Seagate:

Если данная технология будет коммерчески успешно, то это очень сильно изменит ИТ-индустрию, поскольку прямая связь дисков с приложениями позволит в той или иной степени отказаться от контроллеров хранения, файловых систем, SAN и даже RAID-массивов. Это отличное решение для объектных хранилищ и распространенных файловых систем (Hadoop, Lustre, GlusterFS) распределенных баз данных вроде Cassandra.



Другая разработка Seagate, суть которой заключается в черепичной технологии записи (shingled magnetic recording, SMR), легла в основу более четырех миллионов накопителей, которые были поставлены на рынок за два года с момента её запуска в производство.

Перекрывающиеся дорожки замедляют процесс записи, но с другой стороны представляется возможным увеличить количество дорожек на каждой пластине и сократить расстояние между ними, что в свою очередь приводит к повышению емкости диска на 25%. Проблема низкой скорости записи в данном случае решается с помощью специальных микропрограмм, которые оптимизируют операции последовательной записи.

Развитием технологии SMR занимаются как Seagate так и HGST (обе компании писали о ней в своих блогах на Хабре – здесь и здесь). Компания HGST, которая является подразделением Western Digital, предложила решение, позволяющее устранить существующие технические ограничения и найти ответ для проблемы, связанной с ростом потребностей информационно-вычислительных центров.

Преимущества заполненных гелием накопителей были известны уже в течение долгого времени, однако лишь недавно удалось разработать надежную гермозащиту, препятствующую утечке газа вовне. Гелий — это инертный газ, который в семь раз легче воздуха. Его использование снижает сопротивление вращению дисков, благодаря чему дисковые пластины можно сделать тоньше и разместить компактнее.

Гелиевый винчестер на 7200 оборотах в минуту примерно на 4-5 градусов холоднее, чем обычный, поскольку теплопроводность гелия на порядок выше воздуха. Меньшая масса требует меньших затрат электроэнергии на вращение. Снижение вибрации благодаря уменьшению веса повышает точность позиционирования головок.

Впервые метод перпендикулярной записи (Perpendicular Magnetic Recording, PMR) был применен еще в конце 19 века датским ученым Вольдемаром Поульсеном для звукозаписи. Однако в дальнейшем исследования на эту тему носили больше теоретический характер. Современные устройства, использующие данную технологию появились на рынке в 2004 году, когда Hitachi анонсировала свои новые накопители.

И тут Seagate оказалась среди лидеров, достигнув в лабораториях плотности записи в 245 Гбит/дюйм2 и скорости передачи данных в 480 Мбит/сек. Первый коммерческий продукт от Seagate, построенный по технологии перпендикулярной записи, появится в начале 2006 года.

Развитие данного направления – одна из приоритетных задач таких компаний как Western Digital и Seagate, которые предложили технологию термоассистируемой магнитной записи (heat assisted magnetic recording, HAMR), которая призвана заменить PMR. HAMR использует небольшой лазер для нагрева части диска, на которую планируется осуществить запись. Это позволяет уменьшить размеры магнитной области, хранящей один бит информации, и увеличить стабильность хранения данных.

P.S. Мы стараемся делиться не только собственным опытом работы над сервисом по предоставлению виртуальной инфраструктуры 1cloud, но и рассказывать о различных исследованиях и новинках в смежных областях знаний.

Не забывайте подписываться на наш блог на Хабре, друзья!
Автор: @1cloud Paul Rubens
1cloud.ru
рейтинг 194,52
IaaS, VPS, VDS, Частное и публичное облако, SSL

Комментарии (26)

  • 0
    Давайте поможем Даше найти готовые продукты на базе Kinetic.
    • 0
      Она же Dora!!!
  • 0
    Молекулы ДНК — это очень плотная среда хранения, в одном грамме может помещаться до 2000 ТБ данных.


    Интересно, я где-то читал что для полной постройки нашего тела используется небольшая часть ДНК, а вдруг в «неиспользуемых» частях содержатся какая-нибудь интереснейшая информация о смысле жизни и ответ на «главный вопрос».
    • +6
      42
    • 0
      Главный вопрос — как из бессознательного сделать сознательное. Ответ на него в ДНК быть может и есть, однако т.к. ДНК представляют из себя компилированный код, его реверс-инжиниринг может оказаться сложнее чем изучение коннектома и работы нейронов.

      Часто легче изучить как работает программа и написать аналог, чем реверсить и копаться в ассемблере.
    • 0
      // там комментарии
    • –1
      — Вопрос лишен смысла. Под «жизнью— Спрашивающий подразумевает частный феномен, объяснимый лишь в терминах целого.
      — Частью какого целого является жизнь? — спросил Лингман.
      — Данный вопрос в настоящей форме не может разрешиться. Спрашивающий все ещё рассматривает «жизнь— субъективно, со своей ограниченной точки зрения.

      Чтобы правильно задать вопрос, нужно знать большую часть ответа.

      Роберт Шекли. «Верный вопрос».
  • +1
    Молекулы ДНК — это очень плотная среда хранения, в одном грамме может помещаться до 2000 ТБ данных.


    Боюсь, скорость считывания будет низкой. Я так понимаю, там ведь нужна химическая реакция чтобы информацию считать? Вряд ли химическая реакция будет быстрее чем электромагнитное взаимодействие… Впрочем, знающие люди могут меня исправить. Как, по скорости не будет проблем?
    • 0
      Я не очень знающий, но по-моему то, что «померять потенциал» и провести органическую хим. реакцию — это задачи совершенно разного порядка сложности, довольно очевидно.
  • –1
    Такой интересный вопрос вдруг нарисовался в голове:
    А почему все производители так сосредоточены на форм-факторе 3.5"? Почему бы не перейти на 4.5", 5.5"? В системных блоках места достаточно и под бОльшие ХДД. В серверных стойках на несколько юнитов тоже полно места, и вместо размещения 10 дисков по 3.5" можно было бы аналогично засунуть например 5-6 дисков по 5.5", но из-за их бОльшего радиуса — в них будет и больше объем записи.

    Далее, почему нельзя в жесткие диски вставлять сразу несколько считывающих головок на один блин? Сейчас с каждого блина считывает только одна головка, а если поставить с другой стороны еще одну головку, то будет x2 по скоросте и IOPS возрастет, надо только немного увеличить размеры.

    А гелий… он ведь все-равно будет оттуда со временем вылетать, приводя диск в негодность?
    • 0
      уже были 5.25" quantum bigfoot. отличались надежностью жигулей и скоростью запорожца в гору.
    • 0
      Куда это гелий будет вылетать из герметичного бокса? Он так не умеет. А несколько головок на таких скоростях, которые мотыляются туда-сюда несколько раз в секунду — чревато небольшими проблемами
      • 0
        А несколько головок на таких скоростях, которые мотыляются туда-сюда несколько раз в секунду — чревато небольшими проблемами

        Ну понятно, что это сделать будет нелегко, но уж явно выглядит попроще, чем «Запись с перекрытием дорожек» или другие хитроумные технологии.
        • 0
          Чтобы реализовать запись с перекрытием, придется только изменить алгоритм чтения данных, механика — слабое, но более-менее обсчитанное и протестированное место винта, остается без изменений. Чтобы всунуть еще парочку головок — придется изменять все: от собственно механики HDD и аэродинамики внутри диска до микрокода драйвера, которому все это придется как-то согласовывать и сделать так, чтобы оно работало. Надежность понижается в разы, но растет ли скорость вдвое? Обычно вы читаете один файл, в нормальном случае располагающийся последовательно на поверхности, чтобы не тратиться на репозиционирование. Читаете ли вы два файла одновременно? Нужны ли вам два фрагмента файла, которые разнесены по пластинкам диска (что означает, что файл, как минимум, какая-нибудь киношка fullHD или однофайловая БД на сотню тысяч записей)? И получите ли вы в итоге хоть какой-то прирост скорости, если головка вместо цикла «встали на место — почитали», будет постоянно корректировать свое положение чтобы не зацепить соседку?
          UPD: по поводу «больший диаметр» — не забывайте, что «стрела» с головкой на конце, которая бегает по поверхности — рычаг. То есть, чем она длиннее, тем большую точность позиционирования «здесь» нужно обеспечить, чтобы «там» она оставалась приемлимой
          • 0
            Читаете ли вы два файла одновременно?

            Легко — я включаю фильм, а в это время на заднем фоне Dropbox синхронизирует файлы. Системе одновременно нужно два файла, головка диска постоянно прыгает туда-сюда.
            А так — одна головка подстроилась под стрим для фильма, вторая — дропбокса(упрощенно. Конечно у дропбокса операций гораздо больше будет).

            нормальном случае располагающийся последовательно на поверхности

            Ну не обязательно ведь. Он вполне может быть размазан по нескольким пластинам. Пусть одна головка читает с одного места, другая подхватит и будет считывать другой/продолжение. Головкам меньше нужно будет затрачивать время на перепозиционирование, в итоге скорость в целом вырастет.

            постоянно корректировать свое положение чтобы не зацепить соседку

            Не могу представить ситуацию, как головки, расположенные с двух противоположных концов смогут друг друга зацепить. Вообще, по первой картинке может предположить, в HDD влезет аж 4 головки, на каждую примерно по 20% площади диска.

            Написать алгоритмы по оптимальному расположению головок, или синхронному считыванию данных мне кажется вполне реализуемым алгоритмом.

            придется изменять все: от собственно механики HDD и аэродинамики внутри диска до микрокода драйвера

            Конечно придется поработать, это не винтики поменять. Но и сидеть на месте нельзя, скоро SSD догонит HDD по ценам.
            • 0
              ну и пусть себе догоняет, я только за. Достоинства SSD видно и слышно, в то время как HDD — бутылочное горлышко, которое хочется выбросить
              • 0
                Это сейчас HDD бутылочное горлышко, а добавят например дополнительных чудо-головок и уже не будет «бутылочное горлышко», кто его знает.

                Опять-же, у HDD всё-еще есть свои плюсы по сравнению с SSD, поэтому их всё еще используют в ЦОДах и различных СХД.
                Плюсы начиная от стоимости $ за гбайт, заканчивая сроком службы.
                • 0
                  HDD это в любом случае механика, как ни крути на каких угодно скоростях. SSD — куча транзисторов. Когда транзистор начнет работать медленнее механики, мы с физикой будем очень недовольны происходящим
                • 0
                  Вы думаете, если добавить ещё один набор головок (а то и три, как Вы предлагаете), и соответственно этому усложнить логику контроллера — то HDD по-прежнему будут дешевле SSD?
      • +1
        Куда это гелий будет вылетать из герметичного бокса? Он так не умеет

        Гелий так умеет как никто другой. Из-за очень малого размера молекулы (меньше, чем у водорода) он понемногу просачивается через что угодно.
        • –2
          Из-за очень малого размера молекулы

          Молекулы?))
          • 0
            В физике к молекулам причисляют также одноатомные молекулы, то есть свободные (химически не связанные) атомы (например, инертных газов, ртути и т. п.).

            Молекула
          • 0
            Таки да, газы в свободной форме — это обычно двухатомная молекула.
        • –1
          молекула гелия, это конечно сильно. А вообще, герметичный бокс — это такой, через который не «просачивается» ничего, в том числе и гелий, по крайней мере, в обозримом будущем
        • 0
          Железо и платиновая группа?
  • 0
    Насчет HDD по Ethernet — в этом случае предполагается что для программ диски будут выглядеть как обычные, а не сетевые хранилища? Или как обычно — диск сетевой и имитируется симлинками как обычный?

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка