В посте от 29 февраля мы уже рассказывали о квантовом скачке, произошедшем в области хранения данных с появлением DSSD D5, высокопроизводительного хранилища стоечного класса на flash-накопителях. Майк Шапиро, сооснователь стартапа DSSD, купленного впоследствии EMC, и вице-президент по разработке ПО EMC, рассказал о некоторых особенностях продукта, о том, зачем он нужен, а также о планах по развитию самого быстрого флэш-хранилища в индустрии.
Когда мы слушали презентацию DSSD, невольно возникал вопрос – почему этот продукт появился именно сейчас? Вы сами сказали, что разработка заняла примерно пять лет. Как возникло понимание, что продукт готов, и его пора выпускать на рынок?
Думаю, в данном случае правильно говорить о своеобразном стечении обстоятельств. С одной стороны, появились задачи, нуждающиеся в новом уровне производительности хранилищ данных. И клиенты, готовые платить за их решение. С другой стороны, дозрели сами технологии. Сейчас у нас на столе лежат смартфоны, которые в принципе невозможно было сделать пять лет назад. Просто не было достаточно производительных компонентов с низким уровнем энергопотребления. Похожая история и с нашим DSSD: пять лет назад мы могли лишь предполагать появление многих технологических решений, но де-факто их не существовало.
Так, пять лет назад начались первые опыты с устройствами, использующими шину PCI Express третьего поколения. А мы, начав разработку DSSD, быстро пришли к выводу о необходимости использования сдвоенного интервейса PCI Express Gen.3, получив, фактически, скорость будущего PCI Express Gen.4. Этот стандарт планируется утвердить только к концу 2016 года, но мы-то задумались о достижении его пропускной способности еще даже до начала широкого обсуждения.
Также пять лет назад процессоры плохо работали с такими объемами данных и на такой скорости напрямую. Теперь они справляются нормально.
Пять лет назад логический интерфейс NVM Express, использующийся в D5, существовал на уровне самой первой версии, недостаточно зрелой и не учитывающей потребности корпоративных пользователей. Сейчас у нас в распоряжении версия 1.2, позволяющая, кроме всего прочего, обновлять прошивку накопителей без остановки работы.
Ну и, конечно, цена самой флэш-памяти. В 2006 году я разработал самое первое гибридное хранилище, и тогда мы платили 20 долларов за 1 Гбайт памяти. То есть клиентам она обходилась еще дороже. Тогда лишь себестоимость флэша в хранилище, сравнимом с D5 DSSD, была бы около 3 миллионов долларов. Сейчас все, конечно, иначе.
Таким образом, изначальная идея заметно опережала возможности индустрии. И как только последняя подтянулась, появился D5.
Правильно ли я понимаю, что вы используете не самые дорогие разновидности флэш-памяти?
Скажем так, мы не стремимся закупать самое дорогое. Я работаю напрямую с производителями флэш-памяти, и для D5 мы выбираем чипы, обеспечивающие необходимый уровень скорости и надежности. Только в нашем случае львиная доля в результате зависит не от чипов памяти, а от контроллеров, под управлением которых она работает. Разумеется, мы не стремимся к экономии любой ценой, но можем позволить себе определенную гибкость.
Дизайн модулей – собственность EMC?
В обозримом будущем – да, но нельзя исключать вероятность, что он станет стандартом для индустрии. Ведь мы разработали его вовсе не потому, что очень хотели сделать что-нибудь эдакое. Нет, просто в имеющихся версиях не удавалось подать на память мощность больше 25 Вт, а мы увеличили этот параметр до 50 Вт. Другие накопители упираются в бутылочное горлышко интерфейса PCI-E, мы его устранили. Аналоги не обслуживаются во включенном состоянии – наши обслуживаются. И так далее.
Вполне возможно, что такие модули со временем появятся и в других продуктах. Мешать этому мы определенно не станем.
Цену вы, по традиции, не называете?
Нет, она очень зависит от конкретного заказчика. Но по соотношению доллар/IOPS мы рвем вообще всех.
Давайте еще раз вернемся к пятилетнему циклу разработки. Когда вы задумали D5, никто еще не говорил об интернете вещей, как массовом явлении. Не помню, чтобы в СМИ особенно мелькал термин Big Data. В общем, как говорится, ничто не предвещало. Что же заставило тогда начать задумываться о продуктах с такой производительностью?
Мой любимый спортсмен Уэйн Гретцки говорил: «Мчаться надо туда, где шайба будет, а не туда, где она сейчас». Этот принцип я исповедую и в своей карьере. Если хочешь сделать не просто еще один продукт, который чуть лучше и чуть дешевле аналогов, а что-то действительно прорывное, необходимо хорошо понимать – куда движется шайба.
Пять лет назад мы нарисовали графики – какой станет скорость флэш-памяти в 2016 году, насколько вырастут требования к объему, как изменится пропускная способность шины PCI Express. Посмотрели на них – и начали готовиться. Разрабатывать технологии, подбирать компоненты, договариваться с поставщиками. И когда паззл сложился – мы получили решение, опережающее по производительности продукцию коллег по бизнесу в десять раз.
Сейчас все идет к тому, что данные о пользователях становятся важнее, чем деньги за некоторые сервисы. Например, все идет к тому, что антивирусные продукты станут бесплатными для конечных пользователей. Ведь данные, которые они помогают собрать, повышают осведомленность разработчика об атаках и угрозах, и, соответственно, усиливают надежность корпоративных решений. Повлияет ли рост важности данных на рост спроса на решения уровня D5?
Строго говоря, данные всегда были самой большой ценностью для пользователей. Но сегодня их можно смело измерять не только объемом, но и временем. Все вокруг – люди, компьютеры, автомобили, самолеты, другая техника – генерит огромные объемы информации. И показатели растут. Если мы хотим не только хранить эти данные, но и извлекать из них что-то полезное, необходима скорость. То, что предлагаем мы сейчас – это анализировать данные в десять раз быстрее или получать за стандартный временной отрезок в десять раз больше полезной информации. Разумеется, в связке с другим железом соответствующей производительности.
Те, кто уже научился зарабатывать на данных, оценят такую возможность сразу. Ну и мы подождем, пока научатся остальные.
А как вы видите развитие идеи D5 в течение еще пяти лет?
Первое – это, конечно, увеличение объема. Сейчас у нас система размером 5 юнитов и максимальной полезной емкостью 100 терабайт. Не вижу причин останавливаться на данном уровне. Плюс мы поэкспериментируем с различными форм-факторами.
Также мы хотим дополнительно облегчить процесс апгрейда системы, чтобы он занимал считанные минуты.
Обязательно будем использовать флэш-модули большей емкости (сейчас есть ограничение на 4 Тбайт, будет и 8, и даже 16 Тбайт). Также мы будем дорабатывать программное обеспечение, чтобы многие задачи оптимизировались уже на уровне хранилища.
Когда мы слушали презентацию DSSD, невольно возникал вопрос – почему этот продукт появился именно сейчас? Вы сами сказали, что разработка заняла примерно пять лет. Как возникло понимание, что продукт готов, и его пора выпускать на рынок?
Думаю, в данном случае правильно говорить о своеобразном стечении обстоятельств. С одной стороны, появились задачи, нуждающиеся в новом уровне производительности хранилищ данных. И клиенты, готовые платить за их решение. С другой стороны, дозрели сами технологии. Сейчас у нас на столе лежат смартфоны, которые в принципе невозможно было сделать пять лет назад. Просто не было достаточно производительных компонентов с низким уровнем энергопотребления. Похожая история и с нашим DSSD: пять лет назад мы могли лишь предполагать появление многих технологических решений, но де-факто их не существовало.
Так, пять лет назад начались первые опыты с устройствами, использующими шину PCI Express третьего поколения. А мы, начав разработку DSSD, быстро пришли к выводу о необходимости использования сдвоенного интервейса PCI Express Gen.3, получив, фактически, скорость будущего PCI Express Gen.4. Этот стандарт планируется утвердить только к концу 2016 года, но мы-то задумались о достижении его пропускной способности еще даже до начала широкого обсуждения.
Также пять лет назад процессоры плохо работали с такими объемами данных и на такой скорости напрямую. Теперь они справляются нормально.
Пять лет назад логический интерфейс NVM Express, использующийся в D5, существовал на уровне самой первой версии, недостаточно зрелой и не учитывающей потребности корпоративных пользователей. Сейчас у нас в распоряжении версия 1.2, позволяющая, кроме всего прочего, обновлять прошивку накопителей без остановки работы.
Ну и, конечно, цена самой флэш-памяти. В 2006 году я разработал самое первое гибридное хранилище, и тогда мы платили 20 долларов за 1 Гбайт памяти. То есть клиентам она обходилась еще дороже. Тогда лишь себестоимость флэша в хранилище, сравнимом с D5 DSSD, была бы около 3 миллионов долларов. Сейчас все, конечно, иначе.
Таким образом, изначальная идея заметно опережала возможности индустрии. И как только последняя подтянулась, появился D5.
Правильно ли я понимаю, что вы используете не самые дорогие разновидности флэш-памяти?
Скажем так, мы не стремимся закупать самое дорогое. Я работаю напрямую с производителями флэш-памяти, и для D5 мы выбираем чипы, обеспечивающие необходимый уровень скорости и надежности. Только в нашем случае львиная доля в результате зависит не от чипов памяти, а от контроллеров, под управлением которых она работает. Разумеется, мы не стремимся к экономии любой ценой, но можем позволить себе определенную гибкость.
Дизайн модулей – собственность EMC?
В обозримом будущем – да, но нельзя исключать вероятность, что он станет стандартом для индустрии. Ведь мы разработали его вовсе не потому, что очень хотели сделать что-нибудь эдакое. Нет, просто в имеющихся версиях не удавалось подать на память мощность больше 25 Вт, а мы увеличили этот параметр до 50 Вт. Другие накопители упираются в бутылочное горлышко интерфейса PCI-E, мы его устранили. Аналоги не обслуживаются во включенном состоянии – наши обслуживаются. И так далее.
Вполне возможно, что такие модули со временем появятся и в других продуктах. Мешать этому мы определенно не станем.
Цену вы, по традиции, не называете?
Нет, она очень зависит от конкретного заказчика. Но по соотношению доллар/IOPS мы рвем вообще всех.
Давайте еще раз вернемся к пятилетнему циклу разработки. Когда вы задумали D5, никто еще не говорил об интернете вещей, как массовом явлении. Не помню, чтобы в СМИ особенно мелькал термин Big Data. В общем, как говорится, ничто не предвещало. Что же заставило тогда начать задумываться о продуктах с такой производительностью?
Мой любимый спортсмен Уэйн Гретцки говорил: «Мчаться надо туда, где шайба будет, а не туда, где она сейчас». Этот принцип я исповедую и в своей карьере. Если хочешь сделать не просто еще один продукт, который чуть лучше и чуть дешевле аналогов, а что-то действительно прорывное, необходимо хорошо понимать – куда движется шайба.
Пять лет назад мы нарисовали графики – какой станет скорость флэш-памяти в 2016 году, насколько вырастут требования к объему, как изменится пропускная способность шины PCI Express. Посмотрели на них – и начали готовиться. Разрабатывать технологии, подбирать компоненты, договариваться с поставщиками. И когда паззл сложился – мы получили решение, опережающее по производительности продукцию коллег по бизнесу в десять раз.
Сейчас все идет к тому, что данные о пользователях становятся важнее, чем деньги за некоторые сервисы. Например, все идет к тому, что антивирусные продукты станут бесплатными для конечных пользователей. Ведь данные, которые они помогают собрать, повышают осведомленность разработчика об атаках и угрозах, и, соответственно, усиливают надежность корпоративных решений. Повлияет ли рост важности данных на рост спроса на решения уровня D5?
Строго говоря, данные всегда были самой большой ценностью для пользователей. Но сегодня их можно смело измерять не только объемом, но и временем. Все вокруг – люди, компьютеры, автомобили, самолеты, другая техника – генерит огромные объемы информации. И показатели растут. Если мы хотим не только хранить эти данные, но и извлекать из них что-то полезное, необходима скорость. То, что предлагаем мы сейчас – это анализировать данные в десять раз быстрее или получать за стандартный временной отрезок в десять раз больше полезной информации. Разумеется, в связке с другим железом соответствующей производительности.
Те, кто уже научился зарабатывать на данных, оценят такую возможность сразу. Ну и мы подождем, пока научатся остальные.
А как вы видите развитие идеи D5 в течение еще пяти лет?
Первое – это, конечно, увеличение объема. Сейчас у нас система размером 5 юнитов и максимальной полезной емкостью 100 терабайт. Не вижу причин останавливаться на данном уровне. Плюс мы поэкспериментируем с различными форм-факторами.
Также мы хотим дополнительно облегчить процесс апгрейда системы, чтобы он занимал считанные минуты.
Обязательно будем использовать флэш-модули большей емкости (сейчас есть ограничение на 4 Тбайт, будет и 8, и даже 16 Тбайт). Также мы будем дорабатывать программное обеспечение, чтобы многие задачи оптимизировались уже на уровне хранилища.
