IaaS, VPS, VDS, Частное и публичное облако, SSL
278,68
рейтинг
15 января 2015 в 14:25

Разное → ОС для ЦОДов Mesosphere: Что это и для кого

image

На Geektimes уже писали о том, что компания Mesosphere привлекла инвестиции (несколько раундов финансирования довели вложения в компанию до $50 млн) на создание «первой операционной системой для ЦОДов» [о том, зачем ЦОДам нужны операционные системы, можно прочитать в этом переводе из нашего блога].

ОС для ЦОДов (DCOS, data center operating system) — это новый тип операционных систем, которые работают в масштабах всего дата-центра и контролируют не отдельные машины, а действуют на уровне выше и позволяют администраторам работать со всеми ресурсами дата-центра, как с единой виртуальной сущностью. Это позволит упростить управление и даст администраторам возможность по мере необходимости вводить в эксплуатацию или, наоборот, выводить из использования сервера и ПО намного быстрее, чем это происходит сейчас.

Виртуальные машины помогают лучше использовать ресурсы отдельных компьютеров, но в команде Mesosphere хотят вывести эту концепцию на новый уровень и позволить пользователям применять тот же принцип к ресурсам всего дата-центра. Поскольку сегодняшние приложения все чаще ориентированы на работу с несколькими серверами, становится неважно, как именно распределяются ресурсы отдельной машины, а текущий подход просто не может обеспечить все возникающие потребности.

С помощью применения концепции виртуальных машин ко всему дата-центру, возможно формирование единого пула ресурсов, которым специалисты могут манипулировать — это может быть крайне полезно системным администраторам. Более того, способность виртуализировать весь потенциал дата-центра радикально уменьшает время на развертывание кластеров серверов с дней и недель до нескольких часов или даже минут в зависимости от того, какого размера кластер требуется сформировать.

image

Пул виртуальных ресурсов создан для работы с тысячами машин. В сущности, Mesosphere говорили о том, что их стандартный потребитель может обладать ЦОДом, содержащим порядка 50 тысяч узлов, и что, по их предположениям, это стандартное количество может быть увеличено до 500 тысяч к концу следующего года.

Администраторы могут работать с ОС для ЦОДов через командную строку или использовать графический интерфейс, чтобы быстро выбирать и «перетаскивать» ресурсы из библиотеки в панель командной строки. Это даёт администраторам возможность очень быстро формировать в библиотеке множество экземпляров любого ПО. Библиотека по умолчанию включает в себя популярные open source-продукты, такие как Apache Spark, Apache Cassandra, Apache Hadoop и Google Kubernetes, к которым пользователи могут добавлять и свои внутренние пакеты программ.

ОС для ЦОДов совместима с некоторыми версиями Linux, включая Redhat, CentOS, Ubuntu и CoreOS, а также с инфраструктурой публичных облачных услуг от таких компаний, как Amazon, Google и Microsoft. Наконец, ее можно использовать совместно с сервисами из инфраструктуры частного облака, включая виртуальные машины, bare metal и OpenStack.

Администраторы также могут устанавливать триггеры с помощью специализированных инструментов так, чтобы по достижении определенных условий система автоматически запускала заранее заданный набор команд.

image

Например, администраторы могут сформировать набор команд, основанный на понимании стоимости внешних услуг, так, чтобы он запускался только тогда, когда оказывается превышен необходимый стоимостной порог. Более того, администраторы могут использовать преимущества API, чтобы создавать приложения сразу для единого пула ресурсов дата-центра, доступных ОС от Mesosphere.

Кому нужна ОС для ЦОДов?


Редакция издания Readwrite задала этот вопрос Брэду Сильвербергу, человеку, стоявшему за сверхуспешным запуском Windows 95, получившему титул «Mr. Windows» и не так давно проинвестировавшему в Mesosphere.

По мнению эксперта, одним из основных назначений облачных вычислений считалось создание настоящей операционной системы для дата-центров. Однако существующая модель подобной системы не работает, поскольку ее сложно эффективно масштабировать. Она слишком сложна и затратна. Все дело в том, что существует несколько технологических трендов, которые увеличивают масштабы этой проблемы, в частности взрывной рост числа мобильных устройств, которым необходим доступ к ресурсам дата-центров и массовая миграция приложений в облако.

Кроме того, в настоящее время наблюдается появление радикально новых моделей поведения, как людей (в первую очередь, использующих смартфоны), так и машин (Интернет вещей). Количество смартфонов на планете вот-вот перевалит за два миллиарда, и скоро это число удвоится.

Тем временем все больше машин получают IP-адреса и начинают взаимодействовать с дата-центрами. Приложения превращаются в большие распределенные собрания микросервисов, которые запускаются с тысяч серверов, а объем данных продолжает возрастать.

На вершине айсберга находятся ожидания пользователя, который хочет получить адаптивное приложение с максимально свежим наполнением. Но привычными способами обеспечить удовлетворение всех этих потребностей очень сложно.

Ранее считалось, что виртуализация может помочь создавать масштабируемые решения, но Сильверберг считает, что этого не произошло.

Это просто переходная технология, а не фундаментальная смена парадигмы. Подумайте обо всем этом с точки зрения сложности систем. Вместо того, чтобы разбивать одну физическую машину на несколько виртуальных (которыми вам всё равно надо управлять), не лучше ли объединить все машины в вашем дата-центре в один большой абстрактный компьютер с одной операционной системой? И знаете, что? Этот подход уже работает.

Концепция уже апробирована на крупномасштабных проектах в Google с их архитектурой Borg/Omega и в Twitter, поддерживающем Apache Mesos.

ОС для ЦОДов снимает все ресурсные ограничения. Она создает единый пул ресурсов, в рамках которых возможно создание приложений и их динамическое масштабирование в режиме реального времени в соответствии с потребностями в изменении рабочей нагрузки.

Эта система использует метафору единого компьютера, которая достаточно проста как модель для программирования, и распространяет её на сотни тысяч или даже миллионов машин. Такой подход позволяет нивелировать все сопутствующие процессам масштабирования сложности.

[Полную версию интервью можно прочитать здесь]

Так ли все хорошо на самом деле


Несмотря на положительное отношение к ОС для ЦОДов со стороны венчурных капиталистов и технологических экспертов не все пользователи в настоящий момент разделяют их оптимизм. В комментариях к упоминавшемуся топику на GT хабраюзер (гиктаймсюзер?) kovyl так описал свой опыт работы с софтом Mesosphere:

Я извиняюсь за резкость. Просто для меня Mesosphere — как красная тряпка для быка. У кого-нибудь из присутствующих здесь, есть положительный опыт использования ЭТОГО в продакшне? Можете им поделиться? Пытались использовать его у себя. Потратили около полугода(!!!) и кучу нервов в надежде выжать из него хоть что-то. Сложилось впечатление, что оно не работоспособное в принципе.

По словам разработчиков, ОС для ЦОДов от Mesosphere будет доступна в следующем году (хотя доступ к ранней версии системы существует уже сейчас) — возможно инвестиции и поддержка экспертного сообщества помогут команде создать более сбалансированный продукт.
Автор: @1cloud
1cloud.ru
рейтинг 278,68
IaaS, VPS, VDS, Частное и публичное облако, SSL

Комментарии (8)

  • +4
    Как любой грандиозный проект с грандиозной идеей, он будет на 1% зависеть от идеи и на 99% от реализации. А реализация грозит нам всё тем же:

    hw management (как ребутнуть сервер, как заставить данный сервер ТОЧНО загрузиться по pxe?)
    hw inventory (какие диски для чего можно использовать? Какие сетевые интерфейсы в какие коммутаторы воткнуты? Как это понять в автоматическом режиме?)
    Boot: как загрузить ОС с драйверами под данное железо?
    OS level: как установить те версии ПО, которые требуются?
    App level: как деплоить нужные версии из нужных брачей и как к ним правильно притягивать зависимости?
    conf level: как соотнести конфигурацию приложения с остальными уровнями? (доступные сети и т.д.)

    Дальше там мониторинг/балансинг, но это уже дело десятое.

    Все эти уровни много раз решались разными людьми под разные специфичные сценарии с разной степенью неуспешности. Решение, которое бы убирало это боль пока не найдено.

    Если им получится решить эту проблему — это будет революция. Решат локальные кейсы — ну будет у нас рядом с MaaS+juju, TrippleO+chef и т.д., ещё одна конструкция.
    • 0
      Так основная идея месоса и месосферы — разделение ответственности. Раньше можно было вынести в 2 отдельных подразделения сеть и железячную часть, остальное на админах софта. В новой концепции ОС и инфраструктура для масштабирования приложений выделяется в третье подразделение. Теоретически, после такого шага разработчики уже сами могут деплоить, в гугле такое практикуют с мелкими проектами. Либо остаются специальные админы, которые думают только про приложение и его конфигурацию, а не про железо и ОС.
      • 0
        Ничего не понял.

        Вот, допустим, у нас «ОС и инфраструктура» в новом подразделении. Мне нужно запустить маленький шардик из эластика для экспериментов.

        Сейчас я:
        1) Пишу в внутренний саппорт компании «хачу сервера», мне их дают.
        2) Я через менюшку self-serving выставляю себе ОС, гружусь
        3) Обнаруживаю, что мне нужен отдельный вилан. Пишу сетевикам с номерами портов. Получаю.
        4) Ставлю что мне нужно.

        А в этой фантазии что происходит и кто это делает?

        И, главное, к вопросу о сетевой стене: кто эту милую хипстерскую поделку пустит к консоли управления роутером, через которые сотни гигабит проходят?
        • 0
          А вы не можете запустить совсем произвольное приложение, оно должно соответствовать конвенции взаимодействия с месосферой. И заказываете не виртуалки, а просто ресурсы, типа 50 ядер и 100 гиг памяти. Про всякие виланы вам вообще думать не нужно, это все системой должно делаться. По сути, это аналог запуска бинарника на локальной машине, только где-то в дц.

          Это я пишу не применительно к конкретному продукту, а к концепции. Пускать или не пускать хипстерское поделие в своем дц каждый решает сам. Скоро будут и решения от крупных вендоров.
          • 0
            Итого, 1% идея, 99% «системой должно делаться». Как человек с другой стороны «делаться», я могу сказать, что «делаться» оно будет не системой.
  • 0
    Интересно видится концепция как «ЦОД из коробки», но там в любом случае это плотная связка под конкретное железо. А вот тут можно развернуться — производителям железа возможно захочется расширить арсенал конкурентных преимуществ (красивых коробочных решений)
    • 0
      Это называется «вендор лок» и от него будут все отворачиваться с самого начала. А если будут сильно пиарить, то и от железки отвернутся тоже. Желающие могут посмотреть на Dell с его crowbar'ом.
  • 0
    Я извиняюсь за резкость. Просто для меня Mesosphere — как красная тряпка для быка. У кого-нибудь из присутствующих здесь, есть положительный опыт использования ЭТОГО в продакшне? Можете им поделиться?


    На данный момент, абстракции от самого Mesos вполне достаточны для построения staleless приложений. Например, «запустить N инстансов приложения на серверах, где есть для этого ресурсы» (Marathon, Aurora). Но когда я последний раз проверял это не настолько просто с сервисами, которые хранят данные на диске отдельно для каждого из инстансов (Cassandra, Elasticsearch). Если при падении stateless — сервисов, их можно перезапустить где угодно, то с базами данных все несколько сложнее и Mesos расширяется в данный момент до включения и управления дисковыми ресурсами.

    По моему опыту, довольно неплохо работают сервисы (имлементирующие Mesos фреймворк) хранящие данные, например, в Zookeeper. У нас неплохой опыт с развертыванием Storm кластера на Mesos. Остальное было пока на уровне экспериментов и тестов: Spark, Marathon, Chronos, но было вполне работоспособное.

    ОС для датацентра, конечно, звучит очень громко на данный момент, но это все вполне возможно и остается дело за реализацией, бОльшая часть которой будет основана на умной имлементации Mesos framework для каждого из интересующих сервисов

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разное