Кто «уходит в облака»: западные ИТ-стартапы, которые используют виртуальную инфраструктуру

    Прогнозируется, что к 2020 году объем рынка облачных вычислений достигнет $121 млрд. На виртуальную инфраструктуру к тому времени перейдет 80% малого бизнеса США. Уже сейчас есть тенденция к миграции стартапов на IaaS.

    Эндрю Чен (Andrew Chen), инвестор и консультант таких технологических проектов как Dropbox, Product Hunt и Tinder, высказал мысль, что стартапы дешевле построить, чем масштабировать — затраты на сотрудников и маркетинг растут.

    Однако при этом стоимость виртуальной инфраструктуры только дешевеет. В попытке привлечь компании из числа «единорогов», провайдеры снижают для них стоимость услуг.

    Какие крупные зарубежные стартапы уже перешли на виртуальную инфраструктуру? Почему им это было выгодно? Разбираемся ниже.


    / фото jahiro97430 CC

    Кто выбирает виртуальную инфраструктуру


    В начале этого года компания, управляющая мобильным мессенджером Snapchat, подписала соглашение с Google. Согласно условиям сделки, Snap обязуется тратить не менее $400 млн. в год в течение пяти лет на облачные сервисы Google.

    Snapchat использует виртуальную инфраструктуру для большинства своих операций: хранения и управления данными, анализа и обеспечения безопасности. Накануне IPO Snap также стало известно об аналогичной сделке компании с Amazon стоимостью $1 млрд.

    Таким образом, в течение ближайших пяти лет Snapchat потратит $3 млрд. на запуск и поддержание своих сервисов в облаке.


    / фото Marco Verch CC

    Годом ранее Netflix завершил свою долгую миграцию на виртуальную инфраструктуру Amazon. С 2016 года все важные процессы — от управления трансляцией потокового видео до поведенческой аналитики и менеджмента данных о сотрудниках и клиентах — происходят в облаке. Netflix принял решение сократить число собственных дата-центров с более активным переходом на арендованные мощности. Помимо этого сервис развивает CDN Open Connect.

    В 2016 году компания Uber после семи лет своего существования также решила перейти на облачную инфраструктуру. Основные функции приложения образуют единый сервис заказа такси в виртуальной среде. Uber еще не сделал выбор в пользу того или иного поставщика, поэтому за обслуживание компании, которая присутствует в 70 странах мира, сражаются основные игроки рынка.

    По словам Майка Кертиса (Mike Curtis), вице-президента по технологиям в Airbnb, их сервис для размещения и краткосрочной аренды жилья с начала своего существования работает на виртуальной инфраструктуре. Молодой стартап в 2008 году выбрал облако вместо собственного оборудования, и сегодня ни один член технической команды Airbnb не тратит время на обслуживание корпоративных серверов.

    В начале 2016 года о своем переезде на виртуальную инфраструктуру Google объявил стриминговый сервис Spotify. До этого момента он арендовал пространство в дата-центрах или приобретал серверное и сетевое оборудование, чтобы быть ближе к своим клиентам.

    Еще один стриминговый сервис — Hulu — в этом году перевел на инфраструктуру AWS свои ключевые сервисы и приложения. Посредством облака Hulu транслирует свой видео-контент в формате Live TV.

    Почему проекты выбирают IaaS


    1. Гибкость

    В большинстве приведенных примеров, так или иначе, решение о миграции связано с проблемами роста. Как отмечает Йишан Вонг (Yishan Wong), бывший генеральный директор Reddit, на раннем этапе жизни стартапа виртуальная инфраструктура — разумное решение. Пока неизвестен объем постоянных вычислительных ресурсов для обслуживания сервиса, предсказать перепады нагрузки трудно. Облако же оставляет возможность масштабирования.

    Например, на момент окончательного перехода Netflix на AWS у сервиса было в восемь раз больше клиентов, чем в 2008 году, когда началась миграция. Компания привлекла 75 млн. подписчиков из 130 стран, приложение постоянно меняется, добавляется все больше функций, а объем данных растет. По словам вице-президента по разработке облачных решений Netflix Юрия Израилевского (Yury Izrailevsky), поддержка такого быстрого роста сервиса была бы чрезвычайно сложной на базе собственных дата-центров.
    «Гибкость облака позволяет нам добавлять тысячи виртуальных серверов и петабайт памяти в течение нескольких минут, что делает возможным такое расширение», — сказал Израилевский.
    Переход в облако также позволил компании сократить расходы, однако Юрий видит в этом побочный положительный эффект. Готовность к масштабированию стала главным достижением Netflix.

    2. Доступность

    Обращаясь к IaaS-провайдеру, Uber думает в первую очередь о географической экспансии и отказоустойчивости. Например, Uber традиционно использовал гибридную облачную модель, чтобы избежать проблем с доступностью для пользователей — если один дата-центр выходит из строя, его «страхует» ЦОД из другого города. Теперь компания готова передать полномочия IaaS-провайдеру и диверсифицировать нагрузку на свои серверы.

    В случае с Hulu выбор провайдера освободил компанию от необходимости создавать свои дата-центры, а продукт Live TV смог быстрее выйти на рынок и стать доступным большей аудитории. IaaS обеспечивает все требования к потоковому видео, доступность которого так же важна, как и своевременный вызов такси в случае Uber.

    3. Высвобождение ресурсов

    Майк Кертис объясняет причину, по которой Airbnb работает в публичном облаке, желанием сконцентрировать все усилия на решении уникальных для стартапа проблем. Техническая команда может заниматься разработкой новых продуктов вместо поддержания серверов. Преимущество Airbnb заключается в том, что компания сразу начала работать в облаке, благодаря чему ей не потребовалась миграция в дальнейшем.

    4. Работа с данными

    Вице-президент по разработке инфраструктурных решений в Spotify Николас Харто (Nicholas Harteau) рассказал, что решение о переходе в облака Google принято из-за инструментов для работы с данными. Spotify предлагает персонализированные плейлисты для миллионов людей по всему миру. По словам Google, «миграция на виртуальную инфраструктуру позволила компании обновить стек технологий, заменив Hadoop, MapReduce, Hive и ряд кастомных инструментов для сбора данных на более современные и эффективные аналоги» — а именно, на разработки Google.



    Итак, западные компании, переходя в «облако», выбирают гибкость, доступность и возможность полностью сосредоточиться на собственных разработках.

    Сокращение расходов для них — скорее приятный побочный эффект.

    А как обстоят дела в России? Чем руководствуются отечественные стартапы, у которых (пока) чуть меньше возможностей, чем у Netflix? Расскажем в нашем следующем материале.



    P.S. Вот еще несколько публикаций из нашего корпоративного блога:

    ИТ-ГРАД 206,85
    vmware iaas provider
    Поделиться публикацией
    Похожие публикации
    Комментарии 20
    • +1

      А вот отсутствие доводов против как то не закончено звучит.

      • 0
        Спасибо, что читаете! Мы планируем сделать серию материалов — во второй части расскажем про опыт российских проектов и уже далее перейдем к разбору кейсов, описывающих решение тех или иных проблем.
      • +1
        Для баланса может неплохо бы указать кто дропнул облака и использует свои сервера, вроде Dropbox (есть ли еще примеры?). Из тех кто про это пишет еще StackExchange использует свои железки, причем они подробно описывают какие и какова получается нагрузка (https://nickcraver.com/blog/)
        • 0
          Да, конечно. Мы неоднократно рассказывали о таких проектах, но в рамках одной из частей нашей серии материалов обязательно разберем и такой сегмент. Все-таки здесь нужно смотреть целый ряд кейсов, поэтому эту тему логично выделить в качестве самостоятельного материала.
          • +2
            Все крупные проекты используют свое железо — облака выходят в 3-4 раза дороже, плюс облака — это инженеры и разработчики, на которых ты никак не можешь повлиять.
          • +1
            Мы тоже сейчас занимаемся миграцией на AWS. Пока что основная проблема в освоении доступных в AWS компонентов. По каждому из них есть просто тонны документации и статей, но решение конкретной проблемы порой приходится долго искать. Нередко оказывается, что предполагаемое тобой решение просто не поддерживается в конфигурации (CloudFormation), зато есть в остальных API.
            • +1
              А мы с начала 2018 года мигрируем с PaaS Google на классических хостеров.
              Решение принято после того как в течение 2-х месяцев подряд нам пришлось отдать за хостинг 70% прибыли (при том что раньше это было на уровне 4-7% и потому никого не беспокоило).
              Ну и с точки зрения технологий — разработчики не могут создавать сервисы тяжелых вычислений так как это очень серьезно поднимает стоимость хостинга. А эти сервисы позволили бы повысить качество наших услуг в свою очередь.

              По опыту могу предложить не завязываться на специфические средства AWS а проложить стандартизирующую прокладку дающую защиту от vendor lock. Например Kubernetes, Mesos или т.п.

              Или очень тщательно просчитывать завязываясь на специфические компоненты AWS
              • 0
                Согласен, что облака — это далеко не панацея и не под каждую задачу подходит.
                Сейчас у нас это в рамках эксперимента проводится. Знаю, что также прорабатывается возможность использования услуг Google, но я не знаю какие уже получены выводы на этот счёт. А вообще, облачная инфраструктура с Kubernetes, Mesos и Kafka уже сейчас работает на наших собственных мощностях. И будет работать, если миграция будет признана неудачной.
            • +1
              Годом ранее Netflix завершил свою долгую миграцию на виртуальную инфраструктуру Amazon. С 2016 года все важные процессы — от трансляции потокового видео до управления данными о сотрудниках и клиентах — происходят в облаке.

              Это ложь. У нетфликса в амазоне был очень маленький кусок сервисов (типа авторизация клиентов) и от них они собирались отказываться из-за того, что расходились с амазоном в каких-то технических аспектах. Все сервера с контентом у них на собственных физических серверах и они много чего разрабатывают для быстрой отдачи с этих серверов. Вот, в частности: medium.com/netflix-techblog/serving-100-gbps-from-an-open-connect-appliance-cdb51dda3b99
              • +1
                А вот и пояснения самого нетлфикса на тему распространившегося мифа, что они якобы во всю используют амазон: www.networkworld.com/article/3037428/cloud-computing/netflix-is-not-really-all-in-on-amazon-s-cloud.html
                • 0
                  Сорри мой инглиш. Я правильно понял что в облаках у Нетфликса только бизнес-логика а сам видео контент Нетфликс раздает со своих собственных серверов?
                  • 0
                    Да, именно так.
                    • +1
                      Кажется, что перенос бизнес-логики, управляющей стриминговым сервисом такого масштаба — это все-таки существенный шаг (не на пару месяцев работы и объемы данных достаточно существенные могут быть):

                      We rely on the cloud for all of our scalable computing and storage needs — our business logic, distributed databases and big data processing/analytics, recommendations, transcoding, and hundreds of other functions that make up the Netflix application
                      • +2
                        Кажется, что перенос бизнес-логики, управляющей стриминговым сервисом такого масштаба — это все-таки существенный шаг (не на пару месяцев работы и объемы данных достаточно существенные могут быть):

                        Как мне кажется, основная причина переноса бизнес-логики в AWS — это сетевая задержка. Т.е. стримить потоковое видео вы можете из единственного дата-центра, но если вы будете авторизовать пользователей по всему миру в единственном дата-центре, то из-за сетевой задержки и особенности работы TCP (установление соединений и так далее) все задачи авторизации/поиска контента и так далее у пользователя будут «тормозить». Уверен, что как только бизнес-логика станет достаточно большой задачей, нетфликс все же соберется и организует свои собственные дата-центры по миру. Во-первых, это будет дешевле, ну а во-вторых, достаточно странно платить деньги за какие-то услуги своему прямому конкуренту (Amazon имеет свой собственный видео-сервис).
                        • 0
                          Как раз для уменьшения сетевых задержек и экономии на CDN они ставят коробки провайдерам, а остальная нагрузка там динамическая и её выгодно покупать в облаке по мере надобности.
              • 0
                Решил поискать информацию по Uber. И оказалось, что они также ни на какие облака не переезжают, а предпочитают строить собственные и покупать дата-центры у Майкрософта:
                www.datacenterdynamics.com/content-tracks/design-build/microsoft-sells-data-center-to-uber/94260.fullarticle

                Ну и пока искал информацию по стартапам в облаках, нашел статью с кричащим названием: «WHY SOME STARTUPS SAY THE CLOUD IS A WASTE OF MONEY».
                www.wired.com/2013/08/memsql-and-amazon

                Frenkiel estimates that, had the company stuck with Amazon, it would have spent about $900,000 over the next three years. But with physical servers, the cost will be closer to $200,000. «The hardware will pay for itself in about four months,» he says.


                Общий вывод — если ваш стартап завтра может загнуться, то покупайте облака. Если планируете работать долго, то только свое железо, только хардкор.
                • 0
                  Кажется, вы сами себе противоречите (ссылка на ваш пост):

                  Подавляющее большинство ИТ-инфраструктур малого бизнеса, с которыми мне пришлось сталкиваться, имеют один существенный недостаток – они не масштабируемы. Нет, нет, проблема не в том, что к имеющимся в настоящий момент 50-ти компьютерам вы не можете подключить 51-й. Проблема в том, что заложенная изначально архитектура создает с ростом бизнеса непропорционально больше проблем и затрат, нежели приносит пользы.
                  • +1
                    Никакого противоречия с моей статьей нет. Масштабируемость — это возможность системы справляться с возрастающей нагрузкой исключительно за счет добавления аппаратных ресурсов. В моей статье описаны причины по которым в малом бизнесе масштабировать заложенную изначально инфраструктуру не получается и одна из таких причин (пункт 9 в статье) это как раз использование облачных сервисов.
                • 0
                  Решение о переходе в облака или использовании собственных решений нужно принимать не на основании эмоций или «одна фирма сказала», а на основании калькулятора. Это же бизнес, или не бизнес? Поэтому калькулятор — самый главный советчик. Причем считать надо время владения за разумный период времени, а не сравнивать только первый год.
                  Плюс к этому практически все облачные сервисы перед покупкой как О.Бендер «разворачивают перед нами широкие горизонты и окрашивают их в голубой и розовый цвета». А потом, когда контракт подписан на год или более, часто оказывается, что документация даже не соответствует действительности — знаем, сталкивались. И если даже калькулятор дает добро, то лучше всего стартовать с пилотного проекта и посмотреть, как хороши или не очень их сервисы и API для твоего проекта.

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое
                Интересные публикации