Как наводнение в Таиланде в 2011 году помогло Amazon Web Services переосмыслить свою работу и создать «облачный чемоданчик»



    Облаков в Таиланде довольно много, и это не фигуральное выражение — здесь действительно часто идут дожди, особенно в сезон муссонов. Наиболее активно природа проявила себя в 2011 году, когда в Таиланде случилось масштабное наводнение, вызванное непрекращающимися в течение долгого времени ливнями. На Таиланде, как известно, много фабрик по производству жестких дисков и накопителей иных типов — и как раз эти фабрики, в большинстве, и были затоплены в 2011 году. Тогда цены на жесткие диски повысились, цепи поставок винчестеров тем, кто в них нуждается, были нарушены.

    Облачное подразделе компании Amazon прочувствовало на себе влияние стихии больше, чем многие другие компании. Так, дата-центры Amazon Web Services на некоторое время остались без необходимого оборудования, что привело к некоторыми проблемам в работе AWS. Обо всем этом на недавнем мероприятии «re:Invent» рассказал вице-президент AWS по инфраструктуре Джерри Хантер.



    Также он добавил, что наводнение в Таиланде стало звонком к пробуждению. Он и некоторые другие высокопоставленные менеджеры компании прибыли в 2011 году в Таиланд, чтобы решить проблемы с поставками. Но они поняли, что здесь ничего не поделаешь, после того, как увидели проблемные фабрики — пример можно посмотреть на анонсной фотографии. Компании пришлось заново переосмыслить всю сеть поставок оборудования для своих дата-центров. Облачное хранилище Amazon S3 — один из наиболее крупных потребителей сетевого оборудования.

    Во время кризиса 2011 года S3 хранил около 750 миллиардов объектов (сейчас это количество значительно превышает триллион). Другие провайдеры облачных услуг также столкнулись с аналогичными проблемами. Сильное влияние на провайдеров облачных услуг оказал и рост цен на жесткие диски, поскольку понадобилось целых два года, чтобы цены снизились до докризисного уровня.

    Сейчас, по словам Хантера, Amazon контролирует практически всю цепь поставок сетевого оборудования.

    Snowball: Big Data в чемоданчике


    На том же мероприятии Amazon Web Services представило интересное решение для скоростной передачи данных, которое может рассматриваться, в том числе, и как инструмент, решающий проблему связи клиента с AWS в том случае, если канал связи по какой-либо причине нормально не функционирует. Snowball — портативное хранилище данных с доступным объемом от 50 до 100 ТБ. Это решение может пригодиться клиенту AWS и в том случае, если канал связи работает нормально, но медленно. По подсчетам специалистов AWS, если клиенту с каналом связи в 100 Мбит/сек понадобится передать в ДЦ AWS 100 ТБ данных, то передача будет идти 100 дней. А «облачный чемоданчик» позволяет передать все эти данные гораздо быстрее — понадобится столько времени, за сколько автомобиль или самолет преодолеет расстояние от клиента до дата-центра AWS.

    Здесь можно вспомнить поговорку вроде «Никогда не недооценивайте пропускную способность грузовика, заполненного кассетами с архивными данными, едущего по шоссе».



    AWS доставляет Snowball прямо к клиенту, который подключает устройство к локальной сети, используя программные инструменты для шифрования данных, сохраняемых на портативное хранилище. Затем Snowball отправляется в AWS и загружается на сервера клиента.

    Одним из первых клиентов такого типа сервиса стал ресурс BuzzFeed, поставляющий новости и видео более, чем 200 миллионам уникальным посетителям в месяц. Сейчас у компании около 250 ТБ архивных данных, чего слишком много для хранения на обычных дисках, при этом передача такого объема данных даже по скоростному каналу займет слишком много времени. А так перенос архивных данных BuzzFeed в дата-центр AWS занял меньше недели.
    ua-hosting.company 167,38
    Хостинг-провайдер
    Поделиться публикацией
    Комментарии 11
    • +3
      Snowball очень пригодится геологоразведке и подобным товарищам — они делают адову кучу данных, а каналы обычно спутниковые, потому что места не самые обжитые. Поэтому приходится возить контейнерные ЦОДы до места, что им не очень нравится ради одного большого расчёта.
      • +1
        Ну, по поводу Snowball — жесткие сроки возврата, там пеня начинает тикать, если «чемоданчик» задерживаешь у себя, поэтому пока не ясно, будет ли Amazon делать Snowball для продажи или длительного использования.
        • +1
          Есть много случаев, где данные сначала собираются, потом их надо как-то добросить до основных серверов, а потом медленно и кайфно синхронизировать небольшие изменения. Это вот оно. Задерживать чемодан не надо, надо дождаться основного объёма, записать и отправить. А дальше изображать асинхронную репликацию с дедупликацией.
          • 0
            Вот только если прозевать зимник, и ждать вертолета раз в месяц, то чемодан тогда точно вернуть в срок не успеется. Вот и отличная идея для стартапа, хотя наверняка подобные решения уже есть.
            • 0
              Тут вон рядом писали, есть вторая проблема. Вертолёт взлетел — спутниковая антенна повернулась ветром. Нужно звать новый вертолёт чинить.
      • 0
        100Gb в чемодане? Джонни-мнемоник смеется над Амазоном =)
        • +8
          I have bad news for you...

          Snowball — портативное хранилище данных с доступным объемом от 50 до 100 ТБ


        • +4
          Owing me a lot of money. I had hundreds of megabytes stashed in my head
          (lib)
          Как-бы много меньше!
        • 0
          Радио Т значит слушаете?)

          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

          Самое читаемое