Компания
63,50
рейтинг
18 декабря 2012 в 15:45

Разработка → AWS: Копии образов EBS

Привет! image

С сегодняшнего дня можно копировать EBS Snapshot'ы в другие регионы. Это отличная и удобная функция, которая позволяет клонировать ваши сервисы и данные в разные регионы родными способами!

В меню снапшотов появилась опция Copy Snapshot:
image

В этом меню можно выбрать регион, куда нужно повезти этот снапшот.
image

Выбрав другой регион нажимаем Yes, Copy. И видим в выбранном регионе:
image

Восьмигигабайтный снапшот в примере залился из US-EAST-1 в EU-WEST-1 (С. Вирджиния, США — Ирландия) за 3 минуты. Скорости, в общем, хорошие.

Так же в последней версии EC2 API TOOLS 1.6.6.0 появилаcь функция ec2-copy-snapshot. С её помощью тоже легко автоматизировать этот процесс.

Копирование образов EBS значительно упростит процедуру DR в другой регион AWS. Для меня — архитектора решений для AWS — эта функция как манна небесная. Спасибо, AWS!

UPD: Забыл отметить, что цена перевоза считается в обычный трафик. Как всегда в стоимость входит только исходящий по цене региона. Входящий — бесплатно.
Автор: @korjik
EPAM
рейтинг 63,50

Комментарии (37)

  • +3
    Долгожданная опция
  • +1
    Скорость порадовала. При такой скорости снапшоты в лругих регионах можно не хранить.
  • +1
    Круто! Вы, прям, настоящие популяризаторы AWS, больше вас о них, наверное, никто не пишет) Скажите, Amazon вам доплачивает?)) Спасибо! Продолжайте в том же духе!
    • +1
      Мы партнёры с AWS. А я — архитектор. Сам много интересуюсь и вот популяризирую.
      • +1
        тогда вопрос такой — почему Вы написали что скорость хорошая и выделили это?
        8GB * 1024 = 8192MB * 8 = 65536Mb / 3 (min) = 21845 (Mbpm) / 60 (sec) = 364Mbps — Я бы не сказал что это волшебно…
        Для сравнения Я использовал хороший ДЦ в EU — скорость копирования между ДЦ была где-то 2100Mbps, причем трафик без тарификации через их точку обмена трафиком.
        P.S. от Amazon ожидал больше — хотя например IOPS дисковой подсистемы уже давно разочаровал, и кстати в Ирландию лучше не копировать — там ДЦ стоит в «молниеопасном» и «волшебном для жестких дисков» месте :)
        • +1
          Вы тоже копировали из Штатов в Европу?
          • +1
            Так и автор пишет о «US-EAST-1 в EU-WEST-1»
          • +1
            Я копировал между ДЦ — Чехия Нидерланды и Румыния Нидерланды, технически можно скопировать и в США (у хостера и там есть сервера), но из-за «драконовского» законодательства там не держу сервера.
            (возможно Я не совсем полно пояснил — но 2100Mbps это НЕ у Amazon а у другого хостера)
            • +1
              А чем законодательство отпугивает, если не секрет?
              Плата за перерасход электроэнергии?
              • +1
                1) DMCA — очень сильно будет напрягать, в EU все намного проще, там только 3 организации которые реально могут достать и как правило получить от них абузу крайне сложно (трансляция платного цифрового вещания спортивных событий, концертов и т.д.)
                2) Если сайт является финансовой организацией — то есть вероятность получить перманентный бан за финансовую деятельность без лицензии… (да — комиссия по ценным бумагам хуже копирастов)
                3) Есть требования об обязательной идентификации конечного заказчика услуги (хотя не все его соблюдают) — т.е. хостер будет требовать выслать сканы и требовать верификации (кстати Amazon это и так делает)
                4) За «Ответный удар» по атакующим (если DDoS или SPAM центр) могут выключить сервер
                … остальное в личку если интересует…
                и естественно стоимость трафика в USA выше чем в EU примерно в 2-2.5 раза
                • +1
                  Спасибо большое за развернутый ответ!
            • +1
              Так ведь в том то и дело, что маршруты «Чехия Нидерланды и Румыния Нидерланды», ну очень сильно отличается от «US-EAST-1 в EU-WEST-1 (С. Вирджиния, США — Ирландия)» :)
              • +1
                если korjik не против — то может-быть проведет тест на копирование US East US West для примера…
                • +2
                  $ ec2-copy-snapshot  -s snap-c5db6db1 -r us-east-1 --region us-west-2
                  SNAPSHOT	snap-a5e7c983
                  
                  $ ec2-describe-snapshots --region us-west-2 snap-a5e7c983
                  SNAPSHOT	snap-a5e7c983	vol-f84c4a80	completed	2012-12-18T20:01:50+0000	100%	273530516661	100	[Copied snap-c5db6db1 from us-east-1]
                  


                  Итак, как видим, снапшот размером 100ГБ был скопирован из Вирджинии в Орегон.
                  На копирование было потрачено 7 минут 30 секунд = 450 секунд.

                  1024*100*8/450 = 1820.4 Mbps. Вполне замечательная скорость, не находите? Ранее этой опиции не было совсем. Сейчас с хорошей скоростью можно вылить ваши данные в другой регион.

                  С архитектурной точки зрения DR планы поменяются кардинально в лучшую и более лёгкую сторону. А предстоящая фича с копированием AMI вообще порвёт всех.
  • +1
    Ура товарищи!
  • +1
    Прекрасно. Им бы еще сделать, что бы АМИ мигрировать могли и будет очень хорошее подспорье для отказоустойчивости, а конкретно для случая — метеорит в регион) Но, и на основе этого можно вполне держать «холодную» инфраструктуру в другом регионе.
    • 0
      Эта опция сейчас в статусе Coming Soon. Следите за блогом, я сразу про это напишу!
  • +2
    Они бы ещё научились эти снапшоты делать без убийства write performance.

    Покупаем дорогой piops диск на 1000 «гарантированных» iops, останавливаем базу, делаем снапшот, запускаем базу, получаем 20 wiops и соответственно падение высоконагруженного бэкэнда.

    «Also, a volume's I/O performance may become degraded temporarily due to an action you have taken (e.g., creating a snapshot of a volume during peak usage, running the volume on a non-EBS-optimized instance, accessing data on the volume for the first time).»
    docs.amazonwebservices.com/AmazonCloudWatch/latest/DeveloperGuide/CW_Support_For_AWS.html#ebs-metricscollected

    «May become degraded temporarily» как-то не вяжется c " Provisioned IOPS volumes are designed to deliver within 10% of the provisioned IOPS performance 99.9% of the time".

    В общем aws — нехорошие люди.
    • +1
      Эту проблему Я в свое время решал — в конце концов было сделано решение на базе Xen PVM + виртуальная файловая система (NFS-like) в качестве рут раздела (загрузка по PXE) — хотя решение вышло и костыльное, но зато проблем при записи нету — т.к. идет переключение контекста виртуальной ФС и новое состояние пишется отдельным разделом, после снапшота идет коммит изменений и возврат.
  • 0
    Сегодня получил от Амазона эту новость, порадовался) Упростит поднятие приложений в случае проблем в AZ. Кстати для России, вторая зона с наименьшим пингом это US-EAST. Проверить можно тут www.cloudping.info/
    • 0
      А Ирландия не ближе?
      image
      • 0
        Ирландия, то понятно. Но вот после Ирландии вторая зона не так очевидно какая ближе.
  • +1
    как ее мне не хватало неделю назад… =(
    • 0
      Как я вас понимаю. В больших проектах мне всегда её не хватает.
  • +1
    Перелил 100GB тоже из US-EAST-1 в EU-WEST-1 (С. Вирджиния, США — Ирландия) 30 — 35 минут.
    • 0
      Отлично, правда?
      • +1
        Да, столько данных если по scp или rsync то гораздо дольше будет. Кстати, а трафик за это счастье считается ли, и если да то как?
        • 0
          Да, забыл упомянуть о том, что трафик считается как обычно. Только исходящий из региона по обычной цене. Входящий не стоит ничего.
        • +1
          По TCP/IP можно тоже получить хорошую скорость, если использовать, например торрент. Скорее всего они именно торрент и используют.
        • +2
          Если Вы для копирования используете SCP то мне Вас жаль — это неэффективно.
          Рекомендую Вам использовать tar + стриминг в сырой TCP — очень помогает при копировании больших данных.
          (к сожалению про rsync ничего не могу сказать — лично не использовал)
          • +1
            В курсе, но спасибо:)
          • +1
            и что потом делать после сырого tcp?
            сверять суммы тарболлов на много сотен гигабайт?
            • +1
              Сырой TCP позволяет сделать прямой канал (условно pipe) между серверами без лишнего кодирования байт.
              Естественно проверка будет идти в 2 этапа:
              1) контрольный суммы в самом протоколе TCP/IP
              2) SHA512/SHA1/MD5 для архива
              Если Вы НЕ проверяете контрольные суммы бэкапов перед разворачиванием — то Вы или (1) очень смелый (и не боитесь лишних проблем из-за этого) или (2) очень глупый (если не делаете элементарные проверки)
              • 0
                Дельное замечание. Но теперь на AWS уже всё проще = )
              • +1
                благодарю за мою краткую характеристику.
                вынужден огорчить, я такой херней не занимаюсь.
                • +1
                  Смотрите про приставку «Если» — это важная часть предложения ;)
  • +1
    Эту функцию, да пару бы месяцев назад. Отличная новость!

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Самое читаемое Разработка