Pull to refresh
EPAM
Компания для карьерного и профессионального роста

AWS Data Pipeline — автоматизация работы с данными

Reading time1 min
Views5.2K
Привет! image

Сегодня Amazon Web Services выпустили новый сервис, который работает с другими сервисами, а именно может помочь в переносе данных между:
  • S3
  • MySQL RDS/Внешние MySQL серверы
  • DynamoDB

AWS Data Pipeline позволяет копировать, переносить данные из таблиц SQL и DynamoDB в S3 и наоборот.
image
image
По умолчанию Data Pipeline предоставляет несколько шаблонов:
  • Экспорт из DynamoDB в S3
  • Экспорт из S3 в DynamoDB
  • Копирование из S3 в RDS
  • Копирование из RDS в S3
  • Анализ файлов в S3
  • Миграция из не RDS MySQL в S3


Так же можно придумать много всяких других методов использования Data Pipeline.
image

Процесс легко настраивается с помощью графического интерфейса. Вы перетягиваете элементы, задаёте параметры и так далее.

В официальном блоге AWS появилась статья-пример настройки Data Pipeline.

Что приходит в голову при вопросе «Зачем?». С помощью Data Pipeline можно легко настроить бекапы. Причём даже бекапы с внешних серверов БД на S3, например.

Давайте поделимся идеями, как мы можем использовать эти механизмы. Может у вас есть вопросы о возможностях? Давайте искать ответы вместе!
Tags:
Hubs:
+8
Comments5

Articles

Change theme settings

Information

Website
www.epam.com
Registered
Founded
1993
Employees
over 10,000 employees
Location
США
Representative
vesyolkinaolga