Тестируем новый тип бэкапа MySQL

1. Какой инструмент делает бэкап аналогично?
2. Это как бы тестовый скрипт, который проверяет концепцию. Или вы думаете сложно добавить запрос который делает запрос в MySQL для получение списка таблиц и других объектов? Тут основная фишка проверить насколько это быстро происходит. По сути он будет делать всё тоже, что и mysqldump только (те же запросы), только не будет приводить ответы сервера в текстовый вид. Что касается штатной восстанавливаемости, то да я писал об этом как об одном из недостатков, но тут уже нужно смотреть насколько плюсы метода будут превосходить этот недостаток.

Снепшоты это несколько другой тип бэкапа, это физический бэкап, а мой вариант это всё же логический, т.е. при восстановлении он заполняет базу обычными SQL запросами, кроме того есть возможность восстановление отдельных объектов из бэкапа, вплоть даже до отдельных строк таблицы (так как этот бэкап еще и значительно проще парсить, чем SQL-файл).

А Вы разве не делаете отдельно бекап данных и структуры?

Процедуры точно также бэкапятся, просто вызвать SHOW CREATE PROCEDURE слишком быстрая и простая операция, поэтому не добавлял в тестовый скрипт.

И что? К примеру описанные в презентации mydumper и Xtrabackup появились относительно недавно, да и сам mysqldump изначально написан сторонним разработчиком.

стандартная репликация позволяет выборочно реплицировать таблицы. вы можете сделать шардирование, пользуясь разными таблицами

И что там? Это же не готовый скрипт, а так сказать демонстратор технологии.

По сути этот метод точно такой же как mysqldump, отправляет в MySQL те же самые запросы. Так что в этом плане он от mysqldump ничем не отличается. Основное отличие в том как он сохраняет результат выполнения этих запросов.

В случае mysqldump происходит следующее:

1. mysqldump с помощью libmysql делает SELECT * FROM table (используется команда COM_QUERY);
2. сервер отвечает, сначала приходит описание столбцов, потом пакет EOF, а дальше идут уже сами данные в текстовом протоколе, т.е. в каждом пакете одна строка, сами поля в виде LengthEncodedString (для каждого поля сначала указывается размер), также числа из бинарного вида переводятся в текстовый;
3. libmysql разбирает каждый пакет и отдает в mysqldump уже строку в виде массива полей
4. mysqldump в зависимости от типа экранирует каждое поле и оформляет каждую строку в виде SQL запроса (в минимальном виде, это заключение в скобки с разделителем запятой)
5. ну и после этого уже запись в файл
6. повторяем пункт 3

В таком варианте на этот самый разбор пакетов, экранирование и оформление в виде SQL уходит довольно много времени.

В предложенном мной варианте предлагается эти самые разбор пакетов, экранирование и оформление в виде SQL убрать на этап восстановления.

Получается так:

1. делаем запрос SELECT * FROM table напрямую к серверу, при этом используем не COM_QUERY, а COM_STMT_PREPARE и COM_STMT_EXECUTE (этот вариант быстрее);
2. разбираем описание столбцов, а сами данные уже приходят в ProtocolBinary::ResultsetRow (в таком виде цифры не преобразуются к тестовому виду, а также NULL поля в виде битовой карты передаются), в общем это быстрее и компактнее;
3. пишем пакеты полученные из сокета сразу в файл, без малейших преобразований, до тех пор пока не увидим EOF пакет