Однажды появилась такая необходимость обновить версии темплейтов OpenVZ загруженных в кэш Proxmox'а.
Задача в общем-то простая и тривиальная. Всего то и необходимо, это скачать новый темплейт и заменить им старый. Но в глобальном плане задача мне виделась шире, а именно периодически проверять обновления и загружать по необходимости новые версии темплейтов. То есть постоянно поддерживать их в актуальном состоянии.
Желание вполне естественное и понятное. И было бы глупо выполнять эти рутинные и простые операции каждый раз вручную, а по сему, решение вопроса напрашивалось само собой: сделать некий скрипт, который сам будет всё это делать, в то время как админ будет отдыхать и лишь время от времени проверять работает ли обновление.
Итак, есть желание и пора приступать к его осуществлению. Для начала решим, что же конкретно должен делать наш скрипт.
1. Время от времени, через определённые промежутки, скрипт должен запускаться.
2. Подключаться к серверу на котором лежат официальные обновлённые темплейты OpenVZ.
3. Сравнивать темплейты, которые есть на сервере с теми, которые загружены в кэш.
4. Загружать новый темплейт (если он есть), и заменять им старый в том случае, если версия на сервере отличается от локальной.
5. Вести лог того что загружено, а что нет, и когда загружено (обновлено).
Вот собственно и всё.
Для написания скрипта мной был выбран старый и надёжный Perl, по причине моей давней с ним дружбы, а так же потому что для этого языка уже написано огромное количество готовых модулей на все случаи жизни для выполнения системных задач и не только.
Пропускаем первый пункт задания, о нём будет написано в самом конце, когда скрипт уже будет готов к работе. Тем более что это задача не относящаяся к самому скрипту и выполняться будет сторонними средствами, а именно, всю ответственность за своевременный запуск нашего скрипта мы возложим на Cron. Это его задача и обязаннось всё планировать и запускать. Мы же двинемся дальше и вернёмся к вопросу планирования позже.
В качестве источника темплейтов будем использовать официальный FTP сервер openvz.org, а для подключения к нему средствами Perl воспользуемся стандартным модулем Net::FTP.
Далее следует описание самого скрипта с пояснениями.
Для начала подключаем модули.
Теперь объявим необходимые нам переменные, с которыми будет работать скрипт. По сути это константы, которые не будут меняться в ходе выполнения скрипта.
Как можно догадаться из имени log-файла, сам скрипт называется ovzupdate. Расширение .pl необязательно, достаточно того, что первой строкой скрипта указан интерпретатор, который обработает этот файл.
Итак, продолжим…
И наконец-то мы добрались до настоящей работы и подошли к тому, для чего собственно и создавался сам скрипт. Подключаемся к FTP серверу openvz.org.
Теперь объявим переменную, в которой будет храниться список (массив) имён локальных темплейтов и открываем локальную директорию (кэш Proxmox'а) в которой хранятся уже загруженные темплейты для проверки актуальности файлов.
А теперь собственно прописываем сам цикл сравнения файлов. Надо сказать, что мы не будем обновлять и качать все файлы с FTP без разбора, а будем выбирать только те, которые уже находятся в нашем локальном кэше и будем сравнивать их по размеру с файлами на ftp-сервере. Если размер файла в локальном кэше будет отличаться от размера файла с таким же именем на удалённом сервере, то файл в кэше будет удалён, а на его место загружен новый файл с FTP.
Закрываем директорию, ftp-соединение и стандартный поток вывода.
Ну вот, практически и всё. Сам скрипт содержит три дополнительных функции, которые выполняют всего лишь вспомогательную роль и к сути вопроса не относятся. Готовый скрипт можно посмотреть тут.
А теперь, как и обещал, вернёмся к пункту номер один. Скрипт можно положить на сервере Proxmox'а в любое удобное место. И остаётся только прописать его в crontab, чтобы он запускался на выполнение через нужный период времени. Периодичность выбирайте сами, но думаю что нет необходимости запускать его чаще раза в неделю.
Чтобы добавить задание обновления, зайдем в режим редактирования заданий crontab.
И последней добавляем строку, которая и будет выполнять наш скрипт обновления в определённое время и день. Для примера, в приведённой ниже строке указано, что скрипт будет выполняться каждый четверг в три часа ночи.
2>/dev/null — перенаправляет вывод потока STDERR в «чёрную дыру» нигде не сохраняя, но это уже на личное усмотрение, можно тоже сохранять в лог.
Сохраняем сделанные нами изменения и на этом всё, автоматическое обновление настроено. Теперь нам остаётся только время от времени проверять лог /var/log/ovzupdate.log, чтобы знать было или нет обновление. И когда это произойдёт, мы увидим что-то наподобие этого:
Удачного обновления!
Задача в общем-то простая и тривиальная. Всего то и необходимо, это скачать новый темплейт и заменить им старый. Но в глобальном плане задача мне виделась шире, а именно периодически проверять обновления и загружать по необходимости новые версии темплейтов. То есть постоянно поддерживать их в актуальном состоянии.
Желание вполне естественное и понятное. И было бы глупо выполнять эти рутинные и простые операции каждый раз вручную, а по сему, решение вопроса напрашивалось само собой: сделать некий скрипт, который сам будет всё это делать, в то время как админ будет отдыхать и лишь время от времени проверять работает ли обновление.
Итак, есть желание и пора приступать к его осуществлению. Для начала решим, что же конкретно должен делать наш скрипт.
Постановка задачи
1. Время от времени, через определённые промежутки, скрипт должен запускаться.
2. Подключаться к серверу на котором лежат официальные обновлённые темплейты OpenVZ.
3. Сравнивать темплейты, которые есть на сервере с теми, которые загружены в кэш.
4. Загружать новый темплейт (если он есть), и заменять им старый в том случае, если версия на сервере отличается от локальной.
5. Вести лог того что загружено, а что нет, и когда загружено (обновлено).
Вот собственно и всё.
Реализация
Для написания скрипта мной был выбран старый и надёжный Perl, по причине моей давней с ним дружбы, а так же потому что для этого языка уже написано огромное количество готовых модулей на все случаи жизни для выполнения системных задач и не только.
Пропускаем первый пункт задания, о нём будет написано в самом конце, когда скрипт уже будет готов к работе. Тем более что это задача не относящаяся к самому скрипту и выполняться будет сторонними средствами, а именно, всю ответственность за своевременный запуск нашего скрипта мы возложим на Cron. Это его задача и обязаннось всё планировать и запускать. Мы же двинемся дальше и вернёмся к вопросу планирования позже.
В качестве источника темплейтов будем использовать официальный FTP сервер openvz.org, а для подключения к нему средствами Perl воспользуемся стандартным модулем Net::FTP.
Далее следует описание самого скрипта с пояснениями.
Для начала подключаем модули.
#!/usr/bin/perl -w
use strict;
use Fcntl qw(:DEFAULT :flock);
use Net::FTP;
Теперь объявим необходимые нам переменные, с которыми будет работать скрипт. По сути это константы, которые не будут меняться в ходе выполнения скрипта.
# директория темлейтов OpenVZ на ноде Proxmox
my $vzdir = "/var/lib/vz/template/cache";
# Путь на FTP сервере, по которому нужно искать обновления
my $urldir = "ftp://ftp.openvz.org/template/precreated/";
# Директория в которой будет лежать log-файл с результатами выполнения скрипта
my $logdir ="/var/log/";
# Собственно сам log-файл, его имя
my $logfile = "ovzupdate.log";
Как можно догадаться из имени log-файла, сам скрипт называется ovzupdate. Расширение .pl необязательно, достаточно того, что первой строкой скрипта указан интерпретатор, который обработает этот файл.
Итак, продолжим…
# Открываем log-файл для записи
open(STDOUT, '>>',$logdir.$logfile) or die "Can't open file '$logfile' $!";
# Наводим красоту :) Чтобы всё выглядело прилично, а не выводилось как попало.
print "\n=========================\n".getdate()."\n=========================\n";
print gettime()." * Starting OpenVZ templates update\n";
И наконец-то мы добрались до настоящей работы и подошли к тому, для чего собственно и создавался сам скрипт. Подключаемся к FTP серверу openvz.org.
# Подключение к ftp-серверу
my $server_name = 'ftp.openvz.org';
my $ftp_username = 'anonymous';
my $ftp_password = '';
my $ftp_source_dir = '/template/precreated';
my $ftp = Net::FTP->new($server_name, Debug => 1);
$ftp->login($ftp_username,$ftp_password);
$ftp->cwd($ftp_source_dir);
$ftp->binary();
Теперь объявим переменную, в которой будет храниться список (массив) имён локальных темплейтов и открываем локальную директорию (кэш Proxmox'а) в которой хранятся уже загруженные темплейты для проверки актуальности файлов.
my $file;
opendir(DIR, $vzdir) or die "Can't open $vzdir: $!";
А теперь собственно прописываем сам цикл сравнения файлов. Надо сказать, что мы не будем обновлять и качать все файлы с FTP без разбора, а будем выбирать только те, которые уже находятся в нашем локальном кэше и будем сравнивать их по размеру с файлами на ftp-сервере. Если размер файла в локальном кэше будет отличаться от размера файла с таким же именем на удалённом сервере, то файл в кэше будет удалён, а на его место загружен новый файл с FTP.
# Заносим в переменную список файлов в директории кэша
while( defined ($file = readdir (DIR)) ) {
# Исключаем из списка обработку ссылок на директории находящиеся выше
if ($file ne "." and $file ne "..") {
# Определяем размер локального файла
my $local_file_size = -s $vzdir."/".$file;
# Определяем размер файла с таким же именем, находящегося в директории ftp-сервера
my $remote_file_size = $ftp->size($file);
# Здесь мы просто выводим в log размеры одного и другого файла
# В принципе, эти две строчки можно закоментировать,
# если не хотите перегружать лог лишней информацией
print gettime()." Удалённый файл: $file -> ",$remote_file_size,"\n";
print gettime()." Локальный файл: $file -> ",$local_file_size,"\n";
# Собственно сравнение размеров файлов
if ($local_file_size ne $remote_file_size) {
# Если размер не совпадает, удаляем локальный файл
unlink $vzdir."/".$file;
# и скачиваем актуальную версию файла темплейта
system ("wget -P ".$vzdir." ".$urldir.$file);
# Пишем в log отчёт о том, что файл обновлён
print gettime()." + Загрузка новой версии ".$file."\n";
}
else {
# Иначе, пишем в log что файл является актуальным
print gettime()." Версия ".$file." актуальна\n"
}
}
}
Закрываем директорию, ftp-соединение и стандартный поток вывода.
closedir(DIR);
$ftp->quit;
print gettime()." * Проверка обновлений окончена\n";
close STDOUT;
Ну вот, практически и всё. Сам скрипт содержит три дополнительных функции, которые выполняют всего лишь вспомогательную роль и к сути вопроса не относятся. Готовый скрипт можно посмотреть тут.
Завершение
А теперь, как и обещал, вернёмся к пункту номер один. Скрипт можно положить на сервере Proxmox'а в любое удобное место. И остаётся только прописать его в crontab, чтобы он запускался на выполнение через нужный период времени. Периодичность выбирайте сами, но думаю что нет необходимости запускать его чаще раза в неделю.
Чтобы добавить задание обновления, зайдем в режим редактирования заданий crontab.
crontab -e
И последней добавляем строку, которая и будет выполнять наш скрипт обновления в определённое время и день. Для примера, в приведённой ниже строке указано, что скрипт будет выполняться каждый четверг в три часа ночи.
0 3 * * 4 /root/bin/ovzupdate 2>/dev/null
2>/dev/null — перенаправляет вывод потока STDERR в «чёрную дыру» нигде не сохраняя, но это уже на личное усмотрение, можно тоже сохранять в лог.
Сохраняем сделанные нами изменения и на этом всё, автоматическое обновление настроено. Теперь нам остаётся только время от времени проверять лог /var/log/ovzupdate.log, чтобы знать было или нет обновление. И когда это произойдёт, мы увидим что-то наподобие этого:
=========================
12-03-2015
=========================
03:00:01 * Начало обновления OpenVZ templates
03:00:03 Удалённый файл: debian-7.0-x86_64.tar.gz -> 235043942
03:00:03 Локальный файл: debian-7.0-x86_64.tar.gz -> 235004350
03:01:52 + Загрузка новой версии debian-7.0-x86_64.tar.gz
03:01:52 Удалённый файл: ubuntu-12.04-x86_64.tar.gz -> 131011759
03:01:52 Локальный файл: ubuntu-12.04-x86_64.tar.gz -> 130987444
03:02:48 + Загрузка новой версии ubuntu-12.04-x86_64.tar.gz
03:02:48 Удалённый файл: scientific-6-x86_64.tar.gz -> 221101244
03:02:48 Локальный файл: scientific-6-x86_64.tar.gz -> 219898164
03:03:45 + Загрузка новой версии scientific-6-x86_64.tar.gz
03:03:45 Удалённый файл: centos-7-x86_64.tar.gz -> 211178690
03:03:45 Локальный файл: centos-7-x86_64.tar.gz -> 211139455
...
03:16:31 * Проверка обновлений окончена
Удачного обновления!