Предистория:
Однажды мне пришла мысль проверить эффективность таких инструментов как distcc и ccache. Использовались они уже давно, но в голове все еще крутилась мысль о целесообразности этого всего. И вот наконец руки дошли проверить на практике, сразу предупреждаю что все делалось для себя, в реальных условиях, и результаты ваших тестов могут не совпадать с приведенными ниже. Рассмотрим установку и настройку этих компонентов, а затем проведем тестирование скорости сборки с помощью команды time.
Теория:
Для начала определимся что это такое и для чего может пригодится. Хотя если вы это читаете, то наверно уже понимаете для чего применяются эти инструменты.
Пару слов о Distcc из википедии.
Distcc (от англ. distributed C/C++/ObjC compiler) — инструмент, позволяющий компилировать исходные коды при помощи компиляторов C/C++/ObjC на удалённых машинах, что позволяет ускорить процесс компиляции.Состоит из двух основных частей — серверной (distccd) и клиентской (distcc).
Ccache (от англ. compiler cache; произносится «сикэш») — кэш компиляторов языка С и С++ для Linux и других Unix-подобных систем.
Использование ссache может значительно ускорить сборку некоторых пакетов или проектов, которые компилируются несколько раз, так как заново компилироваться будут только файлы, которые изменились с последней компиляции.
Что будем делать?
- Установим и настроим distcc и ccache.
- Проверим на сколько эффективно работают эти механизмы вместе, и по отдельности.
Имеется следующая инфраструктура: сеть 100 Mib/s, со следующими машинами:
| Клиент distcc |
Сервер distcc |
Сервер distcc | Сервер distcc | |
| Процессор |
Intel Pentium Dual E2160 1.80GHz |
Intel Xeon 3.20GHz |
Intel Pentium D CPU 3.00GHz |
Intel Pentium 4 CPU 3.00GHz |
| Память |
1 GB |
1 GB | 1 GB | 1 GB |
| GCC |
4.4.5 |
4.4.5 | 4.4.5 | 4.4.5 |
| ОС |
gentoo x86 |
gentoo x86 | debian 5.0.7 x86 |
debian 5.0.7 x86 |
Как видно машины довольно слабые, но со своими задачами справляются, на момент проведения тестов, все сторонние сервисы были отключены. Также, как можно было заметить, на всех машинах установлена одна версия GCC (рекомендуется использовать одинаковые версии, допускается различие в последней цифре версии 4.4.*) однако ранее на некоторых машинах также использовался GCC 4.4.3 и все прекрасно работало.
Установка и настройка:
Для начала необходимо установить и настроить наши инструменты.
Gentoo
Процесс установки distcc и ccache подробно описан в руководстве, я лишь кратко пройдусь по основным этапами, покажу некоторые нюансы.
Устанавливаем distcc:
emerge -avt distccCмотрим на USE флаги, что нам надо оставляем, что не надо убираем и начинаем установку.
После того как distcc соберется и установится, параметры демона distccd будут находится в файле /etc/conf.d/distccd, список используемых хостов в /etc/distcc/hosts. В /etc/conf.d/distccd необходимо внести изменения в параметры сервера distccd.
Добавим возможность ведения логов, необходимо для отладки, в дальнейшем можно отключить:
DISTCCD_OPTS="${DISTCCD_OPTS} --log-file /var/log/distcc.log --log-level info "Определим список хостов (сетей) чьи запросы мы будем обрабатывать:
DISTCCD_OPTS="${DISTCCD_OPTS} --allow 192.168.0.0/24"Укажем интерфейс и порт на котором будет запущен демон:
DISTCCD_OPTS="${DISTCCD_OPTS} --listen 192.168.0.174"Также есть возможность указать с каким приоритетом будет запущен сервис, это значение необходимо выставлять строго индивидуально, по умолчанию его значение 15:
DISTCCD_OPTS="${DISTCCD_OPTS} -N 15"Необходимо сказать системе что можно использовать distcc, добавим в make.conf:
FEATURES="distcc"И определим директорию для временных файлов distcc:
DISTCC_DIR="/tmp/.distcc"Для тех кому не жалко памяти и хочется увеличить производительность, можно вынести каталог временных файлов на tmpfs (файловая система организовывается в виртуальной памяти (RAM+swap). Подходит для хранения временных файлов.)
mount -t tmpfs tmpfs -o size=850M /tmp/В случае переполнения tmpfs данные будут писаться в swap что может негативно сказаться на производительности других программ.
Для постоянного использования добавим эту строчку в /etc/fstab:
tmpfs /tmp tmpfs size=850M,mode=0777 0 0Далее необходимо запустить сам сервис:
/etc/init.d/distccd startИ также можно добавить его в автозагрузку:
rc-update add distccd defaultНапомню эти изменения мы вносили для серверной части distcc.
Теперь посмотрим что надо сделать на стороне клиента. Тут все просто, нам необходимо добавить список хостов, которые выступают в качестве серверов distcc, в файл /etc/distcc/hosts в одну строчку через пробел (указывать можно как имена машин так и их ip адреса). Перечисление машин рекомендуется начинать в порядке уменьшения мощности. Клиент может являться сервером, и наоборот.
Устанавливаем ccache по руководству
emerge -avt ccacheCмотрим на USE флаги, что нам надо оставляем, что не надо убираем и начинаем установку.
После того как ccache соберется и установится, внесем изменения в /etc/make.conf.Скажем системе что необходимо использовать ccache:
FEATURES="distcc ccache "Установим размер кэша:
CCACHE_SIZE="2G"Определим место в котором будет находится кэш:
CCACHE_DIR="/var/tmp/ccache" Деррикторию с кэшем также можно хранить в tmpfs:
mount -t tmpfs tmpfs -o size=2G /var/tmp/ccacheили прописать в fstab:
tmpfs /var/tmp/ccache tmpfs size=2G,mode=0777 0 0Однако в случае перезагрузки системы все данные в tmpfs будут утеряны, что сведет к нулю все наработки ccache.
Debian
Устанавливаем distcc. Так как клиентом будет машина с gentoo на борту, то на машинах с ОС Debian придется кое-что подправить.
Установим distcc и ccache:
apt-get install distcc
apt-get install ccache Параметры демона distccd находятся в файле /etc/default/distcc, список используемых хостов находится в /etc/distcc/hosts.
Внесем изменения в /etc/default/distcc. Включаем запуск демона при загрузке машины:
STARTDISTCC="true" Указываем подсеть с которой слушаем запросы:
ALLOWEDNETS="192.168.3.0/24" Указываем адрес на котором сервис будет слушать порт:
LISTENER="192.168.3.103" Приоритет с которым будет работать запущенные процесс:
NICE="15" Включить или обнаружение через mDNS/DNS-SD
ZEROCONF="false"Значения в /etc/distcc/hosts заполняем также как на gentoo по необходимости (у меня debian используется только в качестве сервера distcc).
Теперь нам необходимо добавить символьную ссылку на используемую версию gcc, ссылка должна иметь имя исполняемого файла на клиенте (i686-pc-linux-gnu-c++):
cd /usr/bin/
ln -s ./g++-4.4 ./i686-pc-linux-gnu-c++
ln -s ./cpp-4.4 ./i686-pc-linux-gnu-cpp
ln -s ./gcc-4.4 ./i686-pc-linux-gnu-gcc
ln -s ./g++-4.4 ./i686-pc-linux-gnu-g++ Запустим сервер distcc:
/etc/init.d/distccd startСледует пояснить что ссылки вроде i686-pc-linux-gnu-c++, следует создать, так как в клиентской системе (gentoo) при компиляции запускается жесткая ссылка с таким названием, которая также является gcc-4.4.
Также для достижения лучших результатов, я разместил каталог сборки для временных файлов в файловой системе tmpfs.
Тестирование
Теперь попробуем проверить эффективность на примерах. Для чистоты эксперимента сборка проводилась 3 раза. Собирать будем mplayer, просто первый под руку попался. Тестирование будем проводить с использованием утилиты time, которая на выходе дает следующие показатели:
user — общее количество секунд времени CPU, которое процесс провел в режиме пользователя.
sys — общее количество секунд времени CPU, которое процесс провел в режиме ядра.
real — фактически затраченное время (в секундах).
1 Сборка mplayer на локальном хосте без использования distcc и ccache (-distcc -ccache) с параметром -j2
time MAKEOPTS="-j2" FEATURES="-distcc -ccache" emerge -vt mplayer| 1 | 2 | 3 |
|---|---|---|
| real 3m56.979s user 6m11.729s sys 0m44.551s |
real 3m55.825s user 6m12.151s sys 0m43.660s |
real 3m55.745s user 6m12.351s sys 0m43.671s |
2 Сборка mplayer на локальном хосте без использования distcc и ccache (-distcc -ccache) с параметром -j3
time MAKEOPTS="-j3" FEATURES="-distcc -ccache" emerge -vt mplayer| 1 | 2 | 3 |
|---|---|---|
| real 3m57.662s user 6m15.214s sys 0m43.392s |
real 3m58.108s user 6m14.779s sys 0m43.656s |
real 3m57.901s user 6m14.894s sys 0m43.464s |
3 Сборка mplayer на локальном хосте без использования distcc, но с включенным ccache (-distcc ccache) с параметром -j2
time MAKEOPTS="-j2" FEATURES="-distcc ccache" emerge -vt mplayer| 1 | 2 | 3 |
|---|---|---|
| real 4m14.438s user 6m28.199s sys 1m0.705s |
real 0m58.587s user 0m39.101s sys 0m25.706s |
real 0m57.901s user 0m38.940s sys 0m25.564s |
4 Сборка mplayer на локальном хосте с использованием distcc, но без ccache (distcc -ccache) с параметром -j10
time MAKEOPTS="-j10" FEATURES="distcc -ccache" emerge -vt mplayer| 1 | 2 | 3 |
|---|---|---|
| real 2m26.516s user 1m6.692s sys 0m34.821s |
real 2m27.065s user 1m6.643s sys 0m34.856s |
real 2m26.965s user 1m6.593s sys 0m34.569s |
5 Сборка mplayer на локальном хосте с использованием distcc и ccache (distcc ccache) с параметром -j10
time MAKEOPTS="-j10" FEATURES="distcc ccache" emerge -vt mplayer| 1 | 2 | 3 |
|---|---|---|
| real 2m28.590s user 1m16.117s sys 0m45.723s |
real 0m57.456s user 0m39.892s sys 0m24.781s |
real 0m57.411s user 0m39.947s sys 0m24.692s |
Решил попробовать что-нибудь по тяжелее, ну например chromium
5 Собираем сначала на локальной машине без distcc и ccache.
time MAKEOPTS="-j2" FEATURES="-distcc -ccache" emerge -vt chromium| 1 | 2 | 3 |
|---|---|---|
| real 67m30.435s user 116m58.378s sys 11m57.523s |
real 66m50.345s user 115m48.389s sys 11m59.223s |
real 67m45.165s user 116m59.548s sys 11m57.530s |
6 Попробуем собрать с использованием distcc (distcc -ccache)
time MAKEOPTS="-j10" FEATURES="distcc -ccache" emerge -vt chromium| 1 | 2 | 3 |
|---|---|---|
| real 36m25.392s user 16m2.063s sys 8m8.307s |
real 35m15.291s user 15m10.604s sys 7m4.378s |
real 35m22.390s user 15m1.423s sys 7m5.156s |
7 Уже лучше, теперь попробуем тоже самое, но с использованием distcc и ccache.
time MAKEOPTS="-j10" FEATURES="distcc ccache" emerge -vt chromium| 1 | 2 | 3 |
|---|---|---|
| real 32m2.656s user 18m56.006s sys 10m57.023s |
real 17m22.228s user 18m1.757s sys 9m36.169s |
real 16m59.284s user 17m59.577s sys 8m35.679s |
Вывод:
Ну вот можно взглянуть на картину целиком, и подвести итог по результатам проведенных тестов. А вывод получается следующий: использование distcc примерно в два раза уменьшает время сборки, а в паре с ccache скорость увеличивается примерно в четыре раза. Лично для себя я решил что и дальше буду использовать данные инструменты.
