Comments 29
1. Мультикаст убрать в любом случае.
2. Использовать gretap, скрестив, в зависимости от уровня паранойи, с IPsec.
...
<cman keyfile="/var/lib/pve-cluster/corosync.authkey" transport="udpu">
...
2. Использовать gretap, скрестив, в зависимости от уровня паранойи, с IPsec.
Да, про юникаст в документации я читал, но завести с ним тоже не получилось.
Вероятно проблема с cluster.conf на хостах кластера, хосты не знают про transport=«udpu» и нужно руками поправить конфиги особым способом
В случае с gretap — я так понимаю и мультикаст будет работать, если серые IP в одной подсетке назначать для всех нод?
Нашел статью, в которой подробно всё описано. Только не про gretap, а GRE-туннель. Надо будет попробовать.
corosync же умеет unicast-heartbeat
Увы, если адреса серверов в разных подсетях, то unicast не поможет. Вот, что говорят люди.
Там говорят не про юникаст и разные подсети (хотя… что вы подразумеваете когда говорите «подсеть»?), а про то, что если у вас очень сложная/с непредсказуемым поведением топология транспорта — вы не сможете этот транспорт использовать для надёжного управления кластером.
Ну и немного удивляет фраза — «настроить кластер, чтобы мигрировать нагруженные контейнеры на новый сервер»…
Вы только для переноса контейнеров поднимаете туннели и собираете кластер поверх них?
Вы только для переноса контейнеров поднимаете туннели и собираете кластер поверх них?
Туннели поднимаем, чтобы заработал кластер.
Кластер поднимаем, чтобы переносить контейнеры встроенными средствами Proxmox.
Что в этом удивительного?
Кластер поднимаем, чтобы переносить контейнеры встроенными средствами Proxmox.
Что в этом удивительного?
Забекапить средствами проксмокс, переписать хотя бы scp, а потом развернуть средствами проксмокс недостаточно? Тоннель-то зачем городить?
Даунтайм-то при таком переносе всё равно будет.
Даунтайм-то при таком переносе всё равно будет.
«Встроенные средства Proxmox» для переноса контейнеров — это веб интерфейс к vzdump/vzrestore.
Если вам всего лишь надо перенести конейнеры — openvz.org/Checkpointing_and_live_migration
Удивителен тот факт, что за время пока вы придумывали и тестировали способы поднятия кластера, можно было уже всё давно перенести… Очень у вас какой-то тернистый путь решения простейшей задачи.
Если вам всего лишь надо перенести конейнеры — openvz.org/Checkpointing_and_live_migration
Удивителен тот факт, что за время пока вы придумывали и тестировали способы поднятия кластера, можно было уже всё давно перенести… Очень у вас какой-то тернистый путь решения простейшей задачи.
Некоторые коммутаторы дропают мультикаст. У меня возникали проблемы c OSPF из-за этого. Проблема решается отключение IGMP Snooping в вилане по которому ходит служебный трафик.
Ну и в дополнение — частое кворумление приводит вот к такому ожирению у corosync:
график из zabbix
Что делать если упадёт OpenVPN сервер?
Смысл такого кластера когда есть Единая точка отказа.
Смысл такого кластера когда есть Единая точка отказа.
Проксмокс сам по себе глючит гораздо чаще, чем падает openvpn, так что подобный сбой будет в пределах погрешности
Сейчас у меня используется tinc для VPN. Настройка максимально проста. После этого я на openvpn смотрю с ужасом. А ведь я когда то OpenVPN пользовался.
Кстати, зря заминусовали человека. tincvpn и правда весьма интересный. У него минус основной один — он не кроссплатформенный (в настоящее время это означает что нет поддержки в Android, железе). Зато почти полноценный mesh. Также требует некоторой усидчивости при написании конфигов, ведь конфиги и ключи должны быть идентичны на всех членах сети. Решается разными способами: git, ansible, etc. или просто руками, особенно для случаев вроде «кластера» выше, всего два члена сети. Ну и доступные IP крайне желательны (что в серверах уже присутствует).
А еще из тинков можно сделать такой боооольшой бонд интерфейс ;)
А еще из тинков можно сделать такой боооольшой бонд интерфейс ;)
UP: уже есть неофф. программы и для андроида с ios! Еще бы к микротику прикрутить — но это фантастика.
да, жду реализации для микротика — мечта )))
В определенном смысле уже можно пользоваться на тех устройствах, куда можно OpenWRT установить (Tinc and OpenWRT). На микротики точно можно установить OpenWRT, например на 951G, 951Ui. Но, во-первых, непонятно будет ли tinc работать на mips, во-вторых, чистый ROS мне ближе. Думаю что нужно написать в Mikrotik и предложить рассмотреть такую возможность. Хотя бы в варианте сервер (к микротику) + клиент (микротик к одному-двум клиентам), т.е. получить небольшой сегмент. Чем черт не шутит! OpenVPN они так и не допилили, может tinc сделают!
100%
merlin-vrn
Уже заглючил и замочил свой же кластер. Хорошо конфиги в бекапах были.
При этом туннели работали.
К этому времени уже успели переключиться на туннели на GRE.
Так как openvpn вносил задержки, существенные для corosync (график чуть выше).
mobilesfinks, увы, единая точка отказа — сам proxmox.
Уже заглючил и замочил свой же кластер. Хорошо конфиги в бекапах были.
При этом туннели работали.
К этому времени уже успели переключиться на туннели на GRE.
Так как openvpn вносил задержки, существенные для corosync (график чуть выше).
mobilesfinks, увы, единая точка отказа — сам proxmox.
rm /etc/cluster/cluster.conf
rm -rf /var/lib/pve-cluster
rm -rf /var/lib/corosync
после этого не могу снова добавить ноду, cman не стартует (молча), pvecm add говорит unable to copy ssh ID
Сможете подсказать?
А я вот не могу поднять кластер между двумя соседними серверами, соединенными кабелем между дополнительными сетевками.
Сеть есть, из hosts имена нод пингуются, кластер на мастере создается, дополнительная нода добавляется без ошибок.
И даже в гуи дополнительная нода — зелененькая!
Но статус ее получить не удается — communication failure (0) или (596).
В конфиге udpu есть, конфиг сам подтянулся на вторую ноду.
Логи по теме пусты.
Вебморда второй ноды НЕ отвечает. Хотя netstat показывает листинг на 0.0.0.0 и pveproxy запущен.
Куда еще копнуть?
Сеть есть, из hosts имена нод пингуются, кластер на мастере создается, дополнительная нода добавляется без ошибок.
И даже в гуи дополнительная нода — зелененькая!
Но статус ее получить не удается — communication failure (0) или (596).
В конфиге udpu есть, конфиг сам подтянулся на вторую ноду.
Логи по теме пусты.
Вебморда второй ноды НЕ отвечает. Хотя netstat показывает листинг на 0.0.0.0 и pveproxy запущен.
Куда еще копнуть?
Sign up to leave a comment.
Объединение узлов Proxmox в кластер при помощи OpenVPN