Стекирование коммутаторов Cisco. Часть 2

Всех приветствую!
В первой части данной статьи мы рассмотрели достаточно старые технологии стекирования для семейства коммутаторов Cisco 3750, а именно StackWise и StackWise Plus. Сегодня предлагаю продолжить рассмотрение остальных технологий. Напомню, у нас остались StackWise-160, StackWise-480, FlexStack и FlexStack Plus.

StackWise-160

Технология StackWise-160 возникла с появлением коммутаторов серии 3650. С другими версиями технологий стекирования она не совместима. Основные алгоритмы работы позаимствованы у StackWise Plus. При этом есть отличия. Первое – это новая архитектура самого коммутатора, построенная на базе новых ASIC’ов (Unified Access Data Plane (UADP) ASIC).
Новые ASIC’и наделены достаточной интеллектуальностью для обеспечения функций коммутации. Из-за этого в отличии от 3750E/3750X больше нет выделенной коммутационной фабрики. Интересный момент заключается в том, что коммутация трафика между портами, обслуживаемыми разными ASIC’ами, обеспечивается через стековый интерфейс.

Хотел бы напомнить, что в старых ASIC’ах (в коммутаторах 3750E/3750X) элементы, отвечающие за обработку входящих пакетов, и элементы, отвечающие за обработку исходящих пакетов, разделены. Они не имеют общей шины внутри ASIC’а. Поэтому даже если пакет передаётся между портами, обслуживаемыми один и тем же ASIC’ом, этот пакет обязательно попадает на коммутационную фабрику.
Второе отличие StackWise-160 – увеличенная пропускная способность стековой шины. Пропускная способность стекового кабеля теперь равна 40 Гбит/с (full duplex). Таким образом, пропускная способность всей стековой шины для технологии StackWise-160:
40 Гбит/с * 2 (в каждую сторону) * 2 (количество портов) = 160 Гбит/с

Стоит отметить, что в отличии от серии коммутаторов 3750, стековый комплект для 3650 покупается отдельно.
Для технологии StackWise-160 изменена общая схема работы стека на программном уровне. Теперь для обеспечения отказоустойчивости используется схема Stateful Switch Over (SSO). Как мы помним, в предыдущих технологиях (StackWise и StackWise Plus) используется более простая схема восстановления после отказа. Один из коммутаторов выбирается в качестве мастера (stack master). Он выполняет логические операции (control-plane) для всего стека. Между коммутаторами стека синхронизируются только аппаратные таблицы (MAC-таблицы и таблиц CEF (FIB/Adj)). Остальные таблицы, в том числе таблица маршрутизации, на новом мастере заполняются заново. Т.е. control-plane запускается с нуля. На коммутаторах 3650 для обеспечения отказоустойчивости стала использоваться более продвинутая схема — Nonstop Forwarding with Stateful Switchover (NSF/SSO). Больше нет такого понятия как мастер. Теперь используется схема Active-Standby. Один из коммутаторов выбирается основным (Active), ещё один — его горячим резервом (Standby), синхронизирующим с основным всю необходимую информацию (L2 и L3). Control-plane теперь работает в режиме Active-Standby. Это обеспечило минимизацию времени, необходимого на восстановления в случае отказа основного коммутатора.

StackWise-480

Давайте теперь посмотрим на технологию StackWise-480. С помощью неё можно объединить в стек коммутаторы серии 3850.
Коммутаторы 3650 и 3850 очень похожи. Обе эти серии построены на базе UADP ASIC. Соответственно алгоритмы работы стека StackWise-480 и StackWise-160 сходны. Правда есть отличие. В технологии StackWise-480 используется три физических стековых кольца. Достигается это тем, что внутри одного стекового кабеля для коммутаторов 3850, находится три провода (Рис. 6). Каждый с пропускной способностью 40 Гбит/с (full duplex).

Пропускная способность всей стековой шины для технологии StackWise-480:

40 Гбит/с * 2 (в каждую сторону) * 3 (количество проводов) *2 (количество портов) = 480 Гбит/с

На логическом уровне стек представлен шестью путями (по два логических пути на один провод). Пакеты по трём логическим путям «крутятся» в одну сторону, а по трём другим — в другую (Рис. 7).

Выбор пути осуществляется так же, как и раньше, с помощью токенов.

FlexStack

На этом с обзором технологий стекирования семейства Stackwise предлагаю закончить. Давайте теперь посмотрим на семейство коммутаторов 2960 и технологии стекирования FlexStack и FlexStack Plus.

Стекирование для 2960 появилось впервые на коммутаторах 2960-S. Для объединения коммутаторов по технологии FlexStack используется стековый модуль и специализированные кабели с пропускной способностью 10 Гбит/с (full duplex). Каждый стековый модуль имеет два порта. Коммутаторы при объединении соединяются в кольцо (хотя это и не обязательно). Общая пропускная способность всей стековой шины равна:

10 Гбит/с * 2 (в каждую сторону) * 2 (количество портов) = 40 Гбит/с.
Для стека FlexStack передача пакетов между коммутаторами происходит устройство-за-устройством. Коммутатор для каждого пакета определяет, куда его отправить: на обычный или на стековый порты. Такое взаимодействие напоминает работу нескольких коммутаторов, подключённых друг к другу по протоколу Ethernet. Разница в том, что связь между коммутаторами стека обеспечивает протокол FlexStack. Выбор того, через какой из стековых портов отправить пакет, определяется специальным алгоритмом, напоминающим работу OSPF. Т.е. выбирается кратчайший путь до коммутатора в стеке, на котором находится порт назначения. Если происходят какие-то изменения (например, отказал один из коммутаторов или отключился стековый кабель) данный алгоритм пересчитывает пути заново.

Отдельно нужно отметить механизм предотвращения зацикливания трафика. Речь идёт о трафике, где нет точного получателя (broadcast, multicast, unknown unicast). Так как этот трафик попадает на все коммутаторы стека, должен быть механизм, который предотвращает его зацикливание в случае, если коммутаторы соединены в кольцо (задействованы все стековые порты). Для этого используется механизм пассивных соединений (Passive link). Для каждого коммутатора в стеке выбирается стековое соединение, находящееся максимально далеко от рассматриваемого коммутатора. Это соединение становится пассивным. У каждого коммутатора в стеке будет своё такое соединение. При проходе через него отбрасывается весь broadcast, multicast и unknown unicast трафик, который попал в стек через коммутатор, для которое это соединение является пассивным. Т.е. у нас просто размыкается кольцо. Но в отличие от STP для каждого коммутатора в стеке кольцо размыкается в разных местах. Это даёт более эффективную передачу трафика, чем в случае классического STP.

На программном уровне схема работы FlexStack напоминает StackWise/StackWise Plus. Один из коммутаторов выбирается мастером и control-plane запускается только на нём.

FlexStack Plus

Стек FlexStack Plus отличается от своего предшественника тем, что в стек можно объединить до 8 коммутаторов (для FlexStack эта цифра равна 4) и пропускная способность по специализированному кабелю увеличена до 20 Гбит/с. Таким образом, общая пропускная способность стековой шины составляет – 80 Гбит/с.

Заключение

В заключение хотелось бы отметить несколько моментов.
Все рассмотренные технологии позволяют объединять коммутаторы в стек, находящиеся рядом друг с другом. Максимальная длина стекового кабеля 3 метра. Это, конечно, не очень удобно. Правда, Cisco и не позиционирует данные серии коммутаторов для построения распределённых стеков. Для этого в частности предлагается технология виртуализации коммутаторов Virtual Switching System (VSS). Её поддержка начинается на коммутаторах Cisco серии 4k.

Судя по временным характеристикам восстановления после сбоя, технологии StackWise более быстрые, нежели технологии FlexStack. Частично обусловлено это тем, что FlexStack все типы отказов отрабатывает программно. В принципе это не удивительно, так как серия Cisco 2960 младше. Наиболее интересными из рассматриваемых являются Stackwise-160 и 480, так как они поддерживают «взрослый» SSO.

На коммутаторах 3750X и 3850 появился ещё один тип стека – стек по питанию (StackPower). Он предназначен для перераспределения «лишних» мощностей между блоками питания коммутаторов, объединённых в данный тип стека. Это позволяет обеспечить работу коммутатора стека, в случае выхода из строя его локального блока питания. Или же предоставить дополнительный бюджет PoE.

Из практики могу сказать, что чаще приходилось сталкивать именно со стеками Stackwise (и его продолжениями). Особых проблем с их работой не было. Есть примеры, где такие стеки прекрасно отработали 5-7 лет в качестве ядра сети в сравнительно больших сетях. FlexStack на практике встречается реже. Правда и с ними особых проблем не было.

UPD (март 2017)

С версии IOS XE 16.3.3 появилась поддержка технологии StackWise Virtual. Она позволяет объединить в стек два коммутатора 3850-48-XS. С другими версиями StackWise данная технология не совместима. В качестве стековой шины используются обычные порты Ethernet (10 Гбит/с или 40 Гбит/с). Можно задействовать до четырёх портов. StackWise Virtual поддерживает SSO/NSF (переключение с сохранением состояния и передачей пакетов в момент переключения). StackWise Virtual в плане работы похожа на технологию VSS.