Инженер — это не профессия, а состояние души

MLAG позволяет подключить сервер или роутер одним LACP-бондом сразу к двум коммутаторам: клиент думает, что видит один свитч, а при отказе любого из них трафик продолжает идти через второй.

В статье разобрана рабочая схема небольшой серверной на двух MikroTik CRS328-24P-4S+ под RouterOS 7.23 — от первых команд до проверки и типовых ошибок.

Классический вариант «два свитча + STP» даёт отказоустойчивость ценой заблокированного резервного линка. MLAG держит активными оба плеча, а в RouterOS начиная с 7.22 настраивается всего парой параметров прямо на бридже.

Что нужно знать заранее:

  • MLAG в RouterOS работает только поверх LACP (802.3ad). Клиент должен уметь LACP.
  • Аппаратная разгрузка MLAG есть только на устройствах с коммутационным чипом Marvell Prestera — это вся линейка CRS3xx/CRS5xx, включая CRS328. На остальных железках (и даже на CHR) MLAG работает программно.
  • MLAG несовместим с L3 hardware offloading и MVRP.

Исходная схема

Два коммутатора CRS328-24P-4S+ (sw1 и sw2) образуют MLAG-пару, к которой двумя плечами подключены роутер CCR2004-16G-2S+, два гипервизора, два NAS и другие серверы. Все устройства — RouterOS 7.23.7 из ветки long-term.

Каждый клиент подключён к обоим свитчам одним LACP-бондом gw · CCR2004 bonding1: ether3–6, 4×1G LAG5, ether9–10 LAG5, ether9–10 sw1 CRS328 · 192.168.10.201 sw2 CRS328 · 192.168.10.202 MLAGPeer sfp1+2, 2×10G BMC .31 BMC .32 hv1 · .4 LAG_SFP3, 2×10G nas1 · .9 LAG8 (15-16), 4×1G nas2 · .10 LAG7 (13-14), 4×1G hv2 · .5 LAG_SFP4, 2×10G Плечи каждого бонда разнесены по sw1 и sw2, mlag-id на обоих свитчах совпадает; BMC подключены одним линком
Топология MLAG-пары: роутер, гипервизоры и NAS подключены двумя плечами к обоим свитчам, одиночные устройства (BMC) — к своему свитчу через peer-link

Линки к одиночным устройствам идут только в свой свитч; всё остальное подключено к обоим.

Устройство Модель Роль Адрес управления
gw CCR2004-16G-2S+ Шлюз, LACP-клиент MLAG-пары 192.168.10.1
sw1 CRS328-24P-4S+ MLAG-узел 1 192.168.10.201
sw2 CRS328-24P-4S+ MLAG-узел 2 192.168.10.202

Распределение портов одинаково на обоих свитчах — это главное правило MLAG: бонд с одним и тем же mlag-id смотрит на одного и того же клиента.

Порты на каждом свитче Интерфейс mlag-id Клиент
sfp-sfpplus1 + sfp-sfpplus2 MLAGPeer — Peer-link между свитчами, 2×10G
ether9–10 LAG5 (9-10) 5 Роутер gw (на нём bonding1 из ether3–6)
ether11–12 LAG6 (11-12) 6 резерв
ether13–14 LAG7 (13-14) 7 NAS02, 192.168.10.10
ether15–16 LAG8 (15-16) 8 NAS01, 192.168.10.9
ether17–18 LAG9 (17-18) 9 резерв
ether19–20 LAG10 (19-20) 10 резерв
sfp-sfpplus3 LAG_SFP3 14 Гипервизор HV01, 192.168.10.4, 2×10G
sfp-sfpplus4 LAG_SFP4 30 Гипервизор HV02, 192.168.10.5, 2×10G
ether1, ether3–8, ether21–22 Одиночные порты — Устройства с одним линком, например BMC (.31 на sw1, .32 на sw2)

Итого роутер получает 4×1G (по два гигабита с каждого свитча), каждый гипервизор — 2×10G, NAS — 4×1G. Серверные виртуалки (файловый сервер и другие сервисы) живут на гипервизорах и наружу через MLAG выходят уже их хосты.

Как это работает в RouterOS

Два свитча договариваются между собой через peer-port по протоколу ICCP и для внешнего мира притворяются одним устройством с общим system-id. Этот system-id клиент видит в LACP как partner-system-id, а соседние свитчи — в STP BPDU как bridge-id.

Что важно понимать про ICCP:

  • Ему не нужен IP. Это нетегированные L2-кадры с EtherType 0x88B5 на адрес 01:80:C2:00:00:0E, они не пересылаются дальше peer-порта.
  • Peer-порты двух свитчей должны быть соединены напрямую. Лучше бондом из двух линков, чтобы обрыв одного кабеля не развалил пару.
  • Нетегированный VLAN на peer-порту надо изолировать от остальной сети: либо отдельным pvid, либо frame-types=admit-only-vlan-tagged.

После установления ICCP выбирается primary-узел: у кого меньше mlag-priority (по умолчанию 128), а при равенстве — у кого меньше MAC бриджа. Его MAC и становится общим system-id.

Как ходит трафик:

  • Unicast всегда идёт кратчайшим путём через локальные плечи MLAG-бонда. Через peer-link он не балансируется и попадает туда только при падении локального плеча.
  • Хеширование при схеме 2+2 выполняется только между двумя локальными линками, а не всеми четырьмя.
  • BUM-трафик (broadcast, unknown unicast, multicast) свитч рассылает локально и копирует по peer-link. Второй свитч отдаёт его в обычные порты, а в MLAG-бонд — только если его пара на первом свитче лежит.
  • Отсюда правило: peer-port должен быть tagged-членом всех VLAN, которые есть на бридже, иначе кадры для этого VLAN по нему не пройдут.

Одиночные устройства (например, BMC и всё, что в ether1–8, 21–22) общаются с «чужим» свитчем через peer-link. При большом трафике от таких хостов peer-link становится узким местом, поэтому его делают не тоньше самого толстого клиентского бонда.

Пошаговая настройка MLAG-пары

Настройка на обоих свитчах почти одинаковая: отличаются только адреса и mlag-priority. Команды ниже — для RouterOS 7.22 и новее, где MLAG задаётся параметрами бриджа, а не отдельным меню /interface bridge mlag.

Перед началом: обе железки на одной версии RouterOS, подключение к ним — через консоль или отдельный порт, а не через будущий бридж. Включение vlan-filtering на ходу легко отрезает доступ, поэтому работайте в Safe Mode (Ctrl+X в терминале).

Шаг 1. Peer-link

Собираем бонд из двух SFP+ и отключаем на них loop-protect, чтобы он не положил межсвитчевый линк:

/interface ethernet
set [find default-name=sfp-sfpplus1] loop-protect=off
set [find default-name=sfp-sfpplus2] loop-protect=off

/interface bonding
add name=MLAGPeer mode=802.3ad slaves=sfp-sfpplus1,sfp-sfpplus2 \
    lacp-rate=1sec transmit-hash-policy=layer-3-and-4

mlag-id на peer-link не ставится никогда.

Шаг 2. Клиентские бонды

Для каждого двухплечевого клиента — бонд с одинаковым mlag-id на обоих свитчах. Имена бондов могут различаться, но так проще читать конфиг.

/interface bonding
add name="LAG5 (9-10)"   mlag-id=5  mode=802.3ad slaves=ether9,ether10   lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG6 (11-12)"  mlag-id=6  mode=802.3ad slaves=ether11,ether12  lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG7 (13-14)"  mlag-id=7  mode=802.3ad slaves=ether13,ether14  lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG8 (15-16)"  mlag-id=8  mode=802.3ad slaves=ether15,ether16  lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG9 (17-18)"  mlag-id=9  mode=802.3ad slaves=ether17,ether18  lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG10 (19-20)" mlag-id=10 mode=802.3ad slaves=ether19,ether20  lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name=LAG_SFP3        mlag-id=14 mode=802.3ad slaves=sfp-sfpplus3     lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name=LAG_SFP4        mlag-id=30 mode=802.3ad slaves=sfp-sfpplus4     lacp-rate=1sec transmit-hash-policy=layer-3-and-4

Обратите внимание на LAG_SFP3 и LAG_SFP4: на каждом свитче в бонде всего один порт. Это нормально — второе плечо этого же LAG живёт на соседнем свитче.

Шаг 3. Бридж с MLAG

# sw1 — делаем его primary
/interface bridge
add name=BridgeLAN vlan-filtering=yes priority=0x4000 \
    mlag-peer-port=MLAGPeer mlag-priority=50

# sw2
/interface bridge
add name=BridgeLAN vlan-filtering=yes priority=0x4000 \
    mlag-peer-port=MLAGPeer

STP-приоритет (priority) на обоих узлах должен совпадать. Здесь 0x4000 — чтобы MLAG-пара гарантированно стала корнем STP. mlag-priority — это уже другое: он определяет, кто из двух будет primary.

Шаг 4. Порты бриджа

/interface bridge port
add bridge=BridgeLAN interface=MLAGPeer frame-types=admit-only-vlan-tagged
add bridge=BridgeLAN interface="LAG5 (9-10)"   edge=yes
add bridge=BridgeLAN interface="LAG6 (11-12)"  edge=yes
add bridge=BridgeLAN interface="LAG7 (13-14)"  edge=yes
add bridge=BridgeLAN interface="LAG8 (15-16)"  edge=yes
add bridge=BridgeLAN interface="LAG9 (17-18)"  edge=yes
add bridge=BridgeLAN interface="LAG10 (19-20)" edge=yes
add bridge=BridgeLAN interface=LAG_SFP3 edge=yes
add bridge=BridgeLAN interface=LAG_SFP4 edge=yes
# одиночные порты
:foreach p in={"ether1";"ether3";"ether4";"ether5";"ether6";"ether7";"ether8";"ether21";"ether22"} do={
    /interface bridge port add bridge=BridgeLAN interface=$p
}

edge=yes уместен на бондах к серверам и роутеру, за которыми нет других STP-свитчей: порт после восстановления сразу уходит в forwarding. Настройки STP на двухплечевых портах (edge, path-cost, priority) должны совпадать на обоих свитчах.

Шаг 5. Таблица VLAN

Ключевая строка — peer-port tagged во всех VLAN, которые есть на бридже:

/interface bridge vlan
add bridge=BridgeLAN vlan-ids=1  tagged=BridgeLAN,MLAGPeer
add bridge=BridgeLAN vlan-ids=13 tagged=BridgeLAN,MLAGPeer

Untagged-членство в VLAN 1 для клиентских портов RouterOS добавит сама по их pvid=1. Появится новый VLAN на любом порту — сразу добавляйте в него MLAGPeer как tagged.

Шаг 6. Управление

/interface vlan
add interface=BridgeLAN name=vlan1  vlan-id=1
add interface=BridgeLAN name=vlan13 vlan-id=13

/ip address
add address=192.168.10.201/24 interface=vlan1    # .202 на sw2
add address=10.99.99.1/30      interface=vlan13   # .2 на sw2

/ip route
add dst-address=0.0.0.0/0 gateway=192.168.10.1

VLAN 13 с /30 для работы MLAG не нужен — ICCP обходится без IP. Он полезен как служебная L3-связность через peer-link: по пингу 10.99.99.1 ↔ 10.99.99.2 и мониторингу видно, жив ли межсвитчевый линк, независимо от основной сети.

Подключение клиентов

На стороне клиента ничего «MLAG-шного» нет — это обычный LACP-бонд, плечи которого просто разнесены по двум свитчам.

Роутер CCR2004

На шлюзе бонд из четырёх гигабитных портов: два идут в sw1, два — в sw2 (порты ether9–10 на каждом свитче).

/interface bonding
add name=bonding1 mode=802.3ad slaves=ether3,ether4,ether5,ether6 \
    lacp-rate=1sec transmit-hash-policy=layer-3-and-4

/interface bridge port
add bridge=bridge1-LAN interface=bonding1

На бриджах роутера VLAN-фильтрация не включена, поэтому всё, что приходит с бонда нетегированным, попадает в LAN 192.168.10.0/24. Для LACP стоит использовать lacp-rate=1sec на обеих сторонах: при отказе плеча бонд перестроится примерно за 3 секунды вместо 90.

Серверы

  • Linux / Proxmox: bond-mode 802.3ad, bond-xmit-hash-policy layer3+4, bond-lacp-rate fast, bond-miimon 100.
  • Windows Server: NIC Teaming (LBFO) в режиме LACP для обычного трафика. Для Hyper-V начиная с Windows Server 2022 LBFO поверх vSwitch не поддерживается — нужен Switch Embedded Teaming (SET), а он умеет только switch-independent режим, то есть LACP (а значит и MLAG) с ним не работает.
  • NAS: в настройках агрегации выбирается 802.3ad / LACP; режимы вроде balance-alb или active-backup для MLAG не годятся.

Проверка на клиенте: в выводе бонда должны быть активны все плечи, а lacp-partner-system-id — один и тот же MAC для линков к обоим свитчам. Если partner-id различаются, MLAG не поднялся и клиент видит два разных свитча.

Проверка и мониторинг

MLAG работает, если на обоих свитчах mlag-state: connected, роли разные (primary и secondary), а bridge-id совпадает.

/interface bridge monitor BridgeLAN

Ожидаемые поля (значения подставьте из своей схемы):

          bridge-id: 0x4000.<MAC primary>
        root-bridge: yes
         mlag-state: connected
   mlag-active-role: primary        # secondary на втором свитче

Дальше — бонды и плечи:

/interface bonding monitor [find]
/interface bonding monitor-slaves "LAG5 (9-10)"

На каждом MLAG-бонде порты должны быть в active-ports, а partner-system-id совпадать с клиентским. На клиенте lacp-partner-system-id равен MAC из bridge-id выше.

Полезные проверки:

  • /interface bridge port print — у всех портов должен стоять флаг H (hardware offload). Без него трафик идёт через CPU, и CRS328 быстро захлебнётся.
  • /interface bridge host print where on-interface=MLAGPeer — какие MAC-адреса свитч видит через соседа. В штатном режиме там должны быть только одиночные устройства второго свитча.
  • /log print where topics~"bridge" — предупреждения о пропавших heartbeat (по умолчанию раз в 5 секунд, тревога после трёх пропусков).

Тест отказа

Перед вводом в эксплуатацию прогоните сценарии, запустив непрерывный пинг с сервера на шлюз:

  1. Выдернуть одно плечо клиентского бонда — потери не больше пары пакетов.
  2. Перезагрузить sw2 — клиенты остаются на sw1, после загрузки sw2 плечи возвращаются в бонд.
  3. Отключить один из двух линков peer-link — пара продолжает работать на втором.
  4. Перезагрузить primary (sw1) — роль primary переходит к sw2.

Мониторинг

В схеме за MLAG следит система мониторинга. В ней удобно держать отдельный график загрузки MLAGPeer: заметный постоянный трафик через peer-link означает, что какое-то плечо лежит или много трафика идёт к одиночным хостам. Стоит завести триггеры на смену статуса бондов и их слейвов по SNMP (IF-MIB, ifOperStatus).

Типичные ошибки

При настройке MLAG-пары легко получить расхождение между узлами — почти всё, что касается двухплечевых портов, должно быть зеркальным на обоих свитчах. Вот частые ошибки и к чему они приводят.

Ошибка Чем грозит Как исправить
mlag-priority не задан ни на одном из свитчей Primary выбирается по наименьшему MAC, заранее не ясно, какой свитч главный На одном из свитчей: /interface bridge set BridgeLAN mlag-priority=50
Клиентский LAG с заданным mlag-id собран только на одном свитче, на втором эти порты остались одиночными Клиент получает один MLAG-бонд без второго плеча, на втором свитче его порты живут отдельно Либо собрать тот же LAG на обоих свитчах, либо убрать mlag-id и сделать обычный бонд
На peer-порту задан pvid вместе с frame-types=admit-only-vlan-tagged Ничего не ломает, но вводит в заблуждение: pvid при таком frame-types не используется, а ICCP не ходит в тегированный VLAN Оставить только frame-types=admit-only-vlan-tagged
На клиентских бондах свитчей lacp-rate по умолчанию (30 с), а на клиенте — 1 с Отказ «за живым линком» (зависший сервер, кривой драйвер) свитч обнаружит лишь через 90 секунд lacp-rate=1sec на всех MLAG-бондах обоих свитчей
loop-protect=off на peer-портах выставлен только на одном свитче Узлы пары ведут себя по-разному; loop-protect на peer-link может его отключить Одинаковые настройки ethernet-портов на обоих свитчах
Остались отладочные артефакты — включённый sniffer, тестовые DHCP-клиенты на клиентских портах, отключённые switch-правила Лишняя нагрузка на CPU, путаница при диагностике Убрать перед вводом в эксплуатацию
Управление свитчами в VLAN 1 вместе с пользователями и серверами Доступ к Winbox из всей сети Отдельный management-VLAN, tagged на peer-link и аплинке к роутеру
Бридж сразу создаётся с vlan-filtering=yes При ручной настройке легко потерять доступ Safe Mode или включать фильтрацию последним шагом

И общие правила, которые стоит держать в голове:

  • Всё, что касается двухплечевых портов (mlag-id, VLAN, STP, edge), на двух свитчах должно быть зеркальным. Удобно держать конфиг в одном шаблоне и отличать только адреса.
  • Новый VLAN — сразу tagged на MLAGPeer, иначе при отказе плеча трафик этого VLAN потеряется.
  • Peer-link не должен быть тоньше самого толстого клиентского бонда: при падении 10G-плеча гипервизора весь его трафик пойдёт через peer-link.
  • L3 hardware offloading с MLAG несовместим, на CRS3xx его нужно держать выключенным.
  • Не откатывайте прошивку ниже 7.22: старые версии не понимают новый синтаксис, и MLAG-конфигурация будет стёрта.

Итоговый конфиг

Минимальный конфиг sw1 с учётом исправлений. На sw2 он тот же, кроме четырёх строк, отмеченных комментарием «sw2».

/system identity set name=sw1                      # sw2: sw2

/interface ethernet
set [find default-name=sfp-sfpplus1] loop-protect=off
set [find default-name=sfp-sfpplus2] loop-protect=off

/interface bonding
add name=MLAGPeer mode=802.3ad slaves=sfp-sfpplus1,sfp-sfpplus2 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG5 (9-10)"   mlag-id=5  mode=802.3ad slaves=ether9,ether10  lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG6 (11-12)"  mlag-id=6  mode=802.3ad slaves=ether11,ether12 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG7 (13-14)"  mlag-id=7  mode=802.3ad slaves=ether13,ether14 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG8 (15-16)"  mlag-id=8  mode=802.3ad slaves=ether15,ether16 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG9 (17-18)"  mlag-id=9  mode=802.3ad slaves=ether17,ether18 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG10 (19-20)" mlag-id=10 mode=802.3ad slaves=ether19,ether20 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name=LAG_SFP3 mlag-id=14 mode=802.3ad slaves=sfp-sfpplus3 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name=LAG_SFP4 mlag-id=30 mode=802.3ad slaves=sfp-sfpplus4 lacp-rate=1sec transmit-hash-policy=layer-3-and-4

/interface bridge
add name=BridgeLAN vlan-filtering=yes priority=0x4000 mlag-peer-port=MLAGPeer mlag-priority=50   # sw2: без mlag-priority

/interface bridge port
add bridge=BridgeLAN interface=MLAGPeer frame-types=admit-only-vlan-tagged
add bridge=BridgeLAN interface="LAG5 (9-10)"   edge=yes
add bridge=BridgeLAN interface="LAG6 (11-12)"  edge=yes
add bridge=BridgeLAN interface="LAG7 (13-14)"  edge=yes
add bridge=BridgeLAN interface="LAG8 (15-16)"  edge=yes
add bridge=BridgeLAN interface="LAG9 (17-18)"  edge=yes
add bridge=BridgeLAN interface="LAG10 (19-20)" edge=yes
add bridge=BridgeLAN interface=LAG_SFP3 edge=yes
add bridge=BridgeLAN interface=LAG_SFP4 edge=yes
add bridge=BridgeLAN interface=ether1
add bridge=BridgeLAN interface=ether3
add bridge=BridgeLAN interface=ether4
add bridge=BridgeLAN interface=ether5
add bridge=BridgeLAN interface=ether6
add bridge=BridgeLAN interface=ether7
add bridge=BridgeLAN interface=ether8
add bridge=BridgeLAN interface=ether21
add bridge=BridgeLAN interface=ether22

/interface bridge vlan
add bridge=BridgeLAN vlan-ids=1  tagged=BridgeLAN,MLAGPeer
add bridge=BridgeLAN vlan-ids=13 tagged=BridgeLAN,MLAGPeer

/interface vlan
add interface=BridgeLAN name=vlan1  vlan-id=1
add interface=BridgeLAN name=vlan13 vlan-id=13

/ip address
add address=192.168.10.201/24 interface=vlan1    # sw2: .202
add address=10.99.99.1/30      interface=vlan13   # sw2: 10.99.99.2

/ip route
add dst-address=0.0.0.0/0 gateway=192.168.10.1

/ip dns set servers=192.168.10.1
/system ntp client set enabled=yes
/system ntp client servers add address=ru.pool.ntp.org
/system clock set time-zone-name=Europe/Moscow

Итог

Базовый MLAG на MikroTik сводится к четырём вещам: бонд под peer-link, одинаковые mlag-id на клиентских бондах, mlag-peer-port на бридже и peer-port tagged во всех VLAN. Всё остальное — аккуратность: оба свитча должны быть зеркальными, а отказ стоит проверить руками до того, как он случится сам.

В такой схеме это даёт роутеру 4 Гбит/с, гипервизорам по 20 Гбит/с и возможность перезагрузить любой из коммутаторов посреди рабочего дня без простоя.

Источники

← Все статьи раздела «Сетевое администрирование»