MLAG позволяет подключить сервер или роутер одним LACP-бондом сразу к двум коммутаторам: клиент думает, что видит один свитч, а при отказе любого из них трафик продолжает идти через второй.
В статье разобрана рабочая схема небольшой серверной на двух MikroTik CRS328-24P-4S+ под RouterOS 7.23 — от первых команд до проверки и типовых ошибок.
Классический вариант «два свитча + STP» даёт отказоустойчивость ценой заблокированного резервного линка. MLAG держит активными оба плеча, а в RouterOS начиная с 7.22 настраивается всего парой параметров прямо на бридже.
Что нужно знать заранее:
- MLAG в RouterOS работает только поверх LACP (802.3ad). Клиент должен уметь LACP.
- Аппаратная разгрузка MLAG есть только на устройствах с коммутационным чипом Marvell Prestera — это вся линейка CRS3xx/CRS5xx, включая CRS328. На остальных железках (и даже на CHR) MLAG работает программно.
- MLAG несовместим с L3 hardware offloading и MVRP.
Исходная схема
Два коммутатора CRS328-24P-4S+ (sw1 и sw2) образуют MLAG-пару, к которой двумя плечами подключены роутер CCR2004-16G-2S+, два гипервизора, два NAS и другие серверы. Все устройства — RouterOS 7.23.7 из ветки long-term.
Линки к одиночным устройствам идут только в свой свитч; всё остальное подключено к обоим.
| Устройство | Модель | Роль | Адрес управления |
|---|---|---|---|
| gw | CCR2004-16G-2S+ | Шлюз, LACP-клиент MLAG-пары | 192.168.10.1 |
| sw1 | CRS328-24P-4S+ | MLAG-узел 1 | 192.168.10.201 |
| sw2 | CRS328-24P-4S+ | MLAG-узел 2 | 192.168.10.202 |
Распределение портов одинаково на обоих свитчах — это главное правило MLAG: бонд с одним и тем же mlag-id смотрит на одного и того же клиента.
| Порты на каждом свитче | Интерфейс | mlag-id | Клиент |
|---|---|---|---|
| sfp-sfpplus1 + sfp-sfpplus2 | MLAGPeer | — | Peer-link между свитчами, 2×10G |
| ether9–10 | LAG5 (9-10) | 5 | Роутер gw (на нём bonding1 из ether3–6) |
| ether11–12 | LAG6 (11-12) | 6 | резерв |
| ether13–14 | LAG7 (13-14) | 7 | NAS02, 192.168.10.10 |
| ether15–16 | LAG8 (15-16) | 8 | NAS01, 192.168.10.9 |
| ether17–18 | LAG9 (17-18) | 9 | резерв |
| ether19–20 | LAG10 (19-20) | 10 | резерв |
| sfp-sfpplus3 | LAG_SFP3 | 14 | Гипервизор HV01, 192.168.10.4, 2×10G |
| sfp-sfpplus4 | LAG_SFP4 | 30 | Гипервизор HV02, 192.168.10.5, 2×10G |
| ether1, ether3–8, ether21–22 | Одиночные порты | — | Устройства с одним линком, например BMC (.31 на sw1, .32 на sw2) |
Итого роутер получает 4×1G (по два гигабита с каждого свитча), каждый гипервизор — 2×10G, NAS — 4×1G. Серверные виртуалки (файловый сервер и другие сервисы) живут на гипервизорах и наружу через MLAG выходят уже их хосты.
Как это работает в RouterOS
Два свитча договариваются между собой через peer-port по протоколу ICCP и для внешнего мира притворяются одним устройством с общим system-id. Этот system-id клиент видит в LACP как partner-system-id, а соседние свитчи — в STP BPDU как bridge-id.
Что важно понимать про ICCP:
- Ему не нужен IP. Это нетегированные L2-кадры с EtherType 0x88B5 на адрес 01:80:C2:00:00:0E, они не пересылаются дальше peer-порта.
- Peer-порты двух свитчей должны быть соединены напрямую. Лучше бондом из двух линков, чтобы обрыв одного кабеля не развалил пару.
- Нетегированный VLAN на peer-порту надо изолировать от остальной сети: либо отдельным
pvid, либоframe-types=admit-only-vlan-tagged.
После установления ICCP выбирается primary-узел: у кого меньше mlag-priority (по умолчанию 128), а при равенстве — у кого меньше MAC бриджа. Его MAC и становится общим system-id.
Как ходит трафик:
- Unicast всегда идёт кратчайшим путём через локальные плечи MLAG-бонда. Через peer-link он не балансируется и попадает туда только при падении локального плеча.
- Хеширование при схеме 2+2 выполняется только между двумя локальными линками, а не всеми четырьмя.
- BUM-трафик (broadcast, unknown unicast, multicast) свитч рассылает локально и копирует по peer-link. Второй свитч отдаёт его в обычные порты, а в MLAG-бонд — только если его пара на первом свитче лежит.
- Отсюда правило: peer-port должен быть tagged-членом всех VLAN, которые есть на бридже, иначе кадры для этого VLAN по нему не пройдут.
Одиночные устройства (например, BMC и всё, что в ether1–8, 21–22) общаются с «чужим» свитчем через peer-link. При большом трафике от таких хостов peer-link становится узким местом, поэтому его делают не тоньше самого толстого клиентского бонда.
Пошаговая настройка MLAG-пары
Настройка на обоих свитчах почти одинаковая: отличаются только адреса и mlag-priority. Команды ниже — для RouterOS 7.22 и новее, где MLAG задаётся параметрами бриджа, а не отдельным меню /interface bridge mlag.
Перед началом: обе железки на одной версии RouterOS, подключение к ним — через консоль или отдельный порт, а не через будущий бридж. Включение vlan-filtering на ходу легко отрезает доступ, поэтому работайте в Safe Mode (Ctrl+X в терминале).
Шаг 1. Peer-link
Собираем бонд из двух SFP+ и отключаем на них loop-protect, чтобы он не положил межсвитчевый линк:
/interface ethernet
set [find default-name=sfp-sfpplus1] loop-protect=off
set [find default-name=sfp-sfpplus2] loop-protect=off
/interface bonding
add name=MLAGPeer mode=802.3ad slaves=sfp-sfpplus1,sfp-sfpplus2 \
lacp-rate=1sec transmit-hash-policy=layer-3-and-4
mlag-id на peer-link не ставится никогда.
Шаг 2. Клиентские бонды
Для каждого двухплечевого клиента — бонд с одинаковым mlag-id на обоих свитчах. Имена бондов могут различаться, но так проще читать конфиг.
/interface bonding
add name="LAG5 (9-10)" mlag-id=5 mode=802.3ad slaves=ether9,ether10 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG6 (11-12)" mlag-id=6 mode=802.3ad slaves=ether11,ether12 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG7 (13-14)" mlag-id=7 mode=802.3ad slaves=ether13,ether14 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG8 (15-16)" mlag-id=8 mode=802.3ad slaves=ether15,ether16 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG9 (17-18)" mlag-id=9 mode=802.3ad slaves=ether17,ether18 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG10 (19-20)" mlag-id=10 mode=802.3ad slaves=ether19,ether20 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name=LAG_SFP3 mlag-id=14 mode=802.3ad slaves=sfp-sfpplus3 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name=LAG_SFP4 mlag-id=30 mode=802.3ad slaves=sfp-sfpplus4 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
Обратите внимание на LAG_SFP3 и LAG_SFP4: на каждом свитче в бонде всего один порт. Это нормально — второе плечо этого же LAG живёт на соседнем свитче.
Шаг 3. Бридж с MLAG
# sw1 — делаем его primary
/interface bridge
add name=BridgeLAN vlan-filtering=yes priority=0x4000 \
mlag-peer-port=MLAGPeer mlag-priority=50
# sw2
/interface bridge
add name=BridgeLAN vlan-filtering=yes priority=0x4000 \
mlag-peer-port=MLAGPeer
STP-приоритет (priority) на обоих узлах должен совпадать. Здесь 0x4000 — чтобы MLAG-пара гарантированно стала корнем STP. mlag-priority — это уже другое: он определяет, кто из двух будет primary.
Шаг 4. Порты бриджа
/interface bridge port
add bridge=BridgeLAN interface=MLAGPeer frame-types=admit-only-vlan-tagged
add bridge=BridgeLAN interface="LAG5 (9-10)" edge=yes
add bridge=BridgeLAN interface="LAG6 (11-12)" edge=yes
add bridge=BridgeLAN interface="LAG7 (13-14)" edge=yes
add bridge=BridgeLAN interface="LAG8 (15-16)" edge=yes
add bridge=BridgeLAN interface="LAG9 (17-18)" edge=yes
add bridge=BridgeLAN interface="LAG10 (19-20)" edge=yes
add bridge=BridgeLAN interface=LAG_SFP3 edge=yes
add bridge=BridgeLAN interface=LAG_SFP4 edge=yes
# одиночные порты
:foreach p in={"ether1";"ether3";"ether4";"ether5";"ether6";"ether7";"ether8";"ether21";"ether22"} do={
/interface bridge port add bridge=BridgeLAN interface=$p
}
edge=yes уместен на бондах к серверам и роутеру, за которыми нет других STP-свитчей: порт после восстановления сразу уходит в forwarding. Настройки STP на двухплечевых портах (edge, path-cost, priority) должны совпадать на обоих свитчах.
Шаг 5. Таблица VLAN
Ключевая строка — peer-port tagged во всех VLAN, которые есть на бридже:
/interface bridge vlan
add bridge=BridgeLAN vlan-ids=1 tagged=BridgeLAN,MLAGPeer
add bridge=BridgeLAN vlan-ids=13 tagged=BridgeLAN,MLAGPeer
Untagged-членство в VLAN 1 для клиентских портов RouterOS добавит сама по их pvid=1. Появится новый VLAN на любом порту — сразу добавляйте в него MLAGPeer как tagged.
Шаг 6. Управление
/interface vlan
add interface=BridgeLAN name=vlan1 vlan-id=1
add interface=BridgeLAN name=vlan13 vlan-id=13
/ip address
add address=192.168.10.201/24 interface=vlan1 # .202 на sw2
add address=10.99.99.1/30 interface=vlan13 # .2 на sw2
/ip route
add dst-address=0.0.0.0/0 gateway=192.168.10.1
VLAN 13 с /30 для работы MLAG не нужен — ICCP обходится без IP. Он полезен как служебная L3-связность через peer-link: по пингу 10.99.99.1 ↔ 10.99.99.2 и мониторингу видно, жив ли межсвитчевый линк, независимо от основной сети.
Подключение клиентов
На стороне клиента ничего «MLAG-шного» нет — это обычный LACP-бонд, плечи которого просто разнесены по двум свитчам.
Роутер CCR2004
На шлюзе бонд из четырёх гигабитных портов: два идут в sw1, два — в sw2 (порты ether9–10 на каждом свитче).
/interface bonding
add name=bonding1 mode=802.3ad slaves=ether3,ether4,ether5,ether6 \
lacp-rate=1sec transmit-hash-policy=layer-3-and-4
/interface bridge port
add bridge=bridge1-LAN interface=bonding1
На бриджах роутера VLAN-фильтрация не включена, поэтому всё, что приходит с бонда нетегированным, попадает в LAN 192.168.10.0/24. Для LACP стоит использовать lacp-rate=1sec на обеих сторонах: при отказе плеча бонд перестроится примерно за 3 секунды вместо 90.
Серверы
- Linux / Proxmox:
bond-mode 802.3ad,bond-xmit-hash-policy layer3+4,bond-lacp-rate fast,bond-miimon 100. - Windows Server: NIC Teaming (LBFO) в режиме LACP для обычного трафика. Для Hyper-V начиная с Windows Server 2022 LBFO поверх vSwitch не поддерживается — нужен Switch Embedded Teaming (SET), а он умеет только switch-independent режим, то есть LACP (а значит и MLAG) с ним не работает.
- NAS: в настройках агрегации выбирается 802.3ad / LACP; режимы вроде balance-alb или active-backup для MLAG не годятся.
Проверка на клиенте: в выводе бонда должны быть активны все плечи, а lacp-partner-system-id — один и тот же MAC для линков к обоим свитчам. Если partner-id различаются, MLAG не поднялся и клиент видит два разных свитча.
Проверка и мониторинг
MLAG работает, если на обоих свитчах mlag-state: connected, роли разные (primary и secondary), а bridge-id совпадает.
/interface bridge monitor BridgeLAN
Ожидаемые поля (значения подставьте из своей схемы):
bridge-id: 0x4000.<MAC primary>
root-bridge: yes
mlag-state: connected
mlag-active-role: primary # secondary на втором свитче
Дальше — бонды и плечи:
/interface bonding monitor [find]
/interface bonding monitor-slaves "LAG5 (9-10)"
На каждом MLAG-бонде порты должны быть в active-ports, а partner-system-id совпадать с клиентским. На клиенте lacp-partner-system-id равен MAC из bridge-id выше.
Полезные проверки:
/interface bridge port print— у всех портов должен стоять флаг H (hardware offload). Без него трафик идёт через CPU, и CRS328 быстро захлебнётся./interface bridge host print where on-interface=MLAGPeer— какие MAC-адреса свитч видит через соседа. В штатном режиме там должны быть только одиночные устройства второго свитча./log print where topics~"bridge"— предупреждения о пропавших heartbeat (по умолчанию раз в 5 секунд, тревога после трёх пропусков).
Тест отказа
Перед вводом в эксплуатацию прогоните сценарии, запустив непрерывный пинг с сервера на шлюз:
- Выдернуть одно плечо клиентского бонда — потери не больше пары пакетов.
- Перезагрузить sw2 — клиенты остаются на sw1, после загрузки sw2 плечи возвращаются в бонд.
- Отключить один из двух линков peer-link — пара продолжает работать на втором.
- Перезагрузить primary (sw1) — роль primary переходит к sw2.
Мониторинг
В схеме за MLAG следит система мониторинга. В ней удобно держать отдельный график загрузки MLAGPeer: заметный постоянный трафик через peer-link означает, что какое-то плечо лежит или много трафика идёт к одиночным хостам. Стоит завести триггеры на смену статуса бондов и их слейвов по SNMP (IF-MIB, ifOperStatus).
Типичные ошибки
При настройке MLAG-пары легко получить расхождение между узлами — почти всё, что касается двухплечевых портов, должно быть зеркальным на обоих свитчах. Вот частые ошибки и к чему они приводят.
| Ошибка | Чем грозит | Как исправить |
|---|---|---|
mlag-priority не задан ни на одном из свитчей |
Primary выбирается по наименьшему MAC, заранее не ясно, какой свитч главный | На одном из свитчей: /interface bridge set BridgeLAN mlag-priority=50 |
Клиентский LAG с заданным mlag-id собран только на одном свитче, на втором эти порты остались одиночными |
Клиент получает один MLAG-бонд без второго плеча, на втором свитче его порты живут отдельно | Либо собрать тот же LAG на обоих свитчах, либо убрать mlag-id и сделать обычный бонд |
На peer-порту задан pvid вместе с frame-types=admit-only-vlan-tagged |
Ничего не ломает, но вводит в заблуждение: pvid при таком frame-types не используется, а ICCP не ходит в тегированный VLAN | Оставить только frame-types=admit-only-vlan-tagged |
На клиентских бондах свитчей lacp-rate по умолчанию (30 с), а на клиенте — 1 с |
Отказ «за живым линком» (зависший сервер, кривой драйвер) свитч обнаружит лишь через 90 секунд | lacp-rate=1sec на всех MLAG-бондах обоих свитчей |
loop-protect=off на peer-портах выставлен только на одном свитче |
Узлы пары ведут себя по-разному; loop-protect на peer-link может его отключить | Одинаковые настройки ethernet-портов на обоих свитчах |
| Остались отладочные артефакты — включённый sniffer, тестовые DHCP-клиенты на клиентских портах, отключённые switch-правила | Лишняя нагрузка на CPU, путаница при диагностике | Убрать перед вводом в эксплуатацию |
| Управление свитчами в VLAN 1 вместе с пользователями и серверами | Доступ к Winbox из всей сети | Отдельный management-VLAN, tagged на peer-link и аплинке к роутеру |
Бридж сразу создаётся с vlan-filtering=yes |
При ручной настройке легко потерять доступ | Safe Mode или включать фильтрацию последним шагом |
И общие правила, которые стоит держать в голове:
- Всё, что касается двухплечевых портов (mlag-id, VLAN, STP, edge), на двух свитчах должно быть зеркальным. Удобно держать конфиг в одном шаблоне и отличать только адреса.
- Новый VLAN — сразу tagged на MLAGPeer, иначе при отказе плеча трафик этого VLAN потеряется.
- Peer-link не должен быть тоньше самого толстого клиентского бонда: при падении 10G-плеча гипервизора весь его трафик пойдёт через peer-link.
- L3 hardware offloading с MLAG несовместим, на CRS3xx его нужно держать выключенным.
- Не откатывайте прошивку ниже 7.22: старые версии не понимают новый синтаксис, и MLAG-конфигурация будет стёрта.
Итоговый конфиг
Минимальный конфиг sw1 с учётом исправлений. На sw2 он тот же, кроме четырёх строк, отмеченных комментарием «sw2».
/system identity set name=sw1 # sw2: sw2
/interface ethernet
set [find default-name=sfp-sfpplus1] loop-protect=off
set [find default-name=sfp-sfpplus2] loop-protect=off
/interface bonding
add name=MLAGPeer mode=802.3ad slaves=sfp-sfpplus1,sfp-sfpplus2 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG5 (9-10)" mlag-id=5 mode=802.3ad slaves=ether9,ether10 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG6 (11-12)" mlag-id=6 mode=802.3ad slaves=ether11,ether12 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG7 (13-14)" mlag-id=7 mode=802.3ad slaves=ether13,ether14 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG8 (15-16)" mlag-id=8 mode=802.3ad slaves=ether15,ether16 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG9 (17-18)" mlag-id=9 mode=802.3ad slaves=ether17,ether18 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name="LAG10 (19-20)" mlag-id=10 mode=802.3ad slaves=ether19,ether20 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name=LAG_SFP3 mlag-id=14 mode=802.3ad slaves=sfp-sfpplus3 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
add name=LAG_SFP4 mlag-id=30 mode=802.3ad slaves=sfp-sfpplus4 lacp-rate=1sec transmit-hash-policy=layer-3-and-4
/interface bridge
add name=BridgeLAN vlan-filtering=yes priority=0x4000 mlag-peer-port=MLAGPeer mlag-priority=50 # sw2: без mlag-priority
/interface bridge port
add bridge=BridgeLAN interface=MLAGPeer frame-types=admit-only-vlan-tagged
add bridge=BridgeLAN interface="LAG5 (9-10)" edge=yes
add bridge=BridgeLAN interface="LAG6 (11-12)" edge=yes
add bridge=BridgeLAN interface="LAG7 (13-14)" edge=yes
add bridge=BridgeLAN interface="LAG8 (15-16)" edge=yes
add bridge=BridgeLAN interface="LAG9 (17-18)" edge=yes
add bridge=BridgeLAN interface="LAG10 (19-20)" edge=yes
add bridge=BridgeLAN interface=LAG_SFP3 edge=yes
add bridge=BridgeLAN interface=LAG_SFP4 edge=yes
add bridge=BridgeLAN interface=ether1
add bridge=BridgeLAN interface=ether3
add bridge=BridgeLAN interface=ether4
add bridge=BridgeLAN interface=ether5
add bridge=BridgeLAN interface=ether6
add bridge=BridgeLAN interface=ether7
add bridge=BridgeLAN interface=ether8
add bridge=BridgeLAN interface=ether21
add bridge=BridgeLAN interface=ether22
/interface bridge vlan
add bridge=BridgeLAN vlan-ids=1 tagged=BridgeLAN,MLAGPeer
add bridge=BridgeLAN vlan-ids=13 tagged=BridgeLAN,MLAGPeer
/interface vlan
add interface=BridgeLAN name=vlan1 vlan-id=1
add interface=BridgeLAN name=vlan13 vlan-id=13
/ip address
add address=192.168.10.201/24 interface=vlan1 # sw2: .202
add address=10.99.99.1/30 interface=vlan13 # sw2: 10.99.99.2
/ip route
add dst-address=0.0.0.0/0 gateway=192.168.10.1
/ip dns set servers=192.168.10.1
/system ntp client set enabled=yes
/system ntp client servers add address=ru.pool.ntp.org
/system clock set time-zone-name=Europe/Moscow
Итог
Базовый MLAG на MikroTik сводится к четырём вещам: бонд под peer-link, одинаковые mlag-id на клиентских бондах, mlag-peer-port на бридже и peer-port tagged во всех VLAN. Всё остальное — аккуратность: оба свитча должны быть зеркальными, а отказ стоит проверить руками до того, как он случится сам.
В такой схеме это даёт роутеру 4 Гбит/с, гипервизорам по 20 Гбит/с и возможность перезагрузить любой из коммутаторов посреди рабочего дня без простоя.