Один внешний IP-адрес и несколько внутренних HTTPS-сервисов — почтовый сервер Exchange 2013 (OWA, ActiveSync, Autodiscover) и файловое облако Nextcloud — должны быть доступны снаружи по разным доменным именам. Классическое решение «пробросить порт 443 на один сервер» здесь не работает: порт один, а серверов два. Задачу решает HAProxy: он принимает весь входящий HTTPS-трафик и раскидывает его по бэкендам в зависимости от запрошенного имени. В статье — конфигурация с реально работающей установки: Exchange 2013 и Nextcloud за одним фронтендом HAProxy, с терминацией TLS, редиректом HTTP→HTTPS, HSTS и страницей статистики.
В отличие от стендовых статей серии, конфиг ниже — не синтетический пример, а реально работающий /etc/haproxy/haproxy.cfg, под которым ходит почта и файлообменник. Доменные имена, пароль статистики и часть адресов заменены на примеры — подставьте свои значения.
Задача: один внешний IP, несколько HTTPS-сервисов
Исходные условия типичны для небольшой организации:
- один публичный IP-адрес, порты 80 и 443 проброшены (DNAT) на сервер с HAProxy;
- внутри — Exchange 2013 на
10.10.10.5:443и Nextcloud на10.10.10.17(в боевой установке Nextcloud переехал на нестандартный порт 4444, об этом ниже); - снаружи сервисы различаются доменными именами:
mail.example.ru(плюсautodiscover.example.ruдля Exchange) иnc.example.ru; - DNS-записи всех имён указывают на один и тот же внешний IP.
Маршрутизатор умеет различать только IP и порт, а нужно различать имя хоста внутри TLS-соединения — это уровень выше, и его умеет HAProxy.
Два подхода: passthrough по SNI и терминация TLS на HAProxy
Способов разрулить HTTPS по имени два, и выбор между ними определяет весь конфиг.
SSL-passthrough (mode tcp). HAProxy не расшифровывает трафик: он заглядывает только в TLS ClientHello, вытаскивает оттуда SNI (Server Name Indication — доменное имя, которое клиент открытым текстом передаёт в начале рукопожатия) и прозрачно проксирует TCP-поток на нужный бэкенд:
frontend https_in
bind *:443
mode tcp
tcp-request inspect-delay 5s
tcp-request content accept if { req.ssl_hello_type 1 }
acl is_exchange req.ssl_sni -i mail.example.ru autodiscover.example.ru
acl is_nextcloud req.ssl_sni -i nc.example.ru
use_backend backend_exchange if is_exchange
use_backend backend_nextcloud if is_nextcloud
Плюсы: сертификаты живут только на бэкендах, HAProxy не видит содержимого трафика, схема максимально проста. Минус: HAProxy работает на уровне TCP и не может ничего сделать с HTTP — ни заголовок добавить, ни X-Forwarded-For передать.
Терминация TLS на HAProxy (mode http).
HAProxy сам держит сертификат (в живой установке — один wildcard на весь домен), расшифровывает трафик и маршрутизирует уже по HTTP-заголовку
Host. К бэкендам соединение устанавливается заново, тоже по HTTPS (так называемая ре-шифрация).
Именно второй вариант работает на живой установке, и у выбора есть конкретные причины:
- один wildcard-сертификат на фронтенде вместо зоопарка сертификатов и их обновления на каждом бэкенде;
- Nextcloud требует заголовок
Strict-Transport-Security— добавить его можно только в режимеhttp; option forwardforпередаёт бэкендам реальный IP клиента — критично для журналов безопасности Nextcloud и Exchange, иначе в логах все запросы «приходят» с адреса HAProxy.
Минус очевиден: на HAProxy нужно хранить закрытый ключ и следить за его обновлением.
Схема живой установки
клиенты (OWA, Outlook/ActiveSync, веб-клиент Nextcloud)
│ HTTPS :443 (TLS терминируется на HAProxy, wildcard-сертификат)
▼
┌─────────────────────────────┐
│ HAProxy (Ubuntu) │
│ frontend http_in :80 │ → 301 на HTTPS
│ frontend https_in :443 │ → маршрутизация по Host
│ listen stats :8404 │ → страница статистики
└──────┬──────────────┬───────┘
| HTTPS :443 │ HTTPS :4444
▼ ▼
Exchange 2013 Nextcloud
10.10.10.5 10.10.10.17
Установка HAProxy
На Ubuntu установка штатная:
sudo apt update
sudo apt install -y haproxy
haproxy -v
Сертификат для фронтенда HAProxy ожидает в «своём» формате — один PEM-файл, в котором подряд идут закрытый ключ и цепочка сертификатов. Если сертификат получен через certbot, файл собирается так:
sudo cat /etc/letsencrypt/live/example.ru/privkey.pem \
/etc/letsencrypt/live/example.ru/fullchain.pem \
| sudo tee /etc/haproxy/certs/wildcard.example.ru.pem
sudo chmod 600 /etc/haproxy/certs/wildcard.example.ru.pem
После каждого обновления сертификата файл нужно пересобрать и выполнить systemctl reload haproxy — это удобно повесить на
--post-hook/--deploy-hook certbot.
Конфигурация с живой установки
Ниже — рабочий /etc/haproxy/haproxy.cfg целиком, с комментариями по каждому блоку.
Секция global — логирование в syslog, изоляция в chroot, сокет для административных команд и параметр DH для TLS:
global
log /dev/log local0
log /dev/log local1 notice
chroot /var/lib/haproxy
stats socket /run/haproxy/admin.sock mode 660 level admin
stats timeout 30s
user haproxy
group haproxy
daemon
tune.ssl.default-dh-param 2048
Секция defaults — общий режим http и стандартный набор страниц ошибок:
defaults
log global
mode http
option httplog
option dontlognull
timeout connect 5s
timeout client 30s
timeout server 30s
errorfile 400 /etc/haproxy/errors/400.http
errorfile 403 /etc/haproxy/errors/403.http
errorfile 408 /etc/haproxy/errors/408.http
errorfile 500 /etc/haproxy/errors/500.http
errorfile 502 /etc/haproxy/errors/502.http
errorfile 503 /etc/haproxy/errors/503.http
errorfile 504 /etc/haproxy/errors/504.http
Фронтенд на порту 80 делает ровно одно — 301-й редирект на HTTPS:
frontend http_in
bind *:80
mode http
redirect scheme https code 301 if !{ ssl_fc }
Основной фронтенд на 443-м порту. Здесь терминируется TLS, добавляется HSTS (обязательное требование Nextcloud при проверке безопасности), включается передача реального IP клиента и выполняется маршрутизация по заголовку Host:
frontend https_in
bind *:443 ssl crt /etc/haproxy/certs/wildcard.example.ru.pem
mode http
option httplog
option forwardfor except 127.0.0.0/8
# HSTS — обязательное требование Nextcloud
http-response set-header Strict-Transport-Security "max-age=15552000; includeSubDomains; preload"
acl host_mail hdr(host) -i mail.example.ru
acl host_nc hdr(host) -i nc.example.ru
use_backend backend_exchange if host_mail
use_backend backend_nextcloud if host_nc
Бэкенды. Обратите внимание: к бэкендам HAProxy подключается тоже по HTTPS, поэтому в строках server указано ssl. Проверка сертификата бэкенда отключена (verify none) — внутри периметра Exchange 2013 отдаёт самоподписанный сертификат, и проверять его нечем и незачем:
backend backend_exchange
server exchange1 10.10.10.5:443 ssl verify none
backend backend_nextcloud
server nextcloud1 10.10.10.17:4444 ssl verify none
Страница статистики — на отдельном порту 8404, с авторизацией и скрытой версией HAProxy:
listen stats
bind *:8404
mode http
stats enable
stats uri /haproxy?stats
stats refresh 30s
stats auth admin:CHANGE_ME_STRONG_PASSWORD
stats hide-version
Порт 8404 не должен быть доступен снаружи — на боевом маршрутизаторе наружу проброшены только 80 и 443, а статистика смотрится из внутренней сети. Пароль в примере заменён — в реальном конфиге должен быть длинный и уникальный.
Нюансы боевого конфига
Несколько моментов, которые неочевидны, пока не столкнёшься.
HSTS добавляется на HAProxy, а не на бэкенде.
Проверка безопасности Nextcloud ругается на отсутствие
Strict-Transport-Security. Поскольку внешние клиенты разговаривают только с HAProxy, заголовок логично ставить здесь — одной строкой http-response set-header для всех бэкендов сразу.
option forwardfor — чтобы бэкенды видели реальные IP. Без этой опции Exchange и Nextcloud в логах фиксируют адрес HAProxy как источник всех запросов: ломается и аудит входов в почту, и защита от перебора паролей в Nextcloud. Исключение
except 127.0.0.0/8 не добавляет заголовок для локальных проверок.
Nextcloud уехал на нестандартный порт. В первой версии конфига Nextcloud слушал стандартный 443, затем в живой установке его перенесли на 4444 — на стороне HAProxy это меняет ровно одну цифру в строке server, клиенты снаружи ничего не заметили: для них как был https://nc.example.ru на 443-м, так и остался. Это и есть практическая ценность прокси: внутренняя адресация перестаёт быть связана с внешней.
verify none осознанно. Проверка сертификата бэкенда отключена, потому что Exchange 2013 отдаёт свой штатный самоподписанный сертификат. Трафик между HAProxy и бэкендами остаётся зашифрованным; если хочется полноценной проверки — выпустите внутренний CA и используйте verify required ca-file ..., но для изолированного сегмента это чаще избыточно.
stats hide-version и авторизация.
Страница статистики по умолчанию показывает версию HAProxy — лишняя информация для разведки, поэтому версия скрыта, а доступ закрыт паролем.
Таймауты: ловушка с ActiveSync
В defaults живой установки стоят
timeout client 30s и timeout server 30s — разумные значения для веба, но у Exchange есть ActiveSync с long polling: мобильный клиент открывает запрос Sync и держит его до 30–60 минут, ожидая новых писем. С таймаутом 30 секунд такие запросы будут обрываться — синхронизация на телефонах начнёт «подвисать» и переподключаться.
Решение — увеличить таймауты для бэкенда Exchange:
backend backend_exchange
timeout client 1h
timeout server 1h
server exchange1 10.10.10.5:443 ssl verify none check
Заодно в строку server добавлен параметр
check — HAProxy начнёт периодически проверять живость бэкенда и честно покажет его состояние в статистике, а при падении вернёт клиенту 503 вместо зависшего соединения. Для более частых проверок: check inter 2s rise 2 fall 3.
Статистика и мониторинг
Страница статистики открывается по адресу
http://IP_HAProxy:8404/haproxy?stats — именно так, с URI
/haproxy?stats, а не просто по корню порта 8404. На странице видно состояние каждого фронтенда и бэкенда, количество сессий, ошибки и коды ответов — первое место, куда имеет смысл смотреть при жалобах «не открывается почта».
Для постоянного наблюдения есть встроенный авто-refresh (stats refresh 30s). Доступ к управлению серверами через веб-страницу стоит ограничить:
listen stats
...
stats admin if LOCALHOST
# или только из внутренней сети:
# stats admin if { src 10.10.10.0/24 }
Логи HAProxy идут в syslog (log /dev/log local0). Чтобы не смешивать их с остальными, добавьте в
/etc/rsyslog.d/haproxy.conf:
local0.* /var/log/haproxy.log
local1.* /var/log/haproxy-notice.log
и перезапустите rsyslog:
sudo systemctl restart rsyslog.
Как проверить
Перед перезапуском — обязательная проверка синтаксиса:
sudo haproxy -c -f /etc/haproxy/haproxy.cfg
# Configuration file is valid
Перезапуск и проверка слушающих портов:
sudo systemctl reload haproxy
sudo ss -tlnp | grep haproxy
# ожидаем LISTEN на 80, 443 и 8404
Доступность бэкендов с сервера HAProxy (-k — потому что сертификат Exchange самоподписанный):
curl -kI https://10.10.10.5:443/owa/
curl -kI https://10.10.10.17:4444/status.php
Маршрутизацию по имени удобно проверять openssl — так видно, какой сертификат отдаётся и что SNI доходит:
openssl s_client -connect IP_HAProxy:443 -servername mail.example.ru -tlsextdebug
openssl s_client -connect IP_HAProxy:443 -servername nc.example.ru -tlsextdebug
И финальный тест из браузера: https://mail.example.ru
должен открыть OWA, https://nc.example.ru — Nextcloud, а
http://mail.example.ru — перенаправить на HTTPS.
Типичные проблемы (из практики)
| Проблема | Причина | Решение |
|---|---|---|
| Ошибка 503 на странице статистики | Открыт неверный URI (/ вместо
/haproxy?stats) или в секции stats нет
mode http |
Проверить URI в браузере; убедиться, что в listen stats
явно указан mode http |
Предупреждение 'stats' statement ignored в логах |
Секция stats унаследовала mode tcp из
defaults |
Добавить mode http в listen stats |
| 503 для обоих доменов | Бэкенды не отвечают или не проходят check |
Проверить доступность с сервера HAProxy (curl -k https://IP:443); временно убрать
check либо настроить проверку корректно |
| Порты не слушаются после рестарта | Синтаксическая ошибка в конфиге, HAProxy не запустился | haproxy -c -f, затем
journalctl -u haproxy |
| Не работает маршрутизация по имени | ACL не совпадает с именем, которое реально передаёт клиент | Проверить SNI:
openssl s_client -connect IP:443 -servername mail.example.ru -tlsextdebug |
| Отваливается синхронизация почты на телефонах | timeout client/server 30s обрывает long polling ActiveSync |
Увеличить таймауты до 1h в бэкенде Exchange |
| В логах бэкендов все запросы с IP HAProxy | Не включён option forwardfor |
Добавить option forwardfor except 127.0.0.0/8 во фронтенд |
Итог
Связка «один внешний IP + несколько HTTPS-сервисов» закрывается HAProxy без покупки дополнительных адресов и без выноса сервисов на нестандартные порты снаружи. В живой установке Exchange 2013 и Nextcloud сидят за одним фронтендом с терминацией TLS и wildcard-сертификатом, маршрутизацией по Host, HSTS для Nextcloud и
forwardfor для честных логов на бэкендах. Если модифицировать HTTP не нужно, задачу решает и более простой вариант — passthrough по SNI в mode tcp, где сертификаты остаются только на бэкендах. Три вещи, о которых стоит помнить при внедрении: увеличенные таймауты для ActiveSync, явный mode http в секции статистики и закрытый снаружи порт 8404.