Инженер — это не профессия, а состояние души

Один внешний IP-адрес и несколько внутренних HTTPS-сервисов — почтовый сервер Exchange 2013 (OWA, ActiveSync, Autodiscover) и файловое облако Nextcloud — должны быть доступны снаружи по разным доменным именам. Классическое решение «пробросить порт 443 на один сервер» здесь не работает: порт один, а серверов два. Задачу решает HAProxy: он принимает весь входящий HTTPS-трафик и раскидывает его по бэкендам в зависимости от запрошенного имени. В статье — конфигурация с реально работающей установки: Exchange 2013 и Nextcloud за одним фронтендом HAProxy, с терминацией TLS, редиректом HTTP→HTTPS, HSTS и страницей статистики.

Важно: конфигурация взята с продуктивной установки

В отличие от стендовых статей серии, конфиг ниже — не синтетический пример, а реально работающий /etc/haproxy/haproxy.cfg, под которым ходит почта и файлообменник. Доменные имена, пароль статистики и часть адресов заменены на примеры — подставьте свои значения.

Задача: один внешний IP, несколько HTTPS-сервисов

Исходные условия типичны для небольшой организации:

  • один публичный IP-адрес, порты 80 и 443 проброшены (DNAT) на сервер с HAProxy;
  • внутри — Exchange 2013 на 10.10.10.5:443 и Nextcloud на 10.10.10.17 (в боевой установке Nextcloud переехал на нестандартный порт 4444, об этом ниже);
  • снаружи сервисы различаются доменными именами: mail.example.ru (плюс autodiscover.example.ru для Exchange) и nc.example.ru;
  • DNS-записи всех имён указывают на один и тот же внешний IP.

Маршрутизатор умеет различать только IP и порт, а нужно различать имя хоста внутри TLS-соединения — это уровень выше, и его умеет HAProxy.

Два подхода: passthrough по SNI и терминация TLS на HAProxy

Способов разрулить HTTPS по имени два, и выбор между ними определяет весь конфиг.

SSL-passthrough (mode tcp). HAProxy не расшифровывает трафик: он заглядывает только в TLS ClientHello, вытаскивает оттуда SNI (Server Name Indication — доменное имя, которое клиент открытым текстом передаёт в начале рукопожатия) и прозрачно проксирует TCP-поток на нужный бэкенд:

frontend https_in
    bind *:443
    mode tcp
    tcp-request inspect-delay 5s
    tcp-request content accept if { req.ssl_hello_type 1 }

    acl is_exchange req.ssl_sni -i mail.example.ru autodiscover.example.ru
    acl is_nextcloud req.ssl_sni -i nc.example.ru

    use_backend backend_exchange if is_exchange
    use_backend backend_nextcloud if is_nextcloud

Плюсы: сертификаты живут только на бэкендах, HAProxy не видит содержимого трафика, схема максимально проста. Минус: HAProxy работает на уровне TCP и не может ничего сделать с HTTP — ни заголовок добавить, ни X-Forwarded-For передать.

Терминация TLS на HAProxy (mode http). HAProxy сам держит сертификат (в живой установке — один wildcard на весь домен), расшифровывает трафик и маршрутизирует уже по HTTP-заголовку Host. К бэкендам соединение устанавливается заново, тоже по HTTPS (так называемая ре-шифрация).

Именно второй вариант работает на живой установке, и у выбора есть конкретные причины:

  • один wildcard-сертификат на фронтенде вместо зоопарка сертификатов и их обновления на каждом бэкенде;
  • Nextcloud требует заголовок Strict-Transport-Security — добавить его можно только в режиме http;
  • option forwardfor передаёт бэкендам реальный IP клиента — критично для журналов безопасности Nextcloud и Exchange, иначе в логах все запросы «приходят» с адреса HAProxy.

Минус очевиден: на HAProxy нужно хранить закрытый ключ и следить за его обновлением.

Схема живой установки

клиенты (OWA, Outlook/ActiveSync, веб-клиент Nextcloud)
        │  HTTPS :443  (TLS терминируется на HAProxy, wildcard-сертификат)
        ▼
┌─────────────────────────────┐
│  HAProxy (Ubuntu)         │
│  frontend http_in   :80   │  → 301 на HTTPS
│  frontend https_in  :443  │  → маршрутизация по Host
│  listen stats       :8404 │  → страница статистики
└──────┬──────────────┬───────┘
      | HTTPS :443  │ HTTPS :4444
      ▼             ▼
 Exchange 2013     Nextcloud
 10.10.10.5       10.10.10.17

Установка HAProxy

На Ubuntu установка штатная:

sudo apt update
sudo apt install -y haproxy
haproxy -v

Сертификат для фронтенда HAProxy ожидает в «своём» формате — один PEM-файл, в котором подряд идут закрытый ключ и цепочка сертификатов. Если сертификат получен через certbot, файл собирается так:

sudo cat /etc/letsencrypt/live/example.ru/privkey.pem \
         /etc/letsencrypt/live/example.ru/fullchain.pem \
    | sudo tee /etc/haproxy/certs/wildcard.example.ru.pem
sudo chmod 600 /etc/haproxy/certs/wildcard.example.ru.pem

После каждого обновления сертификата файл нужно пересобрать и выполнить systemctl reload haproxy — это удобно повесить на --post-hook/--deploy-hook certbot.

Конфигурация с живой установки

Ниже — рабочий /etc/haproxy/haproxy.cfg целиком, с комментариями по каждому блоку.

Секция global — логирование в syslog, изоляция в chroot, сокет для административных команд и параметр DH для TLS:

global
    log /dev/log local0
    log /dev/log local1 notice
    chroot /var/lib/haproxy
    stats socket /run/haproxy/admin.sock mode 660 level admin
    stats timeout 30s
    user haproxy
    group haproxy
    daemon
    tune.ssl.default-dh-param 2048

Секция defaults — общий режим http и стандартный набор страниц ошибок:

defaults
    log     global
    mode    http
    option  httplog
    option  dontlognull
    timeout connect 5s
    timeout client  30s
    timeout server  30s
    errorfile 400 /etc/haproxy/errors/400.http
    errorfile 403 /etc/haproxy/errors/403.http
    errorfile 408 /etc/haproxy/errors/408.http
    errorfile 500 /etc/haproxy/errors/500.http
    errorfile 502 /etc/haproxy/errors/502.http
    errorfile 503 /etc/haproxy/errors/503.http
    errorfile 504 /etc/haproxy/errors/504.http

Фронтенд на порту 80 делает ровно одно — 301-й редирект на HTTPS:

frontend http_in
    bind *:80
    mode http
    redirect scheme https code 301 if !{ ssl_fc }

Основной фронтенд на 443-м порту. Здесь терминируется TLS, добавляется HSTS (обязательное требование Nextcloud при проверке безопасности), включается передача реального IP клиента и выполняется маршрутизация по заголовку Host:

frontend https_in
    bind *:443 ssl crt /etc/haproxy/certs/wildcard.example.ru.pem
    mode http
    option httplog
    option forwardfor except 127.0.0.0/8

    # HSTS — обязательное требование Nextcloud
    http-response set-header Strict-Transport-Security "max-age=15552000; includeSubDomains; preload"

    acl host_mail hdr(host) -i mail.example.ru
    acl host_nc   hdr(host) -i nc.example.ru

    use_backend backend_exchange if host_mail
    use_backend backend_nextcloud if host_nc

Бэкенды. Обратите внимание: к бэкендам HAProxy подключается тоже по HTTPS, поэтому в строках server указано ssl. Проверка сертификата бэкенда отключена (verify none) — внутри периметра Exchange 2013 отдаёт самоподписанный сертификат, и проверять его нечем и незачем:

backend backend_exchange
    server exchange1 10.10.10.5:443 ssl verify none

backend backend_nextcloud
    server nextcloud1 10.10.10.17:4444 ssl verify none

Страница статистики — на отдельном порту 8404, с авторизацией и скрытой версией HAProxy:

listen stats
    bind *:8404
    mode http
    stats enable
    stats uri /haproxy?stats
    stats refresh 30s
    stats auth admin:CHANGE_ME_STRONG_PASSWORD
    stats hide-version

Порт 8404 не должен быть доступен снаружи — на боевом маршрутизаторе наружу проброшены только 80 и 443, а статистика смотрится из внутренней сети. Пароль в примере заменён — в реальном конфиге должен быть длинный и уникальный.

Нюансы боевого конфига

Несколько моментов, которые неочевидны, пока не столкнёшься.

HSTS добавляется на HAProxy, а не на бэкенде. Проверка безопасности Nextcloud ругается на отсутствие Strict-Transport-Security. Поскольку внешние клиенты разговаривают только с HAProxy, заголовок логично ставить здесь — одной строкой http-response set-header для всех бэкендов сразу.

option forwardfor — чтобы бэкенды видели реальные IP. Без этой опции Exchange и Nextcloud в логах фиксируют адрес HAProxy как источник всех запросов: ломается и аудит входов в почту, и защита от перебора паролей в Nextcloud. Исключение except 127.0.0.0/8 не добавляет заголовок для локальных проверок.

Nextcloud уехал на нестандартный порт. В первой версии конфига Nextcloud слушал стандартный 443, затем в живой установке его перенесли на 4444 — на стороне HAProxy это меняет ровно одну цифру в строке server, клиенты снаружи ничего не заметили: для них как был https://nc.example.ru на 443-м, так и остался. Это и есть практическая ценность прокси: внутренняя адресация перестаёт быть связана с внешней.

verify none осознанно. Проверка сертификата бэкенда отключена, потому что Exchange 2013 отдаёт свой штатный самоподписанный сертификат. Трафик между HAProxy и бэкендами остаётся зашифрованным; если хочется полноценной проверки — выпустите внутренний CA и используйте verify required ca-file ..., но для изолированного сегмента это чаще избыточно.

stats hide-version и авторизация. Страница статистики по умолчанию показывает версию HAProxy — лишняя информация для разведки, поэтому версия скрыта, а доступ закрыт паролем.

Таймауты: ловушка с ActiveSync

В defaults живой установки стоят timeout client 30s и timeout server 30s — разумные значения для веба, но у Exchange есть ActiveSync с long polling: мобильный клиент открывает запрос Sync и держит его до 30–60 минут, ожидая новых писем. С таймаутом 30 секунд такие запросы будут обрываться — синхронизация на телефонах начнёт «подвисать» и переподключаться.

Решение — увеличить таймауты для бэкенда Exchange:

backend backend_exchange
    timeout client  1h
    timeout server  1h
    server exchange1 10.10.10.5:443 ssl verify none check

Заодно в строку server добавлен параметр check — HAProxy начнёт периодически проверять живость бэкенда и честно покажет его состояние в статистике, а при падении вернёт клиенту 503 вместо зависшего соединения. Для более частых проверок: check inter 2s rise 2 fall 3.

Статистика и мониторинг

Страница статистики открывается по адресу http://IP_HAProxy:8404/haproxy?stats — именно так, с URI /haproxy?stats, а не просто по корню порта 8404. На странице видно состояние каждого фронтенда и бэкенда, количество сессий, ошибки и коды ответов — первое место, куда имеет смысл смотреть при жалобах «не открывается почта».

Для постоянного наблюдения есть встроенный авто-refresh (stats refresh 30s). Доступ к управлению серверами через веб-страницу стоит ограничить:

listen stats
    ...
    stats admin if LOCALHOST
    # или только из внутренней сети:
    # stats admin if { src 10.10.10.0/24 }

Логи HAProxy идут в syslog (log /dev/log local0). Чтобы не смешивать их с остальными, добавьте в /etc/rsyslog.d/haproxy.conf:

local0.*    /var/log/haproxy.log
local1.*    /var/log/haproxy-notice.log

и перезапустите rsyslog: sudo systemctl restart rsyslog.

Как проверить

Перед перезапуском — обязательная проверка синтаксиса:

sudo haproxy -c -f /etc/haproxy/haproxy.cfg
# Configuration file is valid

Перезапуск и проверка слушающих портов:

sudo systemctl reload haproxy
sudo ss -tlnp | grep haproxy
# ожидаем LISTEN на 80, 443 и 8404

Доступность бэкендов с сервера HAProxy (-k — потому что сертификат Exchange самоподписанный):

curl -kI https://10.10.10.5:443/owa/
curl -kI https://10.10.10.17:4444/status.php

Маршрутизацию по имени удобно проверять openssl — так видно, какой сертификат отдаётся и что SNI доходит:

openssl s_client -connect IP_HAProxy:443 -servername mail.example.ru -tlsextdebug
openssl s_client -connect IP_HAProxy:443 -servername nc.example.ru -tlsextdebug

И финальный тест из браузера: https://mail.example.ru должен открыть OWA, https://nc.example.ru — Nextcloud, а http://mail.example.ru — перенаправить на HTTPS.

Типичные проблемы (из практики)

Проблема Причина Решение
Ошибка 503 на странице статистики Открыт неверный URI (/ вместо /haproxy?stats) или в секции stats нет mode http Проверить URI в браузере; убедиться, что в listen stats явно указан mode http
Предупреждение 'stats' statement ignored в логах Секция stats унаследовала mode tcp из defaults Добавить mode http в listen stats
503 для обоих доменов Бэкенды не отвечают или не проходят check Проверить доступность с сервера HAProxy (curl -k https://IP:443); временно убрать check либо настроить проверку корректно
Порты не слушаются после рестарта Синтаксическая ошибка в конфиге, HAProxy не запустился haproxy -c -f, затем journalctl -u haproxy
Не работает маршрутизация по имени ACL не совпадает с именем, которое реально передаёт клиент Проверить SNI: openssl s_client -connect IP:443 -servername mail.example.ru -tlsextdebug
Отваливается синхронизация почты на телефонах timeout client/server 30s обрывает long polling ActiveSync Увеличить таймауты до 1h в бэкенде Exchange
В логах бэкендов все запросы с IP HAProxy Не включён option forwardfor Добавить option forwardfor except 127.0.0.0/8 во фронтенд

Итог

Связка «один внешний IP + несколько HTTPS-сервисов» закрывается HAProxy без покупки дополнительных адресов и без выноса сервисов на нестандартные порты снаружи. В живой установке Exchange 2013 и Nextcloud сидят за одним фронтендом с терминацией TLS и wildcard-сертификатом, маршрутизацией по Host, HSTS для Nextcloud и forwardfor для честных логов на бэкендах. Если модифицировать HTTP не нужно, задачу решает и более простой вариант — passthrough по SNI в mode tcp, где сертификаты остаются только на бэкендах. Три вещи, о которых стоит помнить при внедрении: увеличенные таймауты для ActiveSync, явный mode http в секции статистики и закрытый снаружи порт 8404.

← Все статьи раздела «Сетевое администрирование»