Назад в блог

Алерты Prometheus Alertmanager на телефон: маршрутизация по severity, группировка и тихие resolved

Алерты Prometheus Alertmanager на телефон: маршрутизация по severity, группировка и тихие resolved

Prometheus хорошо замечает, что что-то пошло не так. Доставить эту новость человеку — задача Alertmanager, и во многих настройках она оказывается в папке почты или в канале Slack, который в 3 часа ночи никто не читает.

У Alertmanager нет собственного push-приложения, но есть универсальный receiver с вебхуком, и этого достаточно, чтобы получать алерты на телефон. В этом руководстве настройка с маршрутизацией по severity: алерты critical приходят громко, предупреждения — как обычные уведомления, а уведомления «resolved» — тихо. Всё описанное здесь проверено на Alertmanager 0.34.2 и Prometheus 3.15.1 в Docker. Payload-ы были записаны и прогнаны через собственный код шаблонов Pocket Alert.

Что понадобится

  • Alertmanager 0.31 или новее для полной настройки. Старые версии рассмотрены ниже.
  • Приложение Pocket Alert на iPhone или Android и API-ключ из API-ключи.
  • Платный тариф для варианта с тремя вебхуками, так как на бесплатном тарифе доступен один вебхук. Вариант с одним вебхуком описан ближе к концу.

Что отправляет Alertmanager

Alertmanager не отправляет отдельный запрос на каждый алерт. Он собирает алерты в группы по меткам из group_by и отправляет одно уведомление на группу: POST-запрос с фиксированным JSON-телом, "version": "4". Если при group_by: ['alertname'] упали два хоста, уходит один запрос. Вот он, немного сокращённый:

{
  "receiver": "pocketalert-critical",
  "status": "firing",
  "alerts": [
    {
      "status": "firing",
      "labels": {"alertname": "InstanceDown", "instance": "web-1:9100", "job": "node", "severity": "critical"},
      "annotations": {"summary": "web-1:9100 is down"},
      "startsAt": "2026-10-31T16:17:04.374Z",
      "generatorURL": "http://prometheus.example.com:9090/graph?g0.expr=up%7Bjob%3D%22node%22%7D+%3D%3D+0&g0.tab=1"
    },
    {
      "status": "firing",
      "labels": {"alertname": "InstanceDown", "instance": "web-2:9100", "job": "node", "severity": "critical"},
      "annotations": {"summary": "web-2:9100 is down"}
    }
  ],
  "notification_reason": "first notification",
  "groupLabels": {"alertname": "InstanceDown"},
  "commonLabels": {"alertname": "InstanceDown", "job": "node", "severity": "critical"},
  "commonAnnotations": {},
  "routeLabels": {},
  "externalURL": "http://alertmanager.example.com:9093",
  "version": "4",
  "groupKey": "{}/{severity=\"critical\"}:{alertname=\"InstanceDown\"}",
  "truncatedAlerts": 0
}

Четыре вещи в этом payload определяют настройку:

  • Одно push-уведомление на группу. Отдельные алерты лежат в массиве alerts, поэтому шаблон сообщения должен работать с массивом.
  • commonAnnotations часто пустой. Туда попадают только аннотации, одинаковые для всех алертов группы. Сводка, в которой упоминается инстанс, у каждого алерта своя, поэтому там её не будет.
  • status относится к группе. Он равен resolved, только если все алерты группы resolved. Когда один хост восстановился, а другой ещё лежит, статус остаётся firing, а восстановленный алерт присутствует внутри со своим "status": "resolved".
  • Поля верхнего уровня level нет, а именно там вебхук Pocket Alert ищет приоритет. Поэтому приоритет задаётся уровнем по умолчанию у вебхука, и в этом руководстве на каждый уровень громкости один вебхук.

Шаг 1: создайте вебхуки Pocket Alert

Вебхукdefault_levelПолучает
Prometheus critical2 (критический)Группы в статусе firing с severity="critical"
Prometheus warning0 (по умолчанию)Все остальные группы в статусе firing
Prometheus resolved-1 (низкий)Группы, в которых все алерты resolved

Кнопки можно задать только через API, поэтому создайте все три вебхука одним скриптом:

PA_KEY='your-api-key'

FIRING='%groupLabels.alertname%: %alerts.#(status=="firing")#|#% firing
%alerts.#(status=="firing").annotations.summary%
Firing: %alerts.#(status=="firing")#.labels.instance%'

RESOLVED='Resolved: %groupLabels.alertname% (%commonLabels.severity%)
%alerts.#.labels.instance%'

BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"}]'

create_webhook() {
  jq -n --arg name "$1" --argjson level "$2" --arg message "$3" --arg actions "$4" \
    '{name: $name, default_level: $level, message: $message, actions: $actions}' |
  curl -sS https://api.pocketalert.app/v1/webhooks \
    -H "Token: $PA_KEY" \
    -H 'Content-Type: application/json' \
    --data-binary @- |
  jq -r '"\(.name): https://p4a.me/wh/\(.url)"'
}

create_webhook 'Prometheus critical' 2 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus warning' 0 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus resolved' -1 "$RESOLVED" ''

Скрипт выводит три URL для приёма. Сохраните слаг в конце каждого: вы вставите слаги в alertmanager.yml.

Плейсхолдеры %...% — это пути GJSON, а GJSON умеет запрашивать массивы:

  • alerts.#(status=="firing")#|# считает алерты группы, которые всё ещё в статусе firing.
  • alerts.#(status=="firing").annotations.summary — сводка первого алерта в статусе firing.
  • alerts.#(status=="firing")#.labels.instance выводит инстансы всех алертов в статусе firing. Результат выглядит как JSON-массив, например ["web-1:9100","web-2:9100"], потому что строковой функции объединения нет.

Путь, которого нет, выводится как пустая строка, поэтому ошибочный путь даёт пустую строку, а не потерянный алерт. Pocket Alert называет каждое push-уведомление от вебхука Webhook <name>, так что заголовок будет «Webhook Prometheus critical», а название алерта окажется в первой строке сообщения. Уровень critical требует платного тарифа, который всё равно нужен для трёх вебхуков. Он проигрывается через переключатель беззвучного режима и режим «Не беспокоить» на iPhone и занимает весь экран на Android. Если не хотите, чтобы алерты обходили «Не беспокоить», используйте 1 (высокий).

Шаг 2: alertmanager.yml

Замените три плейсхолдера *_SLUG на свои слаги:

route:
  receiver: pocketalert-warning
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers: ['severity="critical"']
      receiver: pocketalert-critical
      group_wait: 10s
      repeat_interval: 1h
    - matchers: ['severity="info"']
      receiver: blackhole

receivers:
  - name: pocketalert-critical
    webhook_configs:
      - url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}CRITICAL_SLUG{{ end }}'
        send_resolved: true
        max_alerts: 20
  - name: pocketalert-warning
    webhook_configs:
      - url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}WARNING_SLUG{{ end }}'
        send_resolved: true
        max_alerts: 20
  - name: blackhole

inhibit_rules:
  - source_matchers: ['severity="critical"']
    target_matchers: ['severity="warning"']
    equal: ['alertname', 'instance', 'mountpoint']

Как работают части:

  • Маршрутизация по severity. severity="critical" идёт в громкий receiver, info отбрасывается, а всё остальное, включая алерты без метки severity, попадает в receiver предупреждений.
  • URL выбирает вебхук. Начиная с 0.31.0 url вебхука — это шаблон. Группа со статусом resolved идёт в тихий вебхук, всё остальное — в собственный вебхук receiver. send_resolved по умолчанию уже true для вебхуков, но указан явно, чтобы никто не выключил его без ведома.
  • max_alerts: 20 ограничивает число алертов в одном запросе. В тесте одновременно упали 25 хостов. В результате пришло одно push-уведомление «20 firing» и truncatedAlerts: 5 в payload.
  • Подавление (inhibition). Когда срабатывает критический DiskSpaceLow для файловой системы, предупреждение с тем же alertname, instance и mountpoint глушится. amtool alert query --inhibited показывает его как suppressed.

Проверьте конфиг и маршрутизацию перед перезагрузкой:

amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml severity=critical alertname=Test

Вторая команда выводит pocketalert-critical.

Запускайте Alertmanager с --web.external-url, указывающим на адрес, который открывается с вашего телефона. Без этого externalURL будет просто именем хоста. В Docker это было http://de48ea5ffc29:9093, и кнопка получилась бесполезной.

Сначала проверьте версию

alertmanager --version должна показывать 0.31 или новее для шаблонного URL. Версия 0.30.1 принимает этот же конфиг, и amtool check-config выдаёт SUCCESS, но шаблон не рендерит. Запрос уходил на /wh/%7B%7B%20if%20eq%20.Status..., которого не существует ни у одного вебхука. На старых версиях укажите каждому receiver обычный URL собственного вебхука. Уведомления resolved тогда придут с уровнем этого вебхука.

Шаг 3: правила с меткой severity

Маршрутизация выше работает, только если в правилах задано severity. Вот два примера (больше идей, за чем следить, есть на странице мониторинг серверов). DiskSpaceLow задан на двух порогах, чтобы правило подавления имело смысл:

groups:
  - name: node
    rules:
      - alert: InstanceDown
        expr: up{job="node"} == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: '{{ $labels.instance }} is down'

      - alert: DiskSpaceLow
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 15
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'

      - alert: DiskSpaceLow
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 5
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'

promtool check rules rules.yml проверяет файл. Укажите в prometheus.yml путь к файлу и адрес Alertmanager:

rule_files: [rules.yml]
alerting:
  alertmanagers:
    - static_configs:
        - targets: ['alertmanager:9093']

Проверка через amtool

Создайте тестовый алерт, дождитесь group_wait (10 секунд на критическом маршруте) и снимите его:

amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
  --annotation='summary="Test alert from amtool"'

amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
  --annotation='summary="Test alert from amtool"' --end="$(date -u +%Y-%m-%dT%H:%M:%SZ)"

Сохраняйте внутренние двойные кавычки в аннотации, иначе amtool предупредит, что перешёл на старый парсер. Push о resolved придёт на следующем тике group_interval, при этой конфигурации это может занять до 5 минут.

Что приходит на телефон

Ниже сообщения, которые Pocket Alert формирует из реальных payload-ов теста, где Prometheus увидел, как web-1 и web-2 упали и вернулись:

Webhook Prometheus critical
InstanceDown: 2 firing
web-1:9100 is down
Firing: ["web-1:9100","web-2:9100"]

Когда web-1 восстанавливается, Alertmanager отправляет обновление на следующем group_interval. Группа всё ещё в статусе firing, поэтому уведомление уходит в критический вебхук:

Webhook Prometheus critical
InstanceDown: 1 firing
web-2:9100 is down
Firing: ["web-2:9100"]

Когда оба восстановлены, приходит push низкого приоритета:

Webhook Prometheus resolved
Resolved: InstanceDown (critical)
["web-1:9100","web-2:9100"]

Таймеры: как не получить шквал push-уведомлений

ПараметрЧто делаетЗдесь
group_waitСколько новая группа ждёт дополнительных алертов перед первым push-уведомлением30s, 10s для critical
group_intervalМинимальный интервал между push-уведомлениями для группы, в которой изменились алерты5m
repeat_intervalНапоминание для группы, которая всё ещё в статусе firing и не менялась4h, 1h для critical

Группа отправляет не чаще одного push-уведомления за group_interval, поэтому мигающий алерт при 5m обойдётся максимум в 12 push-уведомлений в час. Авария, которая длится сутки, при repeat_interval 1h даст 24 напоминания. Основную работу делает группировка: отказ коммутатора, который роняет 40 хостов, — это одно push-уведомление, а не 40. Не используйте group_by: ['...']: группировка по всем меткам снова превратит всё в одно уведомление на каждый алерт. У тарифов есть дневные лимиты сообщений (у Starter — 1 000 в день), и каждый запрос к вебхуку, который создаёт сообщение, расходует лимит.

Кнопки: Alertmanager и Grafana

Шаблон BUTTONS выше добавляет кнопку «Alertmanager». Можно добавить до трёх кнопок действий. Эта кнопка открывает дашборд Grafana для первого инстанса в статусе firing:

BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"},{"type":"view","label":"Grafana","value":"https://grafana.example.com/d/YOUR_DASHBOARD?var-instance=%alerts.#(status=="firing").labels.instance%"}]'

Неэкранированные кавычки внутри плейсхолдера выглядят неправильно, но работают: Pocket Alert сначала подставляет плейсхолдеры, а JSON разбирает уже потом.

Осторожно с пустыми значениями. Кнопка, у которой value оказался пустым, пропускается в этом push-уведомлении; остальные кнопки и текст всё равно придут. %alerts.0.generatorURL% (ссылка на график Prometheus) хорошо подходит для алертов из Prometheus, но у алертов, отправленных через amtool, нет generator URL, поэтому кнопки не будет. Кнопки действий доступны на платном тарифе.

Alertmanager 0.32+: прямой вызов API

В старых руководствах говорится, что Alertmanager не может менять тело вебхука. В 0.32.0 это изменилось: появилась опция payload в webhook_configs. Вместе с http_config.http_headers, которые могут передавать заголовок Token, Alertmanager может отправлять POST прямо на https://api.pocketalert.app/v1/messages со своим заголовком и уровнем.

Здесь есть ловушка. Alertmanager разбирает каждое отрендеренное значение как YAML. В тесте payload, собранный поле за полем с message: '{{ range .Alerts }}{{ .Annotations.summary }}...', превратил сводку web-1:9100: / has 12% free в объект {"web-1:9100": "/ has 12% free"}. API отклоняет это с ошибкой 400. Alertmanager не повторяет 4xx сразу; он отправляет тот же сломанный запрос при каждом group_interval, поэтому алерт так и не доходит.

Сборка всего тела через dict и toJson решает проблему:

receivers:
  - name: pocketalert-api
    webhook_configs:
      - url: https://api.pocketalert.app/v1/messages
        http_config:
          http_headers:
            Token:
              files: [/etc/alertmanager/pocketalert.key]
        payload: >-
          {{ $msg := "" }}{{ range .Alerts }}{{ $msg = printf "%s%s: %s\n" $msg .Status .Annotations.summary }}{{ end }}
          {{ $level := "default" }}{{ if eq .Status "resolved" }}{{ $level = "low" }}{{ else if eq .CommonLabels.severity "critical" }}{{ $level = "critical" }}{{ end }}
          {{ dict "title" (printf "[%s] %s" (toUpper .Status) .GroupLabels.alertname) "message" $msg "level" $level | toJson }}

Со сводкой, содержащей двоеточие и кавычки, отправилось:

{"level":"critical","message":"firing: web-1:9100: / has 4% free, \"quoted\"\nfiring: web-2:9100 / has 3% free\n","title":"[FIRING] DiskSpaceLow"}

Версия для resolved пришла с "level":"low".

Так что что выбрать? Прямой API даёт настоящий заголовок и уровень для каждого уведомления, всё из одного receiver и без вебхуков. Вебхук не требует API-ключа в Alertmanager и работает на любой версии (вариант с обычным URL). Неверный путь выводится пустой строкой вместо отклонённого запроса, а каждый запрос виден в истории вебхуков. В собственной документации Alertmanager payload помечен как «использовать на свой риск», поэтому проверьте его через amtool, прежде чем полагаться на него.

На бесплатном тарифе

На бесплатном тарифе один вебхук, 50 сообщений в день, без кнопок, а critical доставляется как high. Создайте один вебхук с default_level: 1, укажите его обычный URL в одном receiver и уберите маршруты по severity. Уведомления resolved тогда тоже придут с уровнем high, если не задать send_resolved: false. На Alertmanager 0.32+ конфиг с прямым API, описанный выше, лучше подходит для бесплатного тарифа, потому что не требует вебхука и задаёт уровень для каждого уведомления.

Если ничего не приходит

  • Смотрите лог Alertmanager. Неудачная доставка записывает Notify for alerts failed с кодом ответа. 404 означает неверный слаг или шаблонный URL на версии старше 0.31.
  • Откройте историю вебхуков в Pocket Alert. Если запрос там есть, проблема в шаблоне. Если его нет, Alertmanager его не отправлял.
  • Пустые строки означают, что путь не совпадает с payload. Имена полей чувствительны к регистру.
  • Символ % прямо перед плейсхолдером нужно удваивать. % с пробелом после него — это обычный текст, поэтому CPU over 90% on %groupLabels.alertname% работает. Пишите %%, когда % соприкасается с другим текстом, например %commonLabels.usage%%%.
  • Используйте тестер вебхуков, чтобы увидеть, что на самом деле отправляет ваш Alertmanager, прежде чем писать шаблоны.

FAQ

Работает ли это с kube-prometheus-stack?

Да. Receiver — это обычная конфигурация Alertmanager, поэтому он добавляется в конфиг Alertmanager чарта, как любой другой receiver. Прежде чем использовать шаблонный URL или payload, проверьте, какую версию Alertmanager разворачивает чарт. Сторону кластера см. в разделе алерты Kubernetes.

Я использую алертинг Grafana, а не Alertmanager. Что изменится?

Grafana отправляет собственный формат вебхука. См. руководство по Grafana.

Создайте бесплатный аккаунт, запустите скрипт, вставьте три слага в alertmanager.yml, и следующий InstanceDown дойдёт до вашего телефона.

Поделиться статьёй