Алерты Prometheus Alertmanager на телефон: маршрутизация по severity, группировка и тихие resolved

Prometheus хорошо замечает, что что-то пошло не так. Доставить эту новость человеку — задача Alertmanager, и во многих настройках она оказывается в папке почты или в канале Slack, который в 3 часа ночи никто не читает.
У Alertmanager нет собственного push-приложения, но есть универсальный receiver с вебхуком, и этого достаточно, чтобы получать алерты на телефон. В этом руководстве настройка с маршрутизацией по severity: алерты critical приходят громко, предупреждения — как обычные уведомления, а уведомления «resolved» — тихо. Всё описанное здесь проверено на Alertmanager 0.34.2 и Prometheus 3.15.1 в Docker. Payload-ы были записаны и прогнаны через собственный код шаблонов Pocket Alert.
Что понадобится
- Alertmanager 0.31 или новее для полной настройки. Старые версии рассмотрены ниже.
- Приложение Pocket Alert на iPhone или Android и API-ключ из API-ключи.
- Платный тариф для варианта с тремя вебхуками, так как на бесплатном тарифе доступен один вебхук. Вариант с одним вебхуком описан ближе к концу.
Что отправляет Alertmanager
Alertmanager не отправляет отдельный запрос на каждый алерт. Он собирает алерты в группы по меткам из group_by и отправляет одно уведомление на группу: POST-запрос с фиксированным JSON-телом, "version": "4". Если при group_by: ['alertname'] упали два хоста, уходит один запрос. Вот он, немного сокращённый:
{
"receiver": "pocketalert-critical",
"status": "firing",
"alerts": [
{
"status": "firing",
"labels": {"alertname": "InstanceDown", "instance": "web-1:9100", "job": "node", "severity": "critical"},
"annotations": {"summary": "web-1:9100 is down"},
"startsAt": "2026-10-31T16:17:04.374Z",
"generatorURL": "http://prometheus.example.com:9090/graph?g0.expr=up%7Bjob%3D%22node%22%7D+%3D%3D+0&g0.tab=1"
},
{
"status": "firing",
"labels": {"alertname": "InstanceDown", "instance": "web-2:9100", "job": "node", "severity": "critical"},
"annotations": {"summary": "web-2:9100 is down"}
}
],
"notification_reason": "first notification",
"groupLabels": {"alertname": "InstanceDown"},
"commonLabels": {"alertname": "InstanceDown", "job": "node", "severity": "critical"},
"commonAnnotations": {},
"routeLabels": {},
"externalURL": "http://alertmanager.example.com:9093",
"version": "4",
"groupKey": "{}/{severity=\"critical\"}:{alertname=\"InstanceDown\"}",
"truncatedAlerts": 0
}
Четыре вещи в этом payload определяют настройку:
- Одно push-уведомление на группу. Отдельные алерты лежат в массиве
alerts, поэтому шаблон сообщения должен работать с массивом. commonAnnotationsчасто пустой. Туда попадают только аннотации, одинаковые для всех алертов группы. Сводка, в которой упоминается инстанс, у каждого алерта своя, поэтому там её не будет.statusотносится к группе. Он равенresolved, только если все алерты группы resolved. Когда один хост восстановился, а другой ещё лежит, статус остаётсяfiring, а восстановленный алерт присутствует внутри со своим"status": "resolved".- Поля верхнего уровня
levelнет, а именно там вебхук Pocket Alert ищет приоритет. Поэтому приоритет задаётся уровнем по умолчанию у вебхука, и в этом руководстве на каждый уровень громкости один вебхук.
Шаг 1: создайте вебхуки Pocket Alert
| Вебхук | default_level | Получает |
|---|---|---|
| Prometheus critical | 2 (критический) | Группы в статусе firing с severity="critical" |
| Prometheus warning | 0 (по умолчанию) | Все остальные группы в статусе firing |
| Prometheus resolved | -1 (низкий) | Группы, в которых все алерты resolved |
Кнопки можно задать только через API, поэтому создайте все три вебхука одним скриптом:
PA_KEY='your-api-key'
FIRING='%groupLabels.alertname%: %alerts.#(status=="firing")#|#% firing
%alerts.#(status=="firing").annotations.summary%
Firing: %alerts.#(status=="firing")#.labels.instance%'
RESOLVED='Resolved: %groupLabels.alertname% (%commonLabels.severity%)
%alerts.#.labels.instance%'
BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"}]'
create_webhook() {
jq -n --arg name "$1" --argjson level "$2" --arg message "$3" --arg actions "$4" \
'{name: $name, default_level: $level, message: $message, actions: $actions}' |
curl -sS https://api.pocketalert.app/v1/webhooks \
-H "Token: $PA_KEY" \
-H 'Content-Type: application/json' \
--data-binary @- |
jq -r '"\(.name): https://p4a.me/wh/\(.url)"'
}
create_webhook 'Prometheus critical' 2 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus warning' 0 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus resolved' -1 "$RESOLVED" ''
Скрипт выводит три URL для приёма. Сохраните слаг в конце каждого: вы вставите слаги в alertmanager.yml.
Плейсхолдеры %...% — это пути GJSON, а GJSON умеет запрашивать массивы:
alerts.#(status=="firing")#|#считает алерты группы, которые всё ещё в статусе firing.alerts.#(status=="firing").annotations.summary— сводка первого алерта в статусе firing.alerts.#(status=="firing")#.labels.instanceвыводит инстансы всех алертов в статусе firing. Результат выглядит как JSON-массив, например["web-1:9100","web-2:9100"], потому что строковой функции объединения нет.
Путь, которого нет, выводится как пустая строка, поэтому ошибочный путь даёт пустую строку, а не потерянный алерт. Pocket Alert называет каждое push-уведомление от вебхука Webhook <name>, так что заголовок будет «Webhook Prometheus critical», а название алерта окажется в первой строке сообщения. Уровень critical требует платного тарифа, который всё равно нужен для трёх вебхуков. Он проигрывается через переключатель беззвучного режима и режим «Не беспокоить» на iPhone и занимает весь экран на Android. Если не хотите, чтобы алерты обходили «Не беспокоить», используйте 1 (высокий).
Шаг 2: alertmanager.yml
Замените три плейсхолдера *_SLUG на свои слаги:
route:
receiver: pocketalert-warning
group_by: ['alertname']
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- matchers: ['severity="critical"']
receiver: pocketalert-critical
group_wait: 10s
repeat_interval: 1h
- matchers: ['severity="info"']
receiver: blackhole
receivers:
- name: pocketalert-critical
webhook_configs:
- url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}CRITICAL_SLUG{{ end }}'
send_resolved: true
max_alerts: 20
- name: pocketalert-warning
webhook_configs:
- url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}WARNING_SLUG{{ end }}'
send_resolved: true
max_alerts: 20
- name: blackhole
inhibit_rules:
- source_matchers: ['severity="critical"']
target_matchers: ['severity="warning"']
equal: ['alertname', 'instance', 'mountpoint']
Как работают части:
- Маршрутизация по severity.
severity="critical"идёт в громкий receiver,infoотбрасывается, а всё остальное, включая алерты без меткиseverity, попадает в receiver предупреждений. - URL выбирает вебхук. Начиная с 0.31.0
urlвебхука — это шаблон. Группа со статусомresolvedидёт в тихий вебхук, всё остальное — в собственный вебхук receiver.send_resolvedпо умолчанию ужеtrueдля вебхуков, но указан явно, чтобы никто не выключил его без ведома. max_alerts: 20ограничивает число алертов в одном запросе. В тесте одновременно упали 25 хостов. В результате пришло одно push-уведомление «20 firing» иtruncatedAlerts: 5в payload.- Подавление (inhibition). Когда срабатывает критический
DiskSpaceLowдля файловой системы, предупреждение с тем жеalertname,instanceиmountpointглушится.amtool alert query --inhibitedпоказывает его какsuppressed.
Проверьте конфиг и маршрутизацию перед перезагрузкой:
amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml severity=critical alertname=Test
Вторая команда выводит pocketalert-critical.
Запускайте Alertmanager с --web.external-url, указывающим на адрес, который открывается с вашего телефона. Без этого externalURL будет просто именем хоста. В Docker это было http://de48ea5ffc29:9093, и кнопка получилась бесполезной.
Сначала проверьте версию
alertmanager --version должна показывать 0.31 или новее для шаблонного URL. Версия 0.30.1 принимает этот же конфиг, и amtool check-config выдаёт SUCCESS, но шаблон не рендерит. Запрос уходил на /wh/%7B%7B%20if%20eq%20.Status..., которого не существует ни у одного вебхука. На старых версиях укажите каждому receiver обычный URL собственного вебхука. Уведомления resolved тогда придут с уровнем этого вебхука.
Шаг 3: правила с меткой severity
Маршрутизация выше работает, только если в правилах задано severity. Вот два примера (больше идей, за чем следить, есть на странице мониторинг серверов). DiskSpaceLow задан на двух порогах, чтобы правило подавления имело смысл:
groups:
- name: node
rules:
- alert: InstanceDown
expr: up{job="node"} == 0
for: 2m
labels:
severity: critical
annotations:
summary: '{{ $labels.instance }} is down'
- alert: DiskSpaceLow
expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 15
for: 10m
labels:
severity: warning
annotations:
summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'
- alert: DiskSpaceLow
expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 5
for: 5m
labels:
severity: critical
annotations:
summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'
promtool check rules rules.yml проверяет файл. Укажите в prometheus.yml путь к файлу и адрес Alertmanager:
rule_files: [rules.yml]
alerting:
alertmanagers:
- static_configs:
- targets: ['alertmanager:9093']
Проверка через amtool
Создайте тестовый алерт, дождитесь group_wait (10 секунд на критическом маршруте) и снимите его:
amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
--annotation='summary="Test alert from amtool"'
amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
--annotation='summary="Test alert from amtool"' --end="$(date -u +%Y-%m-%dT%H:%M:%SZ)"
Сохраняйте внутренние двойные кавычки в аннотации, иначе amtool предупредит, что перешёл на старый парсер. Push о resolved придёт на следующем тике group_interval, при этой конфигурации это может занять до 5 минут.
Что приходит на телефон
Ниже сообщения, которые Pocket Alert формирует из реальных payload-ов теста, где Prometheus увидел, как web-1 и web-2 упали и вернулись:
Webhook Prometheus critical
InstanceDown: 2 firing
web-1:9100 is down
Firing: ["web-1:9100","web-2:9100"]
Когда web-1 восстанавливается, Alertmanager отправляет обновление на следующем group_interval. Группа всё ещё в статусе firing, поэтому уведомление уходит в критический вебхук:
Webhook Prometheus critical
InstanceDown: 1 firing
web-2:9100 is down
Firing: ["web-2:9100"]
Когда оба восстановлены, приходит push низкого приоритета:
Webhook Prometheus resolved
Resolved: InstanceDown (critical)
["web-1:9100","web-2:9100"]
Таймеры: как не получить шквал push-уведомлений
| Параметр | Что делает | Здесь |
|---|---|---|
group_wait | Сколько новая группа ждёт дополнительных алертов перед первым push-уведомлением | 30s, 10s для critical |
group_interval | Минимальный интервал между push-уведомлениями для группы, в которой изменились алерты | 5m |
repeat_interval | Напоминание для группы, которая всё ещё в статусе firing и не менялась | 4h, 1h для critical |
Группа отправляет не чаще одного push-уведомления за group_interval, поэтому мигающий алерт при 5m обойдётся максимум в 12 push-уведомлений в час. Авария, которая длится сутки, при repeat_interval 1h даст 24 напоминания. Основную работу делает группировка: отказ коммутатора, который роняет 40 хостов, — это одно push-уведомление, а не 40. Не используйте group_by: ['...']: группировка по всем меткам снова превратит всё в одно уведомление на каждый алерт. У тарифов есть дневные лимиты сообщений (у Starter — 1 000 в день), и каждый запрос к вебхуку, который создаёт сообщение, расходует лимит.
Кнопки: Alertmanager и Grafana
Шаблон BUTTONS выше добавляет кнопку «Alertmanager». Можно добавить до трёх кнопок действий. Эта кнопка открывает дашборд Grafana для первого инстанса в статусе firing:
BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"},{"type":"view","label":"Grafana","value":"https://grafana.example.com/d/YOUR_DASHBOARD?var-instance=%alerts.#(status=="firing").labels.instance%"}]'
Неэкранированные кавычки внутри плейсхолдера выглядят неправильно, но работают: Pocket Alert сначала подставляет плейсхолдеры, а JSON разбирает уже потом.
Осторожно с пустыми значениями. Кнопка, у которой value оказался пустым, пропускается в этом push-уведомлении; остальные кнопки и текст всё равно придут. %alerts.0.generatorURL% (ссылка на график Prometheus) хорошо подходит для алертов из Prometheus, но у алертов, отправленных через amtool, нет generator URL, поэтому кнопки не будет. Кнопки действий доступны на платном тарифе.
Alertmanager 0.32+: прямой вызов API
В старых руководствах говорится, что Alertmanager не может менять тело вебхука. В 0.32.0 это изменилось: появилась опция payload в webhook_configs. Вместе с http_config.http_headers, которые могут передавать заголовок Token, Alertmanager может отправлять POST прямо на https://api.pocketalert.app/v1/messages со своим заголовком и уровнем.
Здесь есть ловушка. Alertmanager разбирает каждое отрендеренное значение как YAML. В тесте payload, собранный поле за полем с message: '{{ range .Alerts }}{{ .Annotations.summary }}...', превратил сводку web-1:9100: / has 12% free в объект {"web-1:9100": "/ has 12% free"}. API отклоняет это с ошибкой 400. Alertmanager не повторяет 4xx сразу; он отправляет тот же сломанный запрос при каждом group_interval, поэтому алерт так и не доходит.
Сборка всего тела через dict и toJson решает проблему:
receivers:
- name: pocketalert-api
webhook_configs:
- url: https://api.pocketalert.app/v1/messages
http_config:
http_headers:
Token:
files: [/etc/alertmanager/pocketalert.key]
payload: >-
{{ $msg := "" }}{{ range .Alerts }}{{ $msg = printf "%s%s: %s\n" $msg .Status .Annotations.summary }}{{ end }}
{{ $level := "default" }}{{ if eq .Status "resolved" }}{{ $level = "low" }}{{ else if eq .CommonLabels.severity "critical" }}{{ $level = "critical" }}{{ end }}
{{ dict "title" (printf "[%s] %s" (toUpper .Status) .GroupLabels.alertname) "message" $msg "level" $level | toJson }}
Со сводкой, содержащей двоеточие и кавычки, отправилось:
{"level":"critical","message":"firing: web-1:9100: / has 4% free, \"quoted\"\nfiring: web-2:9100 / has 3% free\n","title":"[FIRING] DiskSpaceLow"}
Версия для resolved пришла с "level":"low".
Так что что выбрать? Прямой API даёт настоящий заголовок и уровень для каждого уведомления, всё из одного receiver и без вебхуков. Вебхук не требует API-ключа в Alertmanager и работает на любой версии (вариант с обычным URL). Неверный путь выводится пустой строкой вместо отклонённого запроса, а каждый запрос виден в истории вебхуков. В собственной документации Alertmanager payload помечен как «использовать на свой риск», поэтому проверьте его через amtool, прежде чем полагаться на него.
На бесплатном тарифе
На бесплатном тарифе один вебхук, 50 сообщений в день, без кнопок, а critical доставляется как high. Создайте один вебхук с default_level: 1, укажите его обычный URL в одном receiver и уберите маршруты по severity. Уведомления resolved тогда тоже придут с уровнем high, если не задать send_resolved: false. На Alertmanager 0.32+ конфиг с прямым API, описанный выше, лучше подходит для бесплатного тарифа, потому что не требует вебхука и задаёт уровень для каждого уведомления.
Если ничего не приходит
- Смотрите лог Alertmanager. Неудачная доставка записывает
Notify for alerts failedс кодом ответа.404означает неверный слаг или шаблонный URL на версии старше 0.31. - Откройте историю вебхуков в Pocket Alert. Если запрос там есть, проблема в шаблоне. Если его нет, Alertmanager его не отправлял.
- Пустые строки означают, что путь не совпадает с payload. Имена полей чувствительны к регистру.
- Символ
%прямо перед плейсхолдером нужно удваивать.%с пробелом после него — это обычный текст, поэтомуCPU over 90% on %groupLabels.alertname%работает. Пишите%%, когда%соприкасается с другим текстом, например%commonLabels.usage%%%. - Используйте тестер вебхуков, чтобы увидеть, что на самом деле отправляет ваш Alertmanager, прежде чем писать шаблоны.
FAQ
Работает ли это с kube-prometheus-stack?
Да. Receiver — это обычная конфигурация Alertmanager, поэтому он добавляется в конфиг Alertmanager чарта, как любой другой receiver. Прежде чем использовать шаблонный URL или payload, проверьте, какую версию Alertmanager разворачивает чарт. Сторону кластера см. в разделе алерты Kubernetes.
Я использую алертинг Grafana, а не Alertmanager. Что изменится?
Grafana отправляет собственный формат вебхука. См. руководство по Grafana.
Создайте бесплатный аккаунт, запустите скрипт, вставьте три слага в alertmanager.yml, и следующий InstanceDown дойдёт до вашего телефона.