# Алерты Prometheus Alertmanager на телефон: маршрутизация по severity, группировка и тихие resolved

> Отправляйте алерты Prometheus Alertmanager на iPhone и Android как push-уведомления. Одно push-уведомление на группу алертов, critical громко, предупреждения обычно, уведомления о resolved тихо. Проверенный alertmanager.yml, примеры правил и случаи, когда лучше использовать опцию payload из Alertmanager 0.32.

*29.10.2026*

<!-- source: https://pocketalert.app/ru/blog/prometheus-alertmanager-notifications -->

Prometheus хорошо замечает, что что-то пошло не так. Доставить эту новость человеку — задача Alertmanager, и во многих настройках она оказывается в папке почты или в канале Slack, который в 3 часа ночи никто не читает.

У Alertmanager нет собственного push-приложения, но есть универсальный receiver с вебхуком, и этого достаточно, чтобы получать алерты на телефон. В этом руководстве настройка с маршрутизацией по severity: алерты `critical` приходят громко, предупреждения — как обычные уведомления, а уведомления «resolved» — тихо. Всё описанное здесь проверено на Alertmanager 0.34.2 и Prometheus 3.15.1 в Docker. Payload-ы были записаны и прогнаны через собственный код шаблонов Pocket Alert.

## Что понадобится

- Alertmanager 0.31 или новее для полной настройки. Старые версии рассмотрены ниже.
- Приложение Pocket Alert на [iPhone или Android](/get-app) и API-ключ из [API-ключи](/account/apikeys).
- Платный тариф для варианта с тремя вебхуками, так как на бесплатном тарифе доступен один вебхук. Вариант с одним вебхуком описан ближе к концу.

## Что отправляет Alertmanager

Alertmanager не отправляет отдельный запрос на каждый алерт. Он собирает алерты в группы по меткам из `group_by` и отправляет одно уведомление на группу: POST-запрос с фиксированным JSON-телом, `"version": "4"`. Если при `group_by: ['alertname']` упали два хоста, уходит один запрос. Вот он, немного сокращённый:

```json
{
  "receiver": "pocketalert-critical",
  "status": "firing",
  "alerts": [
    {
      "status": "firing",
      "labels": {"alertname": "InstanceDown", "instance": "web-1:9100", "job": "node", "severity": "critical"},
      "annotations": {"summary": "web-1:9100 is down"},
      "startsAt": "2026-10-31T16:17:04.374Z",
      "generatorURL": "http://prometheus.example.com:9090/graph?g0.expr=up%7Bjob%3D%22node%22%7D+%3D%3D+0&g0.tab=1"
    },
    {
      "status": "firing",
      "labels": {"alertname": "InstanceDown", "instance": "web-2:9100", "job": "node", "severity": "critical"},
      "annotations": {"summary": "web-2:9100 is down"}
    }
  ],
  "notification_reason": "first notification",
  "groupLabels": {"alertname": "InstanceDown"},
  "commonLabels": {"alertname": "InstanceDown", "job": "node", "severity": "critical"},
  "commonAnnotations": {},
  "routeLabels": {},
  "externalURL": "http://alertmanager.example.com:9093",
  "version": "4",
  "groupKey": "{}/{severity=\"critical\"}:{alertname=\"InstanceDown\"}",
  "truncatedAlerts": 0
}
```

Четыре вещи в этом payload определяют настройку:

- **Одно push-уведомление на группу.** Отдельные алерты лежат в массиве `alerts`, поэтому шаблон сообщения должен работать с массивом.
- **`commonAnnotations` часто пустой.** Туда попадают только аннотации, одинаковые для всех алертов группы. Сводка, в которой упоминается инстанс, у каждого алерта своя, поэтому там её не будет.
- **`status` относится к группе.** Он равен `resolved`, только если все алерты группы resolved. Когда один хост восстановился, а другой ещё лежит, статус остаётся `firing`, а восстановленный алерт присутствует внутри со своим `"status": "resolved"`.
- **Поля верхнего уровня `level` нет**, а именно там вебхук Pocket Alert ищет приоритет. Поэтому приоритет задаётся уровнем по умолчанию у вебхука, и в этом руководстве на каждый уровень громкости один вебхук.

## Шаг 1: создайте вебхуки Pocket Alert

<div class="cmp-table-wrap">
<table class="cmp-table">
<thead><tr><th>Вебхук</th><th><code>default_level</code></th><th>Получает</th></tr></thead>
<tbody>
<tr><th>Prometheus critical</th><td><code>2</code> (критический)</td><td>Группы в статусе firing с <code>severity="critical"</code></td></tr>
<tr><th>Prometheus warning</th><td><code>0</code> (по умолчанию)</td><td>Все остальные группы в статусе firing</td></tr>
<tr><th>Prometheus resolved</th><td><code>-1</code> (низкий)</td><td>Группы, в которых все алерты resolved</td></tr>
</tbody>
</table>
</div>

Кнопки можно задать только через API, поэтому создайте все три вебхука одним скриптом:

```bash
PA_KEY='your-api-key'

FIRING='%groupLabels.alertname%: %alerts.#(status=="firing")#|#% firing
%alerts.#(status=="firing").annotations.summary%
Firing: %alerts.#(status=="firing")#.labels.instance%'

RESOLVED='Resolved: %groupLabels.alertname% (%commonLabels.severity%)
%alerts.#.labels.instance%'

BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"}]'

create_webhook() {
  jq -n --arg name "$1" --argjson level "$2" --arg message "$3" --arg actions "$4" \
    '{name: $name, default_level: $level, message: $message, actions: $actions}' |
  curl -sS https://api.pocketalert.app/v1/webhooks \
    -H "Token: $PA_KEY" \
    -H 'Content-Type: application/json' \
    --data-binary @- |
  jq -r '"\(.name): https://p4a.me/wh/\(.url)"'
}

create_webhook 'Prometheus critical' 2 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus warning' 0 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus resolved' -1 "$RESOLVED" ''
```

Скрипт выводит три URL для приёма. Сохраните слаг в конце каждого: вы вставите слаги в `alertmanager.yml`.

Плейсхолдеры `%...%` — это [пути GJSON](https://info.pocketalert.app/api/webhooks/settings), а GJSON умеет запрашивать массивы:

- `alerts.#(status=="firing")#|#` считает алерты группы, которые всё ещё в статусе firing.
- `alerts.#(status=="firing").annotations.summary` — сводка первого алерта в статусе firing.
- `alerts.#(status=="firing")#.labels.instance` выводит инстансы всех алертов в статусе firing. Результат выглядит как JSON-массив, например `["web-1:9100","web-2:9100"]`, потому что строковой функции объединения нет.

Путь, которого нет, выводится как пустая строка, поэтому ошибочный путь даёт пустую строку, а не потерянный алерт. Pocket Alert называет каждое push-уведомление от вебхука `Webhook <name>`, так что заголовок будет «Webhook Prometheus critical», а название алерта окажется в первой строке сообщения. Уровень `critical` требует платного тарифа, который всё равно нужен для трёх вебхуков. Он проигрывается через переключатель беззвучного режима и режим «Не беспокоить» на iPhone и занимает весь экран на Android. Если не хотите, чтобы алерты обходили «Не беспокоить», используйте `1` (высокий).

## Шаг 2: alertmanager.yml

Замените три плейсхолдера `*_SLUG` на свои слаги:

```yaml
route:
  receiver: pocketalert-warning
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers: ['severity="critical"']
      receiver: pocketalert-critical
      group_wait: 10s
      repeat_interval: 1h
    - matchers: ['severity="info"']
      receiver: blackhole

receivers:
  - name: pocketalert-critical
    webhook_configs:
      - url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}CRITICAL_SLUG{{ end }}'
        send_resolved: true
        max_alerts: 20
  - name: pocketalert-warning
    webhook_configs:
      - url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}WARNING_SLUG{{ end }}'
        send_resolved: true
        max_alerts: 20
  - name: blackhole

inhibit_rules:
  - source_matchers: ['severity="critical"']
    target_matchers: ['severity="warning"']
    equal: ['alertname', 'instance', 'mountpoint']
```

Как работают части:

- **Маршрутизация по severity.** `severity="critical"` идёт в громкий receiver, `info` отбрасывается, а всё остальное, включая алерты без метки `severity`, попадает в receiver предупреждений.
- **URL выбирает вебхук.** Начиная с 0.31.0 `url` вебхука — это шаблон. Группа со статусом `resolved` идёт в тихий вебхук, всё остальное — в собственный вебхук receiver. `send_resolved` по умолчанию уже `true` для вебхуков, но указан явно, чтобы никто не выключил его без ведома.
- **`max_alerts: 20`** ограничивает число алертов в одном запросе. В тесте одновременно упали 25 хостов. В результате пришло одно push-уведомление «20 firing» и `truncatedAlerts: 5` в payload.
- **Подавление (inhibition).** Когда срабатывает критический `DiskSpaceLow` для файловой системы, предупреждение с тем же `alertname`, `instance` и `mountpoint` глушится. `amtool alert query --inhibited` показывает его как `suppressed`.

Проверьте конфиг и маршрутизацию перед перезагрузкой:

```bash
amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml severity=critical alertname=Test
```

Вторая команда выводит `pocketalert-critical`.

Запускайте Alertmanager с `--web.external-url`, указывающим на адрес, который открывается с вашего телефона. Без этого `externalURL` будет просто именем хоста. В Docker это было `http://de48ea5ffc29:9093`, и кнопка получилась бесполезной.

### Сначала проверьте версию

`alertmanager --version` должна показывать 0.31 или новее для шаблонного URL. Версия 0.30.1 принимает этот же конфиг, и `amtool check-config` выдаёт SUCCESS, но шаблон не рендерит. Запрос уходил на `/wh/%7B%7B%20if%20eq%20.Status...`, которого не существует ни у одного вебхука. На старых версиях укажите каждому receiver обычный URL собственного вебхука. Уведомления resolved тогда придут с уровнем этого вебхука.

## Шаг 3: правила с меткой severity

Маршрутизация выше работает, только если в правилах задано `severity`. Вот два примера (больше идей, за чем следить, есть на странице [мониторинг серверов](/use-cases/server-monitoring)). `DiskSpaceLow` задан на двух порогах, чтобы правило подавления имело смысл:

```yaml
groups:
  - name: node
    rules:
      - alert: InstanceDown
        expr: up{job="node"} == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: '{{ $labels.instance }} is down'

      - alert: DiskSpaceLow
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 15
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'

      - alert: DiskSpaceLow
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 5
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'
```

`promtool check rules rules.yml` проверяет файл. Укажите в `prometheus.yml` путь к файлу и адрес Alertmanager:

```yaml
rule_files: [rules.yml]
alerting:
  alertmanagers:
    - static_configs:
        - targets: ['alertmanager:9093']
```

## Проверка через amtool

Создайте тестовый алерт, дождитесь `group_wait` (10 секунд на критическом маршруте) и снимите его:

```bash
amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
  --annotation='summary="Test alert from amtool"'

amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
  --annotation='summary="Test alert from amtool"' --end="$(date -u +%Y-%m-%dT%H:%M:%SZ)"
```

Сохраняйте внутренние двойные кавычки в аннотации, иначе amtool предупредит, что перешёл на старый парсер. Push о resolved придёт на следующем тике `group_interval`, при этой конфигурации это может занять до 5 минут.

## Что приходит на телефон

Ниже сообщения, которые Pocket Alert формирует из реальных payload-ов теста, где Prometheus увидел, как `web-1` и `web-2` упали и вернулись:

```text
Webhook Prometheus critical
InstanceDown: 2 firing
web-1:9100 is down
Firing: ["web-1:9100","web-2:9100"]
```

Когда `web-1` восстанавливается, Alertmanager отправляет обновление на следующем `group_interval`. Группа всё ещё в статусе firing, поэтому уведомление уходит в критический вебхук:

```text
Webhook Prometheus critical
InstanceDown: 1 firing
web-2:9100 is down
Firing: ["web-2:9100"]
```

Когда оба восстановлены, приходит push низкого приоритета:

```text
Webhook Prometheus resolved
Resolved: InstanceDown (critical)
["web-1:9100","web-2:9100"]
```

## Таймеры: как не получить шквал push-уведомлений

<div class="cmp-table-wrap">
<table class="cmp-table">
<thead><tr><th>Параметр</th><th>Что делает</th><th>Здесь</th></tr></thead>
<tbody>
<tr><th><code>group_wait</code></th><td>Сколько новая группа ждёт дополнительных алертов перед первым push-уведомлением</td><td>30s, 10s для critical</td></tr>
<tr><th><code>group_interval</code></th><td>Минимальный интервал между push-уведомлениями для группы, в которой изменились алерты</td><td>5m</td></tr>
<tr><th><code>repeat_interval</code></th><td>Напоминание для группы, которая всё ещё в статусе firing и не менялась</td><td>4h, 1h для critical</td></tr>
</tbody>
</table>
</div>

Группа отправляет не чаще одного push-уведомления за `group_interval`, поэтому мигающий алерт при 5m обойдётся максимум в 12 push-уведомлений в час. Авария, которая длится сутки, при `repeat_interval` 1h даст 24 напоминания. Основную работу делает группировка: отказ коммутатора, который роняет 40 хостов, — это одно push-уведомление, а не 40. Не используйте `group_by: ['...']`: группировка по всем меткам снова превратит всё в одно уведомление на каждый алерт. У тарифов есть [дневные лимиты сообщений](https://info.pocketalert.app/features/daily-limits) (у Starter — 1 000 в день), и каждый запрос к вебхуку, который создаёт сообщение, расходует лимит.

## Кнопки: Alertmanager и Grafana

Шаблон `BUTTONS` выше добавляет кнопку «Alertmanager». Можно добавить до трёх [кнопок действий](/features/action-buttons). Эта кнопка открывает дашборд Grafana для первого инстанса в статусе firing:

```bash
BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"},{"type":"view","label":"Grafana","value":"https://grafana.example.com/d/YOUR_DASHBOARD?var-instance=%alerts.#(status=="firing").labels.instance%"}]'
```

Неэкранированные кавычки внутри плейсхолдера выглядят неправильно, но работают: Pocket Alert сначала подставляет плейсхолдеры, а JSON разбирает уже потом.

Осторожно с пустыми значениями. Кнопка, у которой `value` оказался пустым, пропускается в этом push-уведомлении; остальные кнопки и текст всё равно придут. `%alerts.0.generatorURL%` (ссылка на график Prometheus) хорошо подходит для алертов из Prometheus, но у алертов, отправленных через amtool, нет generator URL, поэтому кнопки не будет. Кнопки действий доступны на платном тарифе.

## Alertmanager 0.32+: прямой вызов API

В старых руководствах говорится, что Alertmanager не может менять тело вебхука. В 0.32.0 это изменилось: появилась опция `payload` в `webhook_configs`. Вместе с `http_config.http_headers`, которые могут передавать заголовок `Token`, Alertmanager может отправлять POST прямо на `https://api.pocketalert.app/v1/messages` со своим заголовком и уровнем.

Здесь есть ловушка. Alertmanager разбирает каждое отрендеренное значение как YAML. В тесте payload, собранный поле за полем с `message: '{{ range .Alerts }}{{ .Annotations.summary }}...'`, превратил сводку `web-1:9100: / has 12% free` в объект `{"web-1:9100": "/ has 12% free"}`. API отклоняет это с ошибкой `400`. Alertmanager не повторяет `4xx` сразу; он отправляет тот же сломанный запрос при каждом `group_interval`, поэтому алерт так и не доходит.

Сборка всего тела через `dict` и `toJson` решает проблему:

```yaml
receivers:
  - name: pocketalert-api
    webhook_configs:
      - url: https://api.pocketalert.app/v1/messages
        http_config:
          http_headers:
            Token:
              files: [/etc/alertmanager/pocketalert.key]
        payload: >-
          {{ $msg := "" }}{{ range .Alerts }}{{ $msg = printf "%s%s: %s\n" $msg .Status .Annotations.summary }}{{ end }}
          {{ $level := "default" }}{{ if eq .Status "resolved" }}{{ $level = "low" }}{{ else if eq .CommonLabels.severity "critical" }}{{ $level = "critical" }}{{ end }}
          {{ dict "title" (printf "[%s] %s" (toUpper .Status) .GroupLabels.alertname) "message" $msg "level" $level | toJson }}
```

Со сводкой, содержащей двоеточие и кавычки, отправилось:

```json
{"level":"critical","message":"firing: web-1:9100: / has 4% free, \"quoted\"\nfiring: web-2:9100 / has 3% free\n","title":"[FIRING] DiskSpaceLow"}
```

Версия для resolved пришла с `"level":"low"`.

Так что что выбрать? Прямой API даёт настоящий заголовок и уровень для каждого уведомления, всё из одного receiver и без вебхуков. Вебхук не требует API-ключа в Alertmanager и работает на любой версии (вариант с обычным URL). Неверный путь выводится пустой строкой вместо отклонённого запроса, а каждый запрос виден в [истории вебхуков](/features/webhook-history). В собственной документации Alertmanager `payload` помечен как «использовать на свой риск», поэтому проверьте его через amtool, прежде чем полагаться на него.

## На бесплатном тарифе

На бесплатном тарифе один вебхук, 50 сообщений в день, без кнопок, а `critical` доставляется как `high`. Создайте один вебхук с `default_level: 1`, укажите его обычный URL в одном receiver и уберите маршруты по severity. Уведомления resolved тогда тоже придут с уровнем `high`, если не задать `send_resolved: false`. На Alertmanager 0.32+ конфиг с прямым API, описанный выше, лучше подходит для бесплатного тарифа, потому что не требует вебхука и задаёт уровень для каждого уведомления.

## Если ничего не приходит

- **Смотрите лог Alertmanager.** Неудачная доставка записывает `Notify for alerts failed` с кодом ответа. `404` означает неверный слаг или шаблонный URL на версии старше 0.31.
- **Откройте историю вебхуков** в Pocket Alert. Если запрос там есть, проблема в шаблоне. Если его нет, Alertmanager его не отправлял.
- **Пустые строки** означают, что путь не совпадает с payload. Имена полей чувствительны к регистру.
- **Символ `%` прямо перед плейсхолдером нужно удваивать.** `%` с пробелом после него — это обычный текст, поэтому `CPU over 90% on %groupLabels.alertname%` работает. Пишите `%%`, когда `%` соприкасается с другим текстом, например `%commonLabels.usage%%%`.
- **Используйте [тестер вебхуков](/tools/webhook)**, чтобы увидеть, что на самом деле отправляет ваш Alertmanager, прежде чем писать шаблоны.

## FAQ

### Работает ли это с kube-prometheus-stack?

Да. Receiver — это обычная конфигурация Alertmanager, поэтому он добавляется в конфиг Alertmanager чарта, как любой другой receiver. Прежде чем использовать шаблонный URL или `payload`, проверьте, какую версию Alertmanager разворачивает чарт. Сторону кластера см. в разделе [алерты Kubernetes](/use-cases/kubernetes-alerts).

### Я использую алертинг Grafana, а не Alertmanager. Что изменится?

Grafana отправляет собственный формат вебхука. См. [руководство по Grafana](/blog/how-to-integrate-grafana-into-pocketalert).

[Создайте бесплатный аккаунт](/signup), запустите скрипт, вставьте три слага в `alertmanager.yml`, и следующий `InstanceDown` дойдёт до вашего телефона.
