# Prometheus Alertmanager のアラートをスマホにプッシュ通知で届ける：重大度ルーティング、グループ化、静かな解決通知

> Prometheus Alertmanager のアラートを iPhone と Android にプッシュ通知で送信します。アラートグループごとに 1 件の通知を送り、critical は大きく鳴らし、warning は通常の通知、解決通知は静かに届けます。動作を確認した alertmanager.yml、ルールの例、Alertmanager 0.32 の payload オプションを使うほうがよい場合を紹介します。

*29.10.2026*

<!-- source: https://pocketalert.app/ja/blog/prometheus-alertmanager-notifications -->

Prometheus は異常を検知するのが得意です。その情報を人に届けるのは Alertmanager の役目ですが、多くの環境では、その情報が誰も午前 3 時には読まないメールフォルダや Slack チャンネルに届いてしまいます。

Alertmanager には専用のプッシュ通知アプリはありませんが、汎用の Webhook レシーバーがあります。スマホでアラートを受け取るにはこれで十分です。このガイドでは重大度によるルーティングを設定します。`critical` のアラートは大きく鳴り、warning は通常の通知として届き、「resolved」は静かに届きます。ここに書いた内容はすべて、Docker 上の Alertmanager 0.34.2 と Prometheus 3.15.1 で検証しました。ペイロードはキャプチャし、Pocket Alert 自身のテンプレートコードで実行しています。

## 必要なもの

- 完全な設定には Alertmanager 0.31 以降が必要です。古いバージョンについては後半で扱います。
- [iPhone または Android](/get-app) に Pocket Alert アプリを入れ、[API キー](/account/apikeys)を用意してください。
- 3 つの Webhook を使う構成には有料プランが必要です。無料プランで含まれる Webhook は 1 つだけです。Webhook が 1 つの構成は記事の終わりの方で紹介します。

## Alertmanager が送信する内容

Alertmanager はアラートごとにリクエストを送るわけではありません。`group_by` で指定したラベルごとにアラートをグループにまとめ、グループごとに 1 件の通知を送ります。送信するのは固定の JSON ボディを持つ POST リクエストで、`"version": "4"` になります。`group_by: ['alertname']` の条件で 2 台のホストがダウンすると、リクエストは 1 件だけ送られます。少し省略した例は次のとおりです。

```json
{
  "receiver": "pocketalert-critical",
  "status": "firing",
  "alerts": [
    {
      "status": "firing",
      "labels": {"alertname": "InstanceDown", "instance": "web-1:9100", "job": "node", "severity": "critical"},
      "annotations": {"summary": "web-1:9100 is down"},
      "startsAt": "2026-10-31T16:17:04.374Z",
      "generatorURL": "http://prometheus.example.com:9090/graph?g0.expr=up%7Bjob%3D%22node%22%7D+%3D%3D+0&g0.tab=1"
    },
    {
      "status": "firing",
      "labels": {"alertname": "InstanceDown", "instance": "web-2:9100", "job": "node", "severity": "critical"},
      "annotations": {"summary": "web-2:9100 is down"}
    }
  ],
  "notification_reason": "first notification",
  "groupLabels": {"alertname": "InstanceDown"},
  "commonLabels": {"alertname": "InstanceDown", "job": "node", "severity": "critical"},
  "commonAnnotations": {},
  "routeLabels": {},
  "externalURL": "http://alertmanager.example.com:9093",
  "version": "4",
  "groupKey": "{}/{severity=\"critical\"}:{alertname=\"InstanceDown\"}",
  "truncatedAlerts": 0
}
```

このペイロードの形式から、設定に関わる点が 4 つあります。

- **グループごとに 1 件のプッシュ通知。** 個々のアラートは `alerts` 配列に入っているため、メッセージテンプレートは配列を扱える必要があります。
- **`commonAnnotations` は空になることが多いです。** グループ内のすべてのアラートで同じアノテーションだけが入ります。インスタンス名を含む summary はアラートごとに異なるため、ここには現れません。
- **`status` はグループ単位です。** グループ内のすべてのアラートが解決された場合にのみ `resolved` になります。1 台が復旧しても別のホストがまだダウンしている場合、status は `firing` のままで、復旧したアラートは内部で独自の `"status": "resolved"` を付けて一覧に残ります。
- **トップレベルに `level` フィールドはありません。** Pocket Alert の Webhook は優先度をそこから探します。そのため優先度は Webhook のデフォルトレベルで決まります。このガイドで音量ごとに Webhook を 1 つずつ用意しているのはこのためです。

## ステップ 1：Pocket Alert の Webhook を作成する

<div class="cmp-table-wrap">
<table class="cmp-table">
<thead><tr><th>Webhook</th><th><code>default_level</code></th><th>受信内容</th></tr></thead>
<tbody>
<tr><th>Prometheus critical</th><td><code>2</code>（critical）</td><td><code>severity="critical"</code> の firing グループ</td></tr>
<tr><th>Prometheus warning</th><td><code>0</code>（default）</td><td その他すべての firing グループ</td></tr>
<tr><th>Prometheus resolved</th><td><code>-1</code>（low）</td><td すべてのアラートが解決したグループ</td></tr>
</tbody>
</table>
</div>

ボタンは API からしか設定できないため、3 つの Webhook はすべて 1 つのスクリプトで作成します。

```bash
PA_KEY='your-api-key'

FIRING='%groupLabels.alertname%: %alerts.#(status=="firing")#|#% firing
%alerts.#(status=="firing").annotations.summary%
Firing: %alerts.#(status=="firing")#.labels.instance%'

RESOLVED='Resolved: %groupLabels.alertname% (%commonLabels.severity%)
%alerts.#.labels.instance%'

BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"}]'

create_webhook() {
  jq -n --arg name "$1" --argjson level "$2" --arg message "$3" --arg actions "$4" \
    '{name: $name, default_level: $level, message: $message, actions: $actions}' |
  curl -sS https://api.pocketalert.app/v1/webhooks \
    -H "Token: $PA_KEY" \
    -H 'Content-Type: application/json' \
    --data-binary @- |
  jq -r '"\(.name): https://p4a.me/wh/\(.url)"'
}

create_webhook 'Prometheus critical' 2 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus warning' 0 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus resolved' -1 "$RESOLVED" ''
```

受信用 URL が 3 つ表示されます。それぞれの末尾にあるスラッグは保存しておいてください。このスラッグを `alertmanager.yml` に貼り付けます。

`%...%` のプレースホルダーは [GJSON パス](https://info.pocketalert.app/api/webhooks/settings)で、GJSON は配列に対してクエリを実行できます。

- `alerts.#(status=="firing")#|#` は、グループ内でまだ firing しているアラートの数を数えます。
- `alerts.#(status=="firing").annotations.summary` は、最初に firing しているアラートの summary です。
- `alerts.#(status=="firing")#.labels.instance` は、firing しているすべてのアラートのインスタンスを一覧にします。文字列を結合する関数がないため、`["web-1:9100","web-2:9100"]` のように JSON 配列として描画されます。

存在しないパスは空文字列として描画されます。そのため、パスが間違っていてもアラートが消えるのではなく、空行が表示されます。Pocket Alert は Webhook のプッシュ通知すべてに `Webhook <name>` というタイトルを付けるため、タイトルは「Webhook Prometheus critical」となり、アラート名はメッセージの 1 行目に表示されます。`critical` には有料プランが必要です。この構成では 3 つの Webhook を使うため、どのみち有料プランが必要になります。iPhone ではサイレントスイッチやおやすみモードを無視して鳴り、Android では画面全体を占有して表示されます。アラートでおやすみモードを上書きしたくない場合は、代わりに `1`（high）を使ってください。

## ステップ 2：alertmanager.yml

3 つの `*_SLUG` のプレースホルダーを、取得したスラッグに置き換えてください。

```yaml
route:
  receiver: pocketalert-warning
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers: ['severity="critical"']
      receiver: pocketalert-critical
      group_wait: 10s
      repeat_interval: 1h
    - matchers: ['severity="info"']
      receiver: blackhole

receivers:
  - name: pocketalert-critical
    webhook_configs:
      - url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}CRITICAL_SLUG{{ end }}'
        send_resolved: true
        max_alerts: 20
  - name: pocketalert-warning
    webhook_configs:
      - url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}WARNING_SLUG{{ end }}'
        send_resolved: true
        max_alerts: 20
  - name: blackhole

inhibit_rules:
  - source_matchers: ['severity="critical"']
    target_matchers: ['severity="warning"']
    equal: ['alertname', 'instance', 'mountpoint']
```

各部分の働きは次のとおりです。

- **重大度によるルーティング。** `severity="critical"` は音の大きいレシーバーに送られ、`info` は破棄されます。それ以外のアラートは、`severity` ラベルがないものも含めて warning のレシーバーに振り分けられます。
- **URL が Webhook を選びます。** 0.31.0 以降では、Webhook の `url` はテンプレートとして扱われます。status が `resolved` のグループは静かな Webhook に送られ、それ以外はレシーバー自身の Webhook に送られます。`send_resolved` は Webhook ではデフォルトで `true` ですが、誰かが気づかずに無効にしないよう明示的に書いています。
- **`max_alerts: 20`** は 1 回のリクエストに含めるアラートの数を制限します。検証では 25 台のホストが同時にダウンしました。その結果、「20 firing」と表示されるプッシュ通知が 1 件届き、ペイロードには `truncatedAlerts: 5` が含まれていました。
- **抑制。** 重大度 critical の `DiskSpaceLow` がファイルシステムで発火すると、同じ `alertname`、`instance`、`mountpoint` の warning はミュートされます。`amtool alert query --inhibited` では `suppressed` と表示されます。

リロードする前に、設定とルーティングを確認してください。

```bash
amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml severity=critical alertname=Test
```

2 つ目のコマンドは `pocketalert-critical` と表示します。

Alertmanager は、スマホから開けるアドレスを `--web.external-url` に指定して起動してください。指定しないと、`externalURL` は単なるホスト名になります。Docker 環境では `http://de48ea5ffc29:9093` となり、ボタンとして使えないリンクになりました。

### まずバージョンを確認する

テンプレート化された URL を使うには、`alertmanager --version` が 0.31 以降を示す必要があります。0.30.1 でもこの設定はそのまま受け付けられ、`amtool check-config` も SUCCESS を返しますが、テンプレートは描画されません。その結果、リクエストは `/wh/%7B%7B%20if%20eq%20.Status...` に送られ、どの Webhook とも一致しません。古いバージョンでは、各レシーバーに自分の Webhook のプレーンな URL を指定してください。その場合、resolved の通知は、その Webhook のレベルで届きます。

## ステップ 3：重大度ラベル付きのルール

上記のルーティングは、ルールで `severity` を設定している場合にのみ機能します。ここでは 2 つの例を示します（監視対象の詳細は[サーバー監視](/use-cases/server-monitoring)のページにもあります）。抑制ルールが動作するように、`DiskSpaceLow` は 2 つのしきい値で定義しています。

```yaml
groups:
  - name: node
    rules:
      - alert: InstanceDown
        expr: up{job="node"} == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: '{{ $labels.instance }} is down'

      - alert: DiskSpaceLow
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 15
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'

      - alert: DiskSpaceLow
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 5
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'
```

`promtool check rules rules.yml` でファイルを検証できます。`prometheus.yml` で、Prometheus にこのファイルと Alertmanager の場所を指定してください。

```yaml
rule_files: [rules.yml]
alerting:
  alertmanagers:
    - static_configs:
        - targets: ['alertmanager:9093']
```

## amtool でテストする

テスト用のアラートを発火させ、`group_wait`（critical ルートでは 10 秒）を待ってから解決します。

```bash
amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
  --annotation='summary="Test alert from amtool"'

amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
  --annotation='summary="Test alert from amtool"' --end="$(date -u +%Y-%m-%dT%H:%M:%SZ)"
```

アノテーションの内側のダブルクォートは残してください。残さないと、amtool は古いパーサーにフォールバックしたという警告を出します。解決のプッシュ通知は次の `group_interval` のタイミングで届きます。この設定では最大 5 分かかることがあります。

## スマホに届く内容

以下は、テストで Prometheus が `web-1` と `web-2` のダウンと復旧を検知した実際のペイロードから、Pocket Alert が描画したメッセージです。

```text
Webhook Prometheus critical
InstanceDown: 2 firing
web-1:9100 is down
Firing: ["web-1:9100","web-2:9100"]
```

`web-1` が復旧すると、Alertmanager は次の `group_interval` で更新を送ります。グループはまだ firing 状態なので、critical の Webhook に送られます。

```text
Webhook Prometheus critical
InstanceDown: 1 firing
web-2:9100 is down
Firing: ["web-2:9100"]
```

両方が復旧すると、低優先度のプッシュ通知が届きます。

```text
Webhook Prometheus resolved
Resolved: InstanceDown (critical)
["web-1:9100","web-2:9100"]
```

## タイマー：プッシュ通知の連発を防ぐ

<div class="cmp-table-wrap">
<table class="cmp-table">
<thead><tr><th>設定</th><th>役割</th><th>この設定での値</th></tr></thead>
<tbody>
<tr><th><code>group_wait</code></th><td>新しいグループが最初の通知を送る前に、追加のアラートを待つ時間</td><td>30s、critical は 10s</td></tr>
<tr><th><code>group_interval</code></th><td>アラートに変化があったグループについて、通知の最小間隔</td><td>5m</td></tr>
<tr><th><code>repeat_interval</code></th><td>firing のまま変化がないグループへのリマインダー</td><td>4h、critical は 1h</td></tr>
</tbody>
</table>
</div>

グループが通知を送るのは `group_interval` ごとに最大 1 回です。そのため、状態が不安定なアラートは 5m 設定のとき 1 時間に最大 12 件の通知を生みます。丸一日続く障害は、`repeat_interval` が 1h の場合、24 件のリマインダーになります。グループ化で多くの問題を防げます。40 台のホストをダウンさせるスイッチの故障は、40 件ではなく 1 件のプッシュ通知になります。`group_by: ['...']` は使わないでください。すべてのラベルでグループ化するため、アラートごとに 1 件の通知に戻ってしまいます。プランごとに[1 日のメッセージ上限](https://info.pocketalert.app/features/daily-limits)があり（Starter は 1 日 1,000 件）、メッセージを生成する Webhook へのリクエストはすべてこの上限に数えられます。

## ボタン：Alertmanager と Grafana

上記の `BUTTONS` テンプレートには「Alertmanager」ボタンが追加されます。[アクションボタン](/features/action-buttons)は最大 3 つまで追加できます。次の例では、最初に firing しているインスタンスの Grafana ダッシュボードを開くボタンを追加しています。

```bash
BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"},{"type":"view","label":"Grafana","value":"https://grafana.example.com/d/YOUR_DASHBOARD?var-instance=%alerts.#(status=="firing").labels.instance%"}]'
```

プレースホルダーの中にあるエスケープされていない引用符は、一見おかしく見えますが問題なく動作します。Pocket Alert はまずプレースホルダーを置換し、その後で JSON を解析するためです。

空の値に注意してください。`value` が空になったボタンは、そのプッシュ通知からは除外されます。他のボタンとメッセージは届きます。Prometheus のアラートでは `%alerts.0.generatorURL%`（Prometheus のグラフへのリンク）が適していますが、amtool で送信したアラートには generator URL がないため、そのボタンは表示されません。アクションボタンは有料機能です。

## Alertmanager 0.32 以降：API を直接呼び出す

古いガイドでは、Alertmanager は Webhook のボディを変更できないと書かれています。しかし 0.32.0 で `payload` に `webhook_configs` オプションが追加され、この前提は変わりました。`http_config.http_headers` で `Token` ヘッダーを送信できるため、Alertmanager は独自のタイトルとレベルを指定して `https://api.pocketalert.app/v1/messages` に直接 POST できます。

ここには罠があります。Alertmanager は、描画されたすべての値を YAML として解析します。検証では、フィールドごとに組み立てた `message: '{{ range .Alerts }}{{ .Annotations.summary }}...'` のペイロードにより、summary `web-1:9100: / has 12% free` がオブジェクト `{"web-1:9100": "/ has 12% free"}` に変換されました。API はこれを `400` で拒否します。Alertmanager は `4xx` を即座には再試行せず、壊れたボディを `group_interval` ごとに送り続けるため、そのアラートは届きません。

ボディ全体を `dict` と `toJson` で組み立てると、この問題を避けられます。

```yaml
receivers:
  - name: pocketalert-api
    webhook_configs:
      - url: https://api.pocketalert.app/v1/messages
        http_config:
          http_headers:
            Token:
              files: [/etc/alertmanager/pocketalert.key]
        payload: >-
          {{ $msg := "" }}{{ range .Alerts }}{{ $msg = printf "%s%s: %s\n" $msg .Status .Annotations.summary }}{{ end }}
          {{ $level := "default" }}{{ if eq .Status "resolved" }}{{ $level = "low" }}{{ else if eq .CommonLabels.severity "critical" }}{{ $level = "critical" }}{{ end }}
          {{ dict "title" (printf "[%s] %s" (toUpper .Status) .GroupLabels.alertname) "message" $msg "level" $level | toJson }}
```

コロンと引用符を含む summary を使うと、次のように送信されました。

```json
{"level":"critical","message":"firing: web-1:9100: / has 4% free, \"quoted\"\nfiring: web-2:9100 / has 3% free\n","title":"[FIRING] DiskSpaceLow"}
```

解決時のバージョンでは `"level":"low"` で届きました。

では、どちらを使うべきでしょうか。API を直接呼び出す方法では、1 つのレシーバーだけで、Webhook を使わずに、通知ごとに本当のタイトルとレベルを指定できます。Webhook 方式では Alertmanager に API キーを設定する必要がなく、どのバージョンでも動作します（プレーン URL の構成）。不正なパスは、リクエストの拒否ではなく空行として描画され、すべてのリクエストは [Webhook の履歴](/features/webhook-history)に表示されます。Alertmanager の公式ドキュメントでは `payload` は「自己責任で使用」と記載されているため、頼る前に amtool でテストしてください。

## 無料プランの場合

無料プランでは Webhook は 1 つ、1 日 50 件のメッセージ、ボタンなし、`critical` は `high` として届きます。`default_level: 1` で Webhook を 1 つ作成し、そのプレーン URL を 1 つのレシーバーに設定して、重大度によるルートは削除してください。`high` を設定しない限り、解決通知も `send_resolved: false` で届きます。Alertmanager 0.32 以降であれば、Webhook が不要で通知ごとにレベルを設定できるため、無料プランには上記の API 直接呼び出しの設定の方が適しています。

## 届かないときは

- **Alertmanager のログを確認してください。** 送信に失敗すると `Notify for alerts failed` とステータスコードがログに出力されます。`404` の場合は、スラッグが間違っているか、0.31 より古いバージョンでテンプレート化された URL を使っています。
- **Pocket Alert の Webhook 履歴を開いてください。** リクエストがあればテンプレートに問題があります。なければ Alertmanager がリクエストを送信していません。
- **空行が表示される場合**は、パスがペイロードと一致していません。フィールド名は大文字と小文字を区別します。
- **プレースホルダーの直前にある `%` は 2 つ重ねる必要があります。** `%` の後にスペースが続く場合は通常のテキストとして扱われるため、`CPU over 90% on %groupLabels.alertname%` は正しく動作します。`%%` が他のテキストに隣接する場合は `%` と書いてください（例：`%commonLabels.usage%%%`）。
- テンプレートを書く前に、[Webhook テスター](/tools/webhook)を使って Alertmanager が実際に送信する内容を確認してください。

## FAQ

### kube-prometheus-stack でも使えますか？

はい、使えます。レシーバーは通常の Alertmanager の設定なので、他のレシーバーと同じようにチャートの Alertmanager 設定に追加します。テンプレート化された URL や `payload` を使う前に、チャートがデプロイしている Alertmanager のバージョンを確認してください。クラスター側の設定は [Kubernetes のアラート](/use-cases/kubernetes-alerts)を参照してください。

### Alertmanager ではなく Grafana のアラートを使っています。何が変わりますか？

Grafana は独自の Webhook 形式で送信します。詳しくは [Grafana のガイド](/blog/how-to-integrate-grafana-into-pocketalert)をご覧ください。

[無料アカウントを作成](/signup)し、スクリプトを実行して、3 つのスラッグを `alertmanager.yml` に貼り付ければ、次の `InstanceDown` がスマホに届きます。
