Prometheus Alertmanager のアラートをスマホにプッシュ通知で届ける:重大度ルーティング、グループ化、静かな解決通知

Prometheus は異常を検知するのが得意です。その情報を人に届けるのは Alertmanager の役目ですが、多くの環境では、その情報が誰も午前 3 時には読まないメールフォルダや Slack チャンネルに届いてしまいます。
Alertmanager には専用のプッシュ通知アプリはありませんが、汎用の Webhook レシーバーがあります。スマホでアラートを受け取るにはこれで十分です。このガイドでは重大度によるルーティングを設定します。critical のアラートは大きく鳴り、warning は通常の通知として届き、「resolved」は静かに届きます。ここに書いた内容はすべて、Docker 上の Alertmanager 0.34.2 と Prometheus 3.15.1 で検証しました。ペイロードはキャプチャし、Pocket Alert 自身のテンプレートコードで実行しています。
必要なもの
- 完全な設定には Alertmanager 0.31 以降が必要です。古いバージョンについては後半で扱います。
- iPhone または Android に Pocket Alert アプリを入れ、API キーを用意してください。
- 3 つの Webhook を使う構成には有料プランが必要です。無料プランで含まれる Webhook は 1 つだけです。Webhook が 1 つの構成は記事の終わりの方で紹介します。
Alertmanager が送信する内容
Alertmanager はアラートごとにリクエストを送るわけではありません。group_by で指定したラベルごとにアラートをグループにまとめ、グループごとに 1 件の通知を送ります。送信するのは固定の JSON ボディを持つ POST リクエストで、"version": "4" になります。group_by: ['alertname'] の条件で 2 台のホストがダウンすると、リクエストは 1 件だけ送られます。少し省略した例は次のとおりです。
{
"receiver": "pocketalert-critical",
"status": "firing",
"alerts": [
{
"status": "firing",
"labels": {"alertname": "InstanceDown", "instance": "web-1:9100", "job": "node", "severity": "critical"},
"annotations": {"summary": "web-1:9100 is down"},
"startsAt": "2026-10-31T16:17:04.374Z",
"generatorURL": "http://prometheus.example.com:9090/graph?g0.expr=up%7Bjob%3D%22node%22%7D+%3D%3D+0&g0.tab=1"
},
{
"status": "firing",
"labels": {"alertname": "InstanceDown", "instance": "web-2:9100", "job": "node", "severity": "critical"},
"annotations": {"summary": "web-2:9100 is down"}
}
],
"notification_reason": "first notification",
"groupLabels": {"alertname": "InstanceDown"},
"commonLabels": {"alertname": "InstanceDown", "job": "node", "severity": "critical"},
"commonAnnotations": {},
"routeLabels": {},
"externalURL": "http://alertmanager.example.com:9093",
"version": "4",
"groupKey": "{}/{severity=\"critical\"}:{alertname=\"InstanceDown\"}",
"truncatedAlerts": 0
}
このペイロードの形式から、設定に関わる点が 4 つあります。
- グループごとに 1 件のプッシュ通知。 個々のアラートは
alerts配列に入っているため、メッセージテンプレートは配列を扱える必要があります。 commonAnnotationsは空になることが多いです。 グループ内のすべてのアラートで同じアノテーションだけが入ります。インスタンス名を含む summary はアラートごとに異なるため、ここには現れません。statusはグループ単位です。 グループ内のすべてのアラートが解決された場合にのみresolvedになります。1 台が復旧しても別のホストがまだダウンしている場合、status はfiringのままで、復旧したアラートは内部で独自の"status": "resolved"を付けて一覧に残ります。- トップレベルに
levelフィールドはありません。 Pocket Alert の Webhook は優先度をそこから探します。そのため優先度は Webhook のデフォルトレベルで決まります。このガイドで音量ごとに Webhook を 1 つずつ用意しているのはこのためです。
ステップ 1:Pocket Alert の Webhook を作成する
| Webhook | default_level | 受信内容 |
|---|---|---|
| Prometheus critical | 2(critical) | severity="critical" の firing グループ |
| Prometheus warning | 0(default) | |
| Prometheus resolved | -1(low) |
ボタンは API からしか設定できないため、3 つの Webhook はすべて 1 つのスクリプトで作成します。
PA_KEY='your-api-key'
FIRING='%groupLabels.alertname%: %alerts.#(status=="firing")#|#% firing
%alerts.#(status=="firing").annotations.summary%
Firing: %alerts.#(status=="firing")#.labels.instance%'
RESOLVED='Resolved: %groupLabels.alertname% (%commonLabels.severity%)
%alerts.#.labels.instance%'
BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"}]'
create_webhook() {
jq -n --arg name "$1" --argjson level "$2" --arg message "$3" --arg actions "$4" \
'{name: $name, default_level: $level, message: $message, actions: $actions}' |
curl -sS https://api.pocketalert.app/v1/webhooks \
-H "Token: $PA_KEY" \
-H 'Content-Type: application/json' \
--data-binary @- |
jq -r '"\(.name): https://p4a.me/wh/\(.url)"'
}
create_webhook 'Prometheus critical' 2 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus warning' 0 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus resolved' -1 "$RESOLVED" ''
受信用 URL が 3 つ表示されます。それぞれの末尾にあるスラッグは保存しておいてください。このスラッグを alertmanager.yml に貼り付けます。
%...% のプレースホルダーは GJSON パスで、GJSON は配列に対してクエリを実行できます。
alerts.#(status=="firing")#|#は、グループ内でまだ firing しているアラートの数を数えます。alerts.#(status=="firing").annotations.summaryは、最初に firing しているアラートの summary です。alerts.#(status=="firing")#.labels.instanceは、firing しているすべてのアラートのインスタンスを一覧にします。文字列を結合する関数がないため、["web-1:9100","web-2:9100"]のように JSON 配列として描画されます。
存在しないパスは空文字列として描画されます。そのため、パスが間違っていてもアラートが消えるのではなく、空行が表示されます。Pocket Alert は Webhook のプッシュ通知すべてに Webhook <name> というタイトルを付けるため、タイトルは「Webhook Prometheus critical」となり、アラート名はメッセージの 1 行目に表示されます。critical には有料プランが必要です。この構成では 3 つの Webhook を使うため、どのみち有料プランが必要になります。iPhone ではサイレントスイッチやおやすみモードを無視して鳴り、Android では画面全体を占有して表示されます。アラートでおやすみモードを上書きしたくない場合は、代わりに 1(high)を使ってください。
ステップ 2:alertmanager.yml
3 つの *_SLUG のプレースホルダーを、取得したスラッグに置き換えてください。
route:
receiver: pocketalert-warning
group_by: ['alertname']
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- matchers: ['severity="critical"']
receiver: pocketalert-critical
group_wait: 10s
repeat_interval: 1h
- matchers: ['severity="info"']
receiver: blackhole
receivers:
- name: pocketalert-critical
webhook_configs:
- url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}CRITICAL_SLUG{{ end }}'
send_resolved: true
max_alerts: 20
- name: pocketalert-warning
webhook_configs:
- url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}WARNING_SLUG{{ end }}'
send_resolved: true
max_alerts: 20
- name: blackhole
inhibit_rules:
- source_matchers: ['severity="critical"']
target_matchers: ['severity="warning"']
equal: ['alertname', 'instance', 'mountpoint']
各部分の働きは次のとおりです。
- 重大度によるルーティング。
severity="critical"は音の大きいレシーバーに送られ、infoは破棄されます。それ以外のアラートは、severityラベルがないものも含めて warning のレシーバーに振り分けられます。 - URL が Webhook を選びます。 0.31.0 以降では、Webhook の
urlはテンプレートとして扱われます。status がresolvedのグループは静かな Webhook に送られ、それ以外はレシーバー自身の Webhook に送られます。send_resolvedは Webhook ではデフォルトでtrueですが、誰かが気づかずに無効にしないよう明示的に書いています。 max_alerts: 20は 1 回のリクエストに含めるアラートの数を制限します。検証では 25 台のホストが同時にダウンしました。その結果、「20 firing」と表示されるプッシュ通知が 1 件届き、ペイロードにはtruncatedAlerts: 5が含まれていました。- 抑制。 重大度 critical の
DiskSpaceLowがファイルシステムで発火すると、同じalertname、instance、mountpointの warning はミュートされます。amtool alert query --inhibitedではsuppressedと表示されます。
リロードする前に、設定とルーティングを確認してください。
amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml severity=critical alertname=Test
2 つ目のコマンドは pocketalert-critical と表示します。
Alertmanager は、スマホから開けるアドレスを --web.external-url に指定して起動してください。指定しないと、externalURL は単なるホスト名になります。Docker 環境では http://de48ea5ffc29:9093 となり、ボタンとして使えないリンクになりました。
まずバージョンを確認する
テンプレート化された URL を使うには、alertmanager --version が 0.31 以降を示す必要があります。0.30.1 でもこの設定はそのまま受け付けられ、amtool check-config も SUCCESS を返しますが、テンプレートは描画されません。その結果、リクエストは /wh/%7B%7B%20if%20eq%20.Status... に送られ、どの Webhook とも一致しません。古いバージョンでは、各レシーバーに自分の Webhook のプレーンな URL を指定してください。その場合、resolved の通知は、その Webhook のレベルで届きます。
ステップ 3:重大度ラベル付きのルール
上記のルーティングは、ルールで severity を設定している場合にのみ機能します。ここでは 2 つの例を示します(監視対象の詳細はサーバー監視のページにもあります)。抑制ルールが動作するように、DiskSpaceLow は 2 つのしきい値で定義しています。
groups:
- name: node
rules:
- alert: InstanceDown
expr: up{job="node"} == 0
for: 2m
labels:
severity: critical
annotations:
summary: '{{ $labels.instance }} is down'
- alert: DiskSpaceLow
expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 15
for: 10m
labels:
severity: warning
annotations:
summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'
- alert: DiskSpaceLow
expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 5
for: 5m
labels:
severity: critical
annotations:
summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'
promtool check rules rules.yml でファイルを検証できます。prometheus.yml で、Prometheus にこのファイルと Alertmanager の場所を指定してください。
rule_files: [rules.yml]
alerting:
alertmanagers:
- static_configs:
- targets: ['alertmanager:9093']
amtool でテストする
テスト用のアラートを発火させ、group_wait(critical ルートでは 10 秒)を待ってから解決します。
amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
--annotation='summary="Test alert from amtool"'
amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
--annotation='summary="Test alert from amtool"' --end="$(date -u +%Y-%m-%dT%H:%M:%SZ)"
アノテーションの内側のダブルクォートは残してください。残さないと、amtool は古いパーサーにフォールバックしたという警告を出します。解決のプッシュ通知は次の group_interval のタイミングで届きます。この設定では最大 5 分かかることがあります。
スマホに届く内容
以下は、テストで Prometheus が web-1 と web-2 のダウンと復旧を検知した実際のペイロードから、Pocket Alert が描画したメッセージです。
Webhook Prometheus critical
InstanceDown: 2 firing
web-1:9100 is down
Firing: ["web-1:9100","web-2:9100"]
web-1 が復旧すると、Alertmanager は次の group_interval で更新を送ります。グループはまだ firing 状態なので、critical の Webhook に送られます。
Webhook Prometheus critical
InstanceDown: 1 firing
web-2:9100 is down
Firing: ["web-2:9100"]
両方が復旧すると、低優先度のプッシュ通知が届きます。
Webhook Prometheus resolved
Resolved: InstanceDown (critical)
["web-1:9100","web-2:9100"]
タイマー:プッシュ通知の連発を防ぐ
| 設定 | 役割 | この設定での値 |
|---|---|---|
group_wait | 新しいグループが最初の通知を送る前に、追加のアラートを待つ時間 | 30s、critical は 10s |
group_interval | アラートに変化があったグループについて、通知の最小間隔 | 5m |
repeat_interval | firing のまま変化がないグループへのリマインダー | 4h、critical は 1h |
グループが通知を送るのは group_interval ごとに最大 1 回です。そのため、状態が不安定なアラートは 5m 設定のとき 1 時間に最大 12 件の通知を生みます。丸一日続く障害は、repeat_interval が 1h の場合、24 件のリマインダーになります。グループ化で多くの問題を防げます。40 台のホストをダウンさせるスイッチの故障は、40 件ではなく 1 件のプッシュ通知になります。group_by: ['...'] は使わないでください。すべてのラベルでグループ化するため、アラートごとに 1 件の通知に戻ってしまいます。プランごとに1 日のメッセージ上限があり(Starter は 1 日 1,000 件)、メッセージを生成する Webhook へのリクエストはすべてこの上限に数えられます。
ボタン:Alertmanager と Grafana
上記の BUTTONS テンプレートには「Alertmanager」ボタンが追加されます。アクションボタンは最大 3 つまで追加できます。次の例では、最初に firing しているインスタンスの Grafana ダッシュボードを開くボタンを追加しています。
BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"},{"type":"view","label":"Grafana","value":"https://grafana.example.com/d/YOUR_DASHBOARD?var-instance=%alerts.#(status=="firing").labels.instance%"}]'
プレースホルダーの中にあるエスケープされていない引用符は、一見おかしく見えますが問題なく動作します。Pocket Alert はまずプレースホルダーを置換し、その後で JSON を解析するためです。
空の値に注意してください。value が空になったボタンは、そのプッシュ通知からは除外されます。他のボタンとメッセージは届きます。Prometheus のアラートでは %alerts.0.generatorURL%(Prometheus のグラフへのリンク)が適していますが、amtool で送信したアラートには generator URL がないため、そのボタンは表示されません。アクションボタンは有料機能です。
Alertmanager 0.32 以降:API を直接呼び出す
古いガイドでは、Alertmanager は Webhook のボディを変更できないと書かれています。しかし 0.32.0 で payload に webhook_configs オプションが追加され、この前提は変わりました。http_config.http_headers で Token ヘッダーを送信できるため、Alertmanager は独自のタイトルとレベルを指定して https://api.pocketalert.app/v1/messages に直接 POST できます。
ここには罠があります。Alertmanager は、描画されたすべての値を YAML として解析します。検証では、フィールドごとに組み立てた message: '{{ range .Alerts }}{{ .Annotations.summary }}...' のペイロードにより、summary web-1:9100: / has 12% free がオブジェクト {"web-1:9100": "/ has 12% free"} に変換されました。API はこれを 400 で拒否します。Alertmanager は 4xx を即座には再試行せず、壊れたボディを group_interval ごとに送り続けるため、そのアラートは届きません。
ボディ全体を dict と toJson で組み立てると、この問題を避けられます。
receivers:
- name: pocketalert-api
webhook_configs:
- url: https://api.pocketalert.app/v1/messages
http_config:
http_headers:
Token:
files: [/etc/alertmanager/pocketalert.key]
payload: >-
{{ $msg := "" }}{{ range .Alerts }}{{ $msg = printf "%s%s: %s\n" $msg .Status .Annotations.summary }}{{ end }}
{{ $level := "default" }}{{ if eq .Status "resolved" }}{{ $level = "low" }}{{ else if eq .CommonLabels.severity "critical" }}{{ $level = "critical" }}{{ end }}
{{ dict "title" (printf "[%s] %s" (toUpper .Status) .GroupLabels.alertname) "message" $msg "level" $level | toJson }}
コロンと引用符を含む summary を使うと、次のように送信されました。
{"level":"critical","message":"firing: web-1:9100: / has 4% free, \"quoted\"\nfiring: web-2:9100 / has 3% free\n","title":"[FIRING] DiskSpaceLow"}
解決時のバージョンでは "level":"low" で届きました。
では、どちらを使うべきでしょうか。API を直接呼び出す方法では、1 つのレシーバーだけで、Webhook を使わずに、通知ごとに本当のタイトルとレベルを指定できます。Webhook 方式では Alertmanager に API キーを設定する必要がなく、どのバージョンでも動作します(プレーン URL の構成)。不正なパスは、リクエストの拒否ではなく空行として描画され、すべてのリクエストは Webhook の履歴に表示されます。Alertmanager の公式ドキュメントでは payload は「自己責任で使用」と記載されているため、頼る前に amtool でテストしてください。
無料プランの場合
無料プランでは Webhook は 1 つ、1 日 50 件のメッセージ、ボタンなし、critical は high として届きます。default_level: 1 で Webhook を 1 つ作成し、そのプレーン URL を 1 つのレシーバーに設定して、重大度によるルートは削除してください。high を設定しない限り、解決通知も send_resolved: false で届きます。Alertmanager 0.32 以降であれば、Webhook が不要で通知ごとにレベルを設定できるため、無料プランには上記の API 直接呼び出しの設定の方が適しています。
届かないときは
- Alertmanager のログを確認してください。 送信に失敗すると
Notify for alerts failedとステータスコードがログに出力されます。404の場合は、スラッグが間違っているか、0.31 より古いバージョンでテンプレート化された URL を使っています。 - Pocket Alert の Webhook 履歴を開いてください。 リクエストがあればテンプレートに問題があります。なければ Alertmanager がリクエストを送信していません。
- 空行が表示される場合は、パスがペイロードと一致していません。フィールド名は大文字と小文字を区別します。
- プレースホルダーの直前にある
%は 2 つ重ねる必要があります。%の後にスペースが続く場合は通常のテキストとして扱われるため、CPU over 90% on %groupLabels.alertname%は正しく動作します。%%が他のテキストに隣接する場合は%と書いてください(例:%commonLabels.usage%%%)。 - テンプレートを書く前に、Webhook テスターを使って Alertmanager が実際に送信する内容を確認してください。
FAQ
kube-prometheus-stack でも使えますか?
はい、使えます。レシーバーは通常の Alertmanager の設定なので、他のレシーバーと同じようにチャートの Alertmanager 設定に追加します。テンプレート化された URL や payload を使う前に、チャートがデプロイしている Alertmanager のバージョンを確認してください。クラスター側の設定は Kubernetes のアラートを参照してください。
Alertmanager ではなく Grafana のアラートを使っています。何が変わりますか?
Grafana は独自の Webhook 形式で送信します。詳しくは Grafana のガイドをご覧ください。
無料アカウントを作成し、スクリプトを実行して、3 つのスラッグを alertmanager.yml に貼り付ければ、次の InstanceDown がスマホに届きます。