ブログに戻る

Prometheus Alertmanager のアラートをスマホにプッシュ通知で届ける:重大度ルーティング、グループ化、静かな解決通知

Prometheus Alertmanager のアラートをスマホにプッシュ通知で届ける:重大度ルーティング、グループ化、静かな解決通知

Prometheus は異常を検知するのが得意です。その情報を人に届けるのは Alertmanager の役目ですが、多くの環境では、その情報が誰も午前 3 時には読まないメールフォルダや Slack チャンネルに届いてしまいます。

Alertmanager には専用のプッシュ通知アプリはありませんが、汎用の Webhook レシーバーがあります。スマホでアラートを受け取るにはこれで十分です。このガイドでは重大度によるルーティングを設定します。critical のアラートは大きく鳴り、warning は通常の通知として届き、「resolved」は静かに届きます。ここに書いた内容はすべて、Docker 上の Alertmanager 0.34.2 と Prometheus 3.15.1 で検証しました。ペイロードはキャプチャし、Pocket Alert 自身のテンプレートコードで実行しています。

必要なもの

  • 完全な設定には Alertmanager 0.31 以降が必要です。古いバージョンについては後半で扱います。
  • iPhone または Android に Pocket Alert アプリを入れ、API キーを用意してください。
  • 3 つの Webhook を使う構成には有料プランが必要です。無料プランで含まれる Webhook は 1 つだけです。Webhook が 1 つの構成は記事の終わりの方で紹介します。

Alertmanager が送信する内容

Alertmanager はアラートごとにリクエストを送るわけではありません。group_by で指定したラベルごとにアラートをグループにまとめ、グループごとに 1 件の通知を送ります。送信するのは固定の JSON ボディを持つ POST リクエストで、"version": "4" になります。group_by: ['alertname'] の条件で 2 台のホストがダウンすると、リクエストは 1 件だけ送られます。少し省略した例は次のとおりです。

{
  "receiver": "pocketalert-critical",
  "status": "firing",
  "alerts": [
    {
      "status": "firing",
      "labels": {"alertname": "InstanceDown", "instance": "web-1:9100", "job": "node", "severity": "critical"},
      "annotations": {"summary": "web-1:9100 is down"},
      "startsAt": "2026-10-31T16:17:04.374Z",
      "generatorURL": "http://prometheus.example.com:9090/graph?g0.expr=up%7Bjob%3D%22node%22%7D+%3D%3D+0&g0.tab=1"
    },
    {
      "status": "firing",
      "labels": {"alertname": "InstanceDown", "instance": "web-2:9100", "job": "node", "severity": "critical"},
      "annotations": {"summary": "web-2:9100 is down"}
    }
  ],
  "notification_reason": "first notification",
  "groupLabels": {"alertname": "InstanceDown"},
  "commonLabels": {"alertname": "InstanceDown", "job": "node", "severity": "critical"},
  "commonAnnotations": {},
  "routeLabels": {},
  "externalURL": "http://alertmanager.example.com:9093",
  "version": "4",
  "groupKey": "{}/{severity=\"critical\"}:{alertname=\"InstanceDown\"}",
  "truncatedAlerts": 0
}

このペイロードの形式から、設定に関わる点が 4 つあります。

  • グループごとに 1 件のプッシュ通知。 個々のアラートは alerts 配列に入っているため、メッセージテンプレートは配列を扱える必要があります。
  • commonAnnotations は空になることが多いです。 グループ内のすべてのアラートで同じアノテーションだけが入ります。インスタンス名を含む summary はアラートごとに異なるため、ここには現れません。
  • status はグループ単位です。 グループ内のすべてのアラートが解決された場合にのみ resolved になります。1 台が復旧しても別のホストがまだダウンしている場合、status は firing のままで、復旧したアラートは内部で独自の "status": "resolved" を付けて一覧に残ります。
  • トップレベルに level フィールドはありません。 Pocket Alert の Webhook は優先度をそこから探します。そのため優先度は Webhook のデフォルトレベルで決まります。このガイドで音量ごとに Webhook を 1 つずつ用意しているのはこのためです。

ステップ 1:Pocket Alert の Webhook を作成する

Webhookdefault_level受信内容
Prometheus critical2(critical)severity="critical" の firing グループ
Prometheus warning0(default)
Prometheus resolved-1(low)

ボタンは API からしか設定できないため、3 つの Webhook はすべて 1 つのスクリプトで作成します。

PA_KEY='your-api-key'

FIRING='%groupLabels.alertname%: %alerts.#(status=="firing")#|#% firing
%alerts.#(status=="firing").annotations.summary%
Firing: %alerts.#(status=="firing")#.labels.instance%'

RESOLVED='Resolved: %groupLabels.alertname% (%commonLabels.severity%)
%alerts.#.labels.instance%'

BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"}]'

create_webhook() {
  jq -n --arg name "$1" --argjson level "$2" --arg message "$3" --arg actions "$4" \
    '{name: $name, default_level: $level, message: $message, actions: $actions}' |
  curl -sS https://api.pocketalert.app/v1/webhooks \
    -H "Token: $PA_KEY" \
    -H 'Content-Type: application/json' \
    --data-binary @- |
  jq -r '"\(.name): https://p4a.me/wh/\(.url)"'
}

create_webhook 'Prometheus critical' 2 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus warning' 0 "$FIRING" "$BUTTONS"
create_webhook 'Prometheus resolved' -1 "$RESOLVED" ''

受信用 URL が 3 つ表示されます。それぞれの末尾にあるスラッグは保存しておいてください。このスラッグを alertmanager.yml に貼り付けます。

%...% のプレースホルダーは GJSON パスで、GJSON は配列に対してクエリを実行できます。

  • alerts.#(status=="firing")#|# は、グループ内でまだ firing しているアラートの数を数えます。
  • alerts.#(status=="firing").annotations.summary は、最初に firing しているアラートの summary です。
  • alerts.#(status=="firing")#.labels.instance は、firing しているすべてのアラートのインスタンスを一覧にします。文字列を結合する関数がないため、["web-1:9100","web-2:9100"] のように JSON 配列として描画されます。

存在しないパスは空文字列として描画されます。そのため、パスが間違っていてもアラートが消えるのではなく、空行が表示されます。Pocket Alert は Webhook のプッシュ通知すべてに Webhook <name> というタイトルを付けるため、タイトルは「Webhook Prometheus critical」となり、アラート名はメッセージの 1 行目に表示されます。critical には有料プランが必要です。この構成では 3 つの Webhook を使うため、どのみち有料プランが必要になります。iPhone ではサイレントスイッチやおやすみモードを無視して鳴り、Android では画面全体を占有して表示されます。アラートでおやすみモードを上書きしたくない場合は、代わりに 1(high)を使ってください。

ステップ 2:alertmanager.yml

3 つの *_SLUG のプレースホルダーを、取得したスラッグに置き換えてください。

route:
  receiver: pocketalert-warning
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers: ['severity="critical"']
      receiver: pocketalert-critical
      group_wait: 10s
      repeat_interval: 1h
    - matchers: ['severity="info"']
      receiver: blackhole

receivers:
  - name: pocketalert-critical
    webhook_configs:
      - url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}CRITICAL_SLUG{{ end }}'
        send_resolved: true
        max_alerts: 20
  - name: pocketalert-warning
    webhook_configs:
      - url: 'https://p4a.me/wh/{{ if eq .Status "resolved" }}RESOLVED_SLUG{{ else }}WARNING_SLUG{{ end }}'
        send_resolved: true
        max_alerts: 20
  - name: blackhole

inhibit_rules:
  - source_matchers: ['severity="critical"']
    target_matchers: ['severity="warning"']
    equal: ['alertname', 'instance', 'mountpoint']

各部分の働きは次のとおりです。

  • 重大度によるルーティング。 severity="critical" は音の大きいレシーバーに送られ、info は破棄されます。それ以外のアラートは、severity ラベルがないものも含めて warning のレシーバーに振り分けられます。
  • URL が Webhook を選びます。 0.31.0 以降では、Webhook の url はテンプレートとして扱われます。status が resolved のグループは静かな Webhook に送られ、それ以外はレシーバー自身の Webhook に送られます。send_resolved は Webhook ではデフォルトで true ですが、誰かが気づかずに無効にしないよう明示的に書いています。
  • max_alerts: 20 は 1 回のリクエストに含めるアラートの数を制限します。検証では 25 台のホストが同時にダウンしました。その結果、「20 firing」と表示されるプッシュ通知が 1 件届き、ペイロードには truncatedAlerts: 5 が含まれていました。
  • 抑制。 重大度 critical の DiskSpaceLow がファイルシステムで発火すると、同じ alertname、instance、mountpoint の warning はミュートされます。amtool alert query --inhibited では suppressed と表示されます。

リロードする前に、設定とルーティングを確認してください。

amtool check-config alertmanager.yml
amtool config routes test --config.file=alertmanager.yml severity=critical alertname=Test

2 つ目のコマンドは pocketalert-critical と表示します。

Alertmanager は、スマホから開けるアドレスを --web.external-url に指定して起動してください。指定しないと、externalURL は単なるホスト名になります。Docker 環境では http://de48ea5ffc29:9093 となり、ボタンとして使えないリンクになりました。

まずバージョンを確認する

テンプレート化された URL を使うには、alertmanager --version が 0.31 以降を示す必要があります。0.30.1 でもこの設定はそのまま受け付けられ、amtool check-config も SUCCESS を返しますが、テンプレートは描画されません。その結果、リクエストは /wh/%7B%7B%20if%20eq%20.Status... に送られ、どの Webhook とも一致しません。古いバージョンでは、各レシーバーに自分の Webhook のプレーンな URL を指定してください。その場合、resolved の通知は、その Webhook のレベルで届きます。

ステップ 3:重大度ラベル付きのルール

上記のルーティングは、ルールで severity を設定している場合にのみ機能します。ここでは 2 つの例を示します(監視対象の詳細はサーバー監視のページにもあります)。抑制ルールが動作するように、DiskSpaceLow は 2 つのしきい値で定義しています。

groups:
  - name: node
    rules:
      - alert: InstanceDown
        expr: up{job="node"} == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: '{{ $labels.instance }} is down'

      - alert: DiskSpaceLow
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 15
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'

      - alert: DiskSpaceLow
        expr: node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes * 100 < 5
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: '{{ $labels.instance }} {{ $labels.mountpoint }} has {{ printf "%.0f" $value }}% free'

promtool check rules rules.yml でファイルを検証できます。prometheus.yml で、Prometheus にこのファイルと Alertmanager の場所を指定してください。

rule_files: [rules.yml]
alerting:
  alertmanagers:
    - static_configs:
        - targets: ['alertmanager:9093']

amtool でテストする

テスト用のアラートを発火させ、group_wait(critical ルートでは 10 秒)を待ってから解決します。

amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
  --annotation='summary="Test alert from amtool"'

amtool --alertmanager.url=http://localhost:9093 alert add alertname=PocketAlertTest severity=critical instance=test:9100 \
  --annotation='summary="Test alert from amtool"' --end="$(date -u +%Y-%m-%dT%H:%M:%SZ)"

アノテーションの内側のダブルクォートは残してください。残さないと、amtool は古いパーサーにフォールバックしたという警告を出します。解決のプッシュ通知は次の group_interval のタイミングで届きます。この設定では最大 5 分かかることがあります。

スマホに届く内容

以下は、テストで Prometheus が web-1 と web-2 のダウンと復旧を検知した実際のペイロードから、Pocket Alert が描画したメッセージです。

Webhook Prometheus critical
InstanceDown: 2 firing
web-1:9100 is down
Firing: ["web-1:9100","web-2:9100"]

web-1 が復旧すると、Alertmanager は次の group_interval で更新を送ります。グループはまだ firing 状態なので、critical の Webhook に送られます。

Webhook Prometheus critical
InstanceDown: 1 firing
web-2:9100 is down
Firing: ["web-2:9100"]

両方が復旧すると、低優先度のプッシュ通知が届きます。

Webhook Prometheus resolved
Resolved: InstanceDown (critical)
["web-1:9100","web-2:9100"]

タイマー:プッシュ通知の連発を防ぐ

設定役割この設定での値
group_wait新しいグループが最初の通知を送る前に、追加のアラートを待つ時間30s、critical は 10s
group_intervalアラートに変化があったグループについて、通知の最小間隔5m
repeat_intervalfiring のまま変化がないグループへのリマインダー4h、critical は 1h

グループが通知を送るのは group_interval ごとに最大 1 回です。そのため、状態が不安定なアラートは 5m 設定のとき 1 時間に最大 12 件の通知を生みます。丸一日続く障害は、repeat_interval が 1h の場合、24 件のリマインダーになります。グループ化で多くの問題を防げます。40 台のホストをダウンさせるスイッチの故障は、40 件ではなく 1 件のプッシュ通知になります。group_by: ['...'] は使わないでください。すべてのラベルでグループ化するため、アラートごとに 1 件の通知に戻ってしまいます。プランごとに1 日のメッセージ上限があり(Starter は 1 日 1,000 件)、メッセージを生成する Webhook へのリクエストはすべてこの上限に数えられます。

ボタン:Alertmanager と Grafana

上記の BUTTONS テンプレートには「Alertmanager」ボタンが追加されます。アクションボタンは最大 3 つまで追加できます。次の例では、最初に firing しているインスタンスの Grafana ダッシュボードを開くボタンを追加しています。

BUTTONS='[{"type":"view","label":"Alertmanager","value":"%externalURL%"},{"type":"view","label":"Grafana","value":"https://grafana.example.com/d/YOUR_DASHBOARD?var-instance=%alerts.#(status=="firing").labels.instance%"}]'

プレースホルダーの中にあるエスケープされていない引用符は、一見おかしく見えますが問題なく動作します。Pocket Alert はまずプレースホルダーを置換し、その後で JSON を解析するためです。

空の値に注意してください。value が空になったボタンは、そのプッシュ通知からは除外されます。他のボタンとメッセージは届きます。Prometheus のアラートでは %alerts.0.generatorURL%(Prometheus のグラフへのリンク)が適していますが、amtool で送信したアラートには generator URL がないため、そのボタンは表示されません。アクションボタンは有料機能です。

Alertmanager 0.32 以降:API を直接呼び出す

古いガイドでは、Alertmanager は Webhook のボディを変更できないと書かれています。しかし 0.32.0 で payload に webhook_configs オプションが追加され、この前提は変わりました。http_config.http_headers で Token ヘッダーを送信できるため、Alertmanager は独自のタイトルとレベルを指定して https://api.pocketalert.app/v1/messages に直接 POST できます。

ここには罠があります。Alertmanager は、描画されたすべての値を YAML として解析します。検証では、フィールドごとに組み立てた message: '{{ range .Alerts }}{{ .Annotations.summary }}...' のペイロードにより、summary web-1:9100: / has 12% free がオブジェクト {"web-1:9100": "/ has 12% free"} に変換されました。API はこれを 400 で拒否します。Alertmanager は 4xx を即座には再試行せず、壊れたボディを group_interval ごとに送り続けるため、そのアラートは届きません。

ボディ全体を dict と toJson で組み立てると、この問題を避けられます。

receivers:
  - name: pocketalert-api
    webhook_configs:
      - url: https://api.pocketalert.app/v1/messages
        http_config:
          http_headers:
            Token:
              files: [/etc/alertmanager/pocketalert.key]
        payload: >-
          {{ $msg := "" }}{{ range .Alerts }}{{ $msg = printf "%s%s: %s\n" $msg .Status .Annotations.summary }}{{ end }}
          {{ $level := "default" }}{{ if eq .Status "resolved" }}{{ $level = "low" }}{{ else if eq .CommonLabels.severity "critical" }}{{ $level = "critical" }}{{ end }}
          {{ dict "title" (printf "[%s] %s" (toUpper .Status) .GroupLabels.alertname) "message" $msg "level" $level | toJson }}

コロンと引用符を含む summary を使うと、次のように送信されました。

{"level":"critical","message":"firing: web-1:9100: / has 4% free, \"quoted\"\nfiring: web-2:9100 / has 3% free\n","title":"[FIRING] DiskSpaceLow"}

解決時のバージョンでは "level":"low" で届きました。

では、どちらを使うべきでしょうか。API を直接呼び出す方法では、1 つのレシーバーだけで、Webhook を使わずに、通知ごとに本当のタイトルとレベルを指定できます。Webhook 方式では Alertmanager に API キーを設定する必要がなく、どのバージョンでも動作します(プレーン URL の構成)。不正なパスは、リクエストの拒否ではなく空行として描画され、すべてのリクエストは Webhook の履歴に表示されます。Alertmanager の公式ドキュメントでは payload は「自己責任で使用」と記載されているため、頼る前に amtool でテストしてください。

無料プランの場合

無料プランでは Webhook は 1 つ、1 日 50 件のメッセージ、ボタンなし、critical は high として届きます。default_level: 1 で Webhook を 1 つ作成し、そのプレーン URL を 1 つのレシーバーに設定して、重大度によるルートは削除してください。high を設定しない限り、解決通知も send_resolved: false で届きます。Alertmanager 0.32 以降であれば、Webhook が不要で通知ごとにレベルを設定できるため、無料プランには上記の API 直接呼び出しの設定の方が適しています。

届かないときは

  • Alertmanager のログを確認してください。 送信に失敗すると Notify for alerts failed とステータスコードがログに出力されます。404 の場合は、スラッグが間違っているか、0.31 より古いバージョンでテンプレート化された URL を使っています。
  • Pocket Alert の Webhook 履歴を開いてください。 リクエストがあればテンプレートに問題があります。なければ Alertmanager がリクエストを送信していません。
  • 空行が表示される場合は、パスがペイロードと一致していません。フィールド名は大文字と小文字を区別します。
  • プレースホルダーの直前にある % は 2 つ重ねる必要があります。 % の後にスペースが続く場合は通常のテキストとして扱われるため、CPU over 90% on %groupLabels.alertname% は正しく動作します。%% が他のテキストに隣接する場合は % と書いてください(例:%commonLabels.usage%%%)。
  • テンプレートを書く前に、Webhook テスターを使って Alertmanager が実際に送信する内容を確認してください。

FAQ

kube-prometheus-stack でも使えますか?

はい、使えます。レシーバーは通常の Alertmanager の設定なので、他のレシーバーと同じようにチャートの Alertmanager 設定に追加します。テンプレート化された URL や payload を使う前に、チャートがデプロイしている Alertmanager のバージョンを確認してください。クラスター側の設定は Kubernetes のアラートを参照してください。

Alertmanager ではなく Grafana のアラートを使っています。何が変わりますか?

Grafana は独自の Webhook 形式で送信します。詳しくは Grafana のガイドをご覧ください。

無料アカウントを作成し、スクリプトを実行して、3 つのスラッグを alertmanager.yml に貼り付ければ、次の InstanceDown がスマホに届きます。

この記事をシェア