Kubernetes

Kubernetes のアラートを スマホに届く。

CrashLoopBackOff の Pod、OOMKilled のコンテナ、ロールアウトの失敗、NotReady ノードが、スマホへのプッシュ通知になります。namespace と Pod 名もそのまま画面に表示されます。kubectl に張り付かなくてもクラスターの問題を把握できます。

<1sでプッシュ通知ネイティブの webhook_configsCrashLoopBackOff · OOMKilled · NotReady 更新
機能

発火したアラートからスマホへ

今お使いの Alertmanager はそのまま使えます。Pocket Alert が Webhook の出力をスマホのプッシュ通知に変換します。

ネイティブの webhook_config

Alertmanager にはネイティブの webhook_config レシーバーがあります。アプリケーションの URL を指定すれば完了です。

GJSON のフィールドマッピング

GJSON で JSON から alertname、namespace、pod、severity を取り出し、読みやすいタイトルとメッセージにします。

status と severity をインライン表示

status と severity をインラインで表示するので、発火した critical のアラートと解決の通知を見分けられます。

Pod とノードのイベント

CrashLoopBackOff、OOMKilled、ロールアウトの失敗、NotReady ノード、PVC の容量不足を検知します。

クラスターごとのチャンネル

アプリケーションを分けることで、prod と staging にそれぞれ専用のチャンネルを用意でき、Webhook URL もそれぞれ別になります。

1 秒未満の配信

Alertmanager が発火すると、1 秒未満でプッシュ通知が届きます。クラスター内に追加のエージェントは不要です。

はじめ方

Alertmanager からスマホまで 3 ステップ

1

受信 URL を取得

GJSON のメッセージテンプレートを持つ Pocket Alert の Webhook を作成し、その受信 URL をコピーします。

2

Alertmanager を設定

Alertmanager に webhook_configs レシーバーを追加し、重要なアラートをそこにルーティングします。

3

動作確認

次に発火したアラートが 1 秒未満でスマホに届きます。ルートを調整しながら GJSON テンプレートを微調整してください。

Kubernetes のアラートをスマホに送る

1. Pocket Alert の Webhook を作成

Webhook ページで、Alertmanager のペイロード(トップレベルの message と status、および commonLabels 配列)を読み取る GJSON の alerts テンプレートを持つ Webhook を作成します:

curl -X POST "https://api.pocketalert.app/v1/webhooks" \
  -H "Token: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"name":"K8s Alertmanager","message":"[%status%] %commonLabels.alertname% (%commonLabels.severity%)\n%alerts.0.labels.namespace%/%alerts.0.labels.pod%\n%alerts.0.annotations.summary%","application_id":"qm47b9pzxzxg"}'

次のような受信 URL が発行されます: https://p4a.me/wh/1234abcd。prod と staging を分けるには、クラスターごとに Webhook を 1 つ使ってください。

2. Alertmanager の送信先を設定

webhook_configs レシーバーを追加し、重要なアラートをそこにルーティングします(Alertmanager ドキュメント):

receivers:
  - name: 'pocketalert'
    webhook_configs:
      - url: 'https://p4a.me/wh/1234abcd'

route:
  receiver: 'pocketalert'
  group_by: ['alertname', 'namespace']

Alertmanager は標準の JSON を POST します。上記の GJSON パスが status、alertname、severity、namespace、pod をプッシュ通知に取り込みます。アラートが解消されると、status は resolved に変わります。

3. コントローラーや kubectl から POST

コントローラーや一回限りのスクリプトから、Token ヘッダー付きでメッセージ API を直接呼び出せます:

curl -X POST "https://api.pocketalert.app/v1/messages" \
  -H "Token: YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"title":"CrashLoopBackOff","level":"critical","message":"api-7c9 in prod, 12 restarts","application_id":"qm47b9pzxzxg"}'

すべての GJSON パスと Webhook オプションについては、Webhook 設定のドキュメントをご覧ください。

FAQ

よくある質問

Alertmanager に webhook_configs のレシーバーを追加し、Pocket Alert の受信 URL https://p4a.me/wh/1234abcd を指定してください。発火した CrashLoopBackOff や OOMKilled のアラートがプッシュ通知になります。

GJSON のフィールドマッピングで Alertmanager の JSON を読み取ります。commonLabels.alertname をタイトルに、alerts.0.labels.namespace と alerts.0.labels.pod を本文に取り込むので、生のペイロードではなく namespace と pod 名が画面に表示されます。

ペイロードには status(firing または resolved)と commonLabels.severity が含まれます。両方を GJSON のメッセージテンプレートで参照すると、発火した critical のアラートと解決の通知を見分けられます。

prod と staging にそれぞれ専用の Pocket Alert アプリケーションを作成し、それぞれの Webhook URL を用意してください。Alertmanager のルートを別々に向けると、staging の NotReady ノードが prod と混同されることがありません。

いいえ。Alertmanager はすでに稼働している前提なので、クラスター内に追加するものは不要です。コントローラーやスクリプトから Token ヘッダー付きで https://api.pocketalert.app/v1/messages に直接 POST することもできます。

はい。すべてのメッセージに level(silent、low、default、high、critical のいずれか)を指定できます。Webhook のペイロードに "level" フィールドを含めるか、Webhook 自体に default_level を設定してください。ペイロードで明示された level が常に優先されます。よくある使い方は firing=critical、resolved=silent です。発火したアラートは Android ではおやすみモードを貫通し、iPhone では時間重視の通知として届きます。解決の通知は履歴に静かに残ります。無効な値は拒否されず default にフォールバックします。

クラスターのアラートを PC の外へ。

Alertmanager の webhook_config にアプリケーションの URL を指定すると、次に発火したアラートがスマホに届きます。