発火したアラートからスマホへ
今お使いの Alertmanager はそのまま使えます。Pocket Alert が Webhook の出力をスマホのプッシュ通知に変換します。
ネイティブの webhook_config
Alertmanager にはネイティブの webhook_config レシーバーがあります。アプリケーションの URL を指定すれば完了です。
GJSON のフィールドマッピング
GJSON で JSON から alertname、namespace、pod、severity を取り出し、読みやすいタイトルとメッセージにします。
status と severity をインライン表示
status と severity をインラインで表示するので、発火した critical のアラートと解決の通知を見分けられます。
Pod とノードのイベント
CrashLoopBackOff、OOMKilled、ロールアウトの失敗、NotReady ノード、PVC の容量不足を検知します。
クラスターごとのチャンネル
アプリケーションを分けることで、prod と staging にそれぞれ専用のチャンネルを用意でき、Webhook URL もそれぞれ別になります。
1 秒未満の配信
Alertmanager が発火すると、1 秒未満でプッシュ通知が届きます。クラスター内に追加のエージェントは不要です。
Alertmanager からスマホまで 3 ステップ
受信 URL を取得
GJSON のメッセージテンプレートを持つ Pocket Alert の Webhook を作成し、その受信 URL をコピーします。
Alertmanager を設定
Alertmanager に webhook_configs レシーバーを追加し、重要なアラートをそこにルーティングします。
動作確認
次に発火したアラートが 1 秒未満でスマホに届きます。ルートを調整しながら GJSON テンプレートを微調整してください。
Kubernetes のアラートをスマホに送る
1. Pocket Alert の Webhook を作成
Webhook ページで、Alertmanager のペイロード(トップレベルの message と status、および commonLabels 配列)を読み取る GJSON の alerts テンプレートを持つ Webhook を作成します:
curl -X POST "https://api.pocketalert.app/v1/webhooks" \
-H "Token: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"name":"K8s Alertmanager","message":"[%status%] %commonLabels.alertname% (%commonLabels.severity%)\n%alerts.0.labels.namespace%/%alerts.0.labels.pod%\n%alerts.0.annotations.summary%","application_id":"qm47b9pzxzxg"}'
次のような受信 URL が発行されます: https://p4a.me/wh/1234abcd。prod と staging を分けるには、クラスターごとに Webhook を 1 つ使ってください。
2. Alertmanager の送信先を設定
webhook_configs レシーバーを追加し、重要なアラートをそこにルーティングします(Alertmanager ドキュメント):
receivers:
- name: 'pocketalert'
webhook_configs:
- url: 'https://p4a.me/wh/1234abcd'
route:
receiver: 'pocketalert'
group_by: ['alertname', 'namespace']
Alertmanager は標準の JSON を POST します。上記の GJSON パスが status、alertname、severity、namespace、pod をプッシュ通知に取り込みます。アラートが解消されると、status は resolved に変わります。
3. コントローラーや kubectl から POST
コントローラーや一回限りのスクリプトから、Token ヘッダー付きでメッセージ API を直接呼び出せます:
curl -X POST "https://api.pocketalert.app/v1/messages" \
-H "Token: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"title":"CrashLoopBackOff","level":"critical","message":"api-7c9 in prod, 12 restarts","application_id":"qm47b9pzxzxg"}'
すべての GJSON パスと Webhook オプションについては、Webhook 設定のドキュメントをご覧ください。
よくある質問
Alertmanager に webhook_configs のレシーバーを追加し、Pocket Alert の受信 URL https://p4a.me/wh/1234abcd を指定してください。発火した CrashLoopBackOff や OOMKilled のアラートがプッシュ通知になります。
GJSON のフィールドマッピングで Alertmanager の JSON を読み取ります。commonLabels.alertname をタイトルに、alerts.0.labels.namespace と alerts.0.labels.pod を本文に取り込むので、生のペイロードではなく namespace と pod 名が画面に表示されます。
ペイロードには status(firing または resolved)と commonLabels.severity が含まれます。両方を GJSON のメッセージテンプレートで参照すると、発火した critical のアラートと解決の通知を見分けられます。
prod と staging にそれぞれ専用の Pocket Alert アプリケーションを作成し、それぞれの Webhook URL を用意してください。Alertmanager のルートを別々に向けると、staging の NotReady ノードが prod と混同されることがありません。
いいえ。Alertmanager はすでに稼働している前提なので、クラスター内に追加するものは不要です。コントローラーやスクリプトから Token ヘッダー付きで https://api.pocketalert.app/v1/messages に直接 POST することもできます。
はい。すべてのメッセージに level(silent、low、default、high、critical のいずれか)を指定できます。Webhook のペイロードに "level" フィールドを含めるか、Webhook 自体に default_level を設定してください。ペイロードで明示された level が常に優先されます。よくある使い方は firing=critical、resolved=silent です。発火したアラートは Android ではおやすみモードを貫通し、iPhone では時間重視の通知として届きます。解決の通知は履歴に静かに残ります。無効な値は拒否されず default にフォールバックします。
クラスターのアラートを PC の外へ。
Alertmanager の webhook_config にアプリケーションの URL を指定すると、次に発火したアラートがスマホに届きます。