Оповещения Kubernetes на вашем телефоне.
Под в состоянии CrashLoopBackOff, контейнер с OOMKilled, неудачное обновление или NotReady-узел превращаются в push-уведомление на вашем телефоне, а namespace и имя пода отображаются прямо на экране. Отслеживайте проблемы в кластере, не сидя в kubectl.
От сработавшего оповещения до телефона
Оставьте Alertmanager, который у вас уже работает. Pocket Alert превращает его вывод вебхука в push-уведомление на вашем телефоне.
Встроенный webhook_config
Alertmanager содержит встроенный приёмник webhook_config. Укажите ему URL вашего приложения, и настройка готова.
Маппинг полей GJSON
GJSON извлекает alertname, namespace, pod и severity из JSON и формирует понятный заголовок и текст сообщения.
Status и severity в сообщении
Показывайте status и severity прямо в сообщении, чтобы сработавшее критическое оповещение отличалось от уведомления о восстановлении.
События подов и узлов
Отслеживайте CrashLoopBackOff, OOMKilled, неудачные обновления, NotReady-узлы и события заполнения PVC.
Каналы для каждого кластера
Отдельные приложения дают prod и staging собственные каналы, у каждого свой URL вебхука.
Доставка менее чем за секунду
Push-уведомления приходят меньше чем за секунду после срабатывания Alertmanager. Дополнительный агент в кластере не нужен.
Три шага от Alertmanager до телефона
Получите URL для приёма
Создайте вебхук Pocket Alert с шаблоном сообщения GJSON и скопируйте его URL для приёма.
Настройте Alertmanager
Добавьте receiver webhook_configs в Alertmanager и направьте в него критические оповещения.
Запустите
Следующее сработавшее оповещение придёт на телефон меньше чем за секунду. Уточняйте шаблон GJSON по мере настройки маршрутов.
Отправляйте оповещения Kubernetes на телефон
1. Создайте вебхук Pocket Alert
На странице Вебхуки создайте вебхук, шаблон message GJSON которого читает payload Alertmanager (верхнеуровневые status и commonLabels, а также массив alerts):
curl -X POST "https://api.pocketalert.app/v1/webhooks" \
-H "Token: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"name":"K8s Alertmanager","message":"[%status%] %commonLabels.alertname% (%commonLabels.severity%)\n%alerts.0.labels.namespace%/%alerts.0.labels.pod%\n%alerts.0.annotations.summary%","application_id":"qm47b9pzxzxg"}'
Вы получите входящий URL вида https://p4a.me/wh/1234abcd. Используйте отдельный вебхук для каждого кластера, чтобы разделить prod и staging.
2. Направьте Alertmanager на этот URL
Добавьте receiver webhook_configs и направьте в него критические оповещения (документация Alertmanager):
receivers:
- name: 'pocketalert'
webhook_configs:
- url: 'https://p4a.me/wh/1234abcd'
route:
receiver: 'pocketalert'
group_by: ['alertname', 'namespace']
Alertmanager отправляет стандартный JSON; пути GJSON выше извлекают status, alertname, severity, namespace и pod в push-уведомление. Когда оповещение снимается, status меняется на resolved.
3. Или отправляйте POST из контроллера / kubectl
Контроллер или разовый скрипт может напрямую вызывать API сообщений с заголовком Token:
curl -X POST "https://api.pocketalert.app/v1/messages" \
-H "Token: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"title":"CrashLoopBackOff","level":"critical","message":"api-7c9 in prod, 12 restarts","application_id":"qm47b9pzxzxg"}'
В документации по настройкам вебхуков описаны все пути GJSON и параметры вебхука.
Ответы на вопросы
Добавьте receiver webhook_configs в Alertmanager с URL приёмника Pocket Alert, https://p4a.me/wh/1234abcd. Сработавшее оповещение CrashLoopBackOff или OOMKilled превратится в push-уведомление.
Маппинг полей GJSON читает JSON от Alertmanager. Возьмите commonLabels.alertname в заголовок, а alerts.0.labels.namespace и alerts.0.labels.pod в текст, чтобы namespace и pod отображались на экране, а не в сыром payload.
Payload содержит status (firing или resolved) и commonLabels.severity. Используйте оба значения в шаблоне сообщения GJSON, чтобы сработавшее критическое оповещение отличалось от уведомления о восстановлении.
Создайте для prod и staging отдельные приложения Pocket Alert, у каждого свой URL вебхука. Направьте каждый маршрут Alertmanager в своё приложение, чтобы NotReady-узел в staging не перепутали с prod.
Нет. Alertmanager у вас уже работает. Pocket Alert не требует ничего дополнительного внутри кластера. Контроллер или скрипт также может отправлять POST напрямую на https://api.pocketalert.app/v1/messages с заголовком Token.
Да. Каждое сообщение принимает уровень: silent, low, default, high или critical. Добавьте поле "level" в payload вебхука или задайте default_level для самого вебхука; явно указанный уровень в payload всегда в приоритете. Частый вариант: firing=critical, resolved=silent. Сработавшее оповещение пробивается через режим «Не беспокоить» на Android и приходит как срочное на iPhone, а уведомление о восстановлении тихо сохраняется в истории. Недопустимое значение заменяется на default, сообщение при этом не отклоняется.
Получайте оповещения о кластере, не сидя за ноутбуком.
Укажите webhook_config на URL вашего приложения, и следующее сработавшее оповещение появится на вашем телефоне.