Push-уведомления о совпавшие строки логов на ваш телефон.
Loki, стек ELK, Graylog или скрипт с tail | grep уже находят всплески ошибок и серии неудачных входов. Совпавшая строка приходит на ваш телефон меньше чем за секунду, поэтому нужная запись лога всегда у вас под рукой.
От строки лога до экрана блокировки
Ваш конвейер логов уже находит проблемные строки. Pocket Alert доносит их до вашего телефона.
Работает с вашим стеком
Loki ruler, Elastic Watcher, Graylog или скрипт с tail | grep могут отправлять данные в один вебхук.
Алерты по шаблонам
Правило LogQL, условие Watcher или шаблон grep определяет, когда отправляется push-уведомление.
Маппинг полей
Пути GJSON извлекают имя алерта, совпавшую строку и количество попаданий прямо из JSON алерта.
CLI или вебхук
Скрипт с tail | grep может обращаться напрямую к API сообщений через curl, без платформы мониторинга.
Каналы по приложениям
Одно приложение Pocket Alert на сервис или окружение разделяет логи prod и staging по разным каналам.
Доставка менее чем за секунду
Вебхук срабатывает, и push приходит меньше чем за секунду, этого достаточно, чтобы поймать OOMKilled-под в реальном времени.
Три шага от строки лога до push-уведомления
Задайте шаблон
Добавьте правило Loki ruler, Elastic Watcher или шаблон grep, который срабатывает, когда строка совпадает.
Подключите
Отправляйте запросы к API сообщений через curl из скрипта tail | grep или направьте Alertmanager на URL вебхука Pocket Alert с шаблоном GJSON.
Разделите каналы
Создайте для каждого сервиса или окружения отдельное приложение, чтобы логи prod и staging оставались в разных каналах.
Отправляйте push, когда срабатывает шаблон в логах
1. Отправка через curl прямо из скрипта tail | grep (CLI)
Установите CLI, один раз выполните авторизацию, затем читайте лог через tail и отправляйте каждую совпавшую строку.
sudo mv pocketalert /usr/local/bin/ && chmod +x /usr/local/bin/pocketalert
pocketalert auth YOUR_API_KEY
tail -Fn0 /var/log/app.log | grep --line-buffered "OutOfMemory" | while read -r line; do
pocketalert send -t "OOM on $(hostname)" -m "$line"
done
Или отправляйте POST-запрос напрямую в API сообщений вместо CLI.
tail -Fn0 /var/log/app.log | grep --line-buffered "ERROR" | while read -r line; do
curl -X POST 'https://api.pocketalert.app/v1/messages' \
-H 'Token: YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d "{\"title\":\"Log error\",\"level\":\"critical\",\"message\":\"${line//\"/\\\"}\"}"
done
2. Или пересылайте Loki / Alertmanager через вебхук
Определите правило алертинга LogQL в Loki ruler, которое срабатывает, когда количество совпадений превышает порог.
groups:
- name: app-errors
rules:
- alert: HighErrorRate
expr: sum(count_over_time({app="api"} |= "ERROR" [5m])) > 20
for: 1m
labels:
severity: critical
annotations:
summary: "{{ $value }} ERROR lines in the last 5m"
Ruler передаёт алерты в Alertmanager (alertmanager_url), который пересылает их в Pocket Alert. Создайте вебхук на странице Вебхуки с шаблоном GJSON для payload Alertmanager, затем укажите в webhook_config URL для приёма.
curl -X POST 'https://api.pocketalert.app/v1/webhooks' \
-H 'Token: YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{"name":"Loki Alerts","application_id":"qm47b9pzxzxg","message":"%status%: %alerts.0.labels.alertname% — %alerts.0.annotations.summary%"}'
receivers:
- name: pocketalert
webhook_configs:
- url: 'https://p4a.me/wh/1234abcd'
send_resolved: true
Действие webhook в Elastic Watcher или определение события HTTP Notification в Graylog могут отправлять POST-запросы на тот же URL для приёма. В документации описаны маппинг GJSON и маршрутизация по приложениям.
Ответы на вопросы
Настройте алерт правила Loki ruler, Elastic Watcher или определение события Graylog, которое отправляет вебхук на URL вашего приложения Pocket Alert. Совпавшая строка лога и количество попаданий передаются в теле JSON.
На ваших серверах ничего дополнительно не запускается. Pocket Alert стоит в конце уже существующего конвейера, поэтому Loki, Elastic, Graylog или скрипт cron с tail выполняет сопоставление и просто отправляет результат.
Маппинг полей GJSON читает любой путь в теле алерта. Передайте имя алерта в заголовок, а совпавшую строку или количество в сообщение, например %alerts.0.labels.alertname% и %alerts.0.annotations.summary%.
Создайте для каждого сервиса или окружения отдельное приложение Pocket Alert, чтобы поток 500-х ошибок в prod приходил в другой канал, чем случайное предупреждение парсера в staging. Тихие потоки остаются отдельно от тех, которые должны вас будить.
Создайте для каждого сервиса или окружения отдельное приложение Pocket Alert. Тогда ошибки авторизации в prod и логи задач в staging будут приходить в разные каналы, а не в один шумный поток.
Да. Добавьте "level":"critical" в POST, и Android доставит уведомление в отдельный канал, который обходит режим «Не беспокоить». Доступ к DND нужно выдать один раз. На iPhone уведомления с приоритетом high и critical приходят как срочные и пробиваются через режимы «Фокусирование». Также можно задать default_level в вебхуке, чтобы все алерты из этого конвейера имели одинаковый приоритет, а шумные потоки выставить на уровень silent: без звука и вибрации, но с сохранением в истории. На бесплатном тарифе critical доставляется как high: мгновенно, но без обхода режима «Не беспокоить».
Строка с ошибкой, которая важна, у вас в кармане.
Направьте свой конвейер логов на вебхук, и следующий всплеск ошибок придёт на ваш телефон.