Мониторинг логов

Push-уведомления о совпавшие строки логов на ваш телефон.

Loki, стек ELK, Graylog или скрипт с tail | grep уже находят всплески ошибок и серии неудачных входов. Совпавшая строка приходит на ваш телефон меньше чем за секунду, поэтому нужная запись лога всегда у вас под рукой.

Push за <1 сLoki · ELK · GraylogБез дополнительного агентаОбновлено
Возможности

От строки лога до экрана блокировки

Ваш конвейер логов уже находит проблемные строки. Pocket Alert доносит их до вашего телефона.

Работает с вашим стеком

Loki ruler, Elastic Watcher, Graylog или скрипт с tail | grep могут отправлять данные в один вебхук.

Алерты по шаблонам

Правило LogQL, условие Watcher или шаблон grep определяет, когда отправляется push-уведомление.

Маппинг полей

Пути GJSON извлекают имя алерта, совпавшую строку и количество попаданий прямо из JSON алерта.

CLI или вебхук

Скрипт с tail | grep может обращаться напрямую к API сообщений через curl, без платформы мониторинга.

Каналы по приложениям

Одно приложение Pocket Alert на сервис или окружение разделяет логи prod и staging по разным каналам.

Доставка менее чем за секунду

Вебхук срабатывает, и push приходит меньше чем за секунду, этого достаточно, чтобы поймать OOMKilled-под в реальном времени.

Быстрый старт

Три шага от строки лога до push-уведомления

1

Задайте шаблон

Добавьте правило Loki ruler, Elastic Watcher или шаблон grep, который срабатывает, когда строка совпадает.

2

Подключите

Отправляйте запросы к API сообщений через curl из скрипта tail | grep или направьте Alertmanager на URL вебхука Pocket Alert с шаблоном GJSON.

3

Разделите каналы

Создайте для каждого сервиса или окружения отдельное приложение, чтобы логи prod и staging оставались в разных каналах.

Отправляйте push, когда срабатывает шаблон в логах

1. Отправка через curl прямо из скрипта tail | grep (CLI)

Установите CLI, один раз выполните авторизацию, затем читайте лог через tail и отправляйте каждую совпавшую строку.

sudo mv pocketalert /usr/local/bin/ && chmod +x /usr/local/bin/pocketalert
pocketalert auth YOUR_API_KEY
tail -Fn0 /var/log/app.log | grep --line-buffered "OutOfMemory" | while read -r line; do
  pocketalert send -t "OOM on $(hostname)" -m "$line"
done

Или отправляйте POST-запрос напрямую в API сообщений вместо CLI.

tail -Fn0 /var/log/app.log | grep --line-buffered "ERROR" | while read -r line; do
  curl -X POST 'https://api.pocketalert.app/v1/messages' \
    -H 'Token: YOUR_API_KEY' \
    -H 'Content-Type: application/json' \
    -d "{\"title\":\"Log error\",\"level\":\"critical\",\"message\":\"${line//\"/\\\"}\"}"
done

2. Или пересылайте Loki / Alertmanager через вебхук

Определите правило алертинга LogQL в Loki ruler, которое срабатывает, когда количество совпадений превышает порог.

groups:
  - name: app-errors
    rules:
      - alert: HighErrorRate
        expr: sum(count_over_time({app="api"} |= "ERROR" [5m])) > 20
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "{{ $value }} ERROR lines in the last 5m"

Ruler передаёт алерты в Alertmanager (alertmanager_url), который пересылает их в Pocket Alert. Создайте вебхук на странице Вебхуки с шаблоном GJSON для payload Alertmanager, затем укажите в webhook_config URL для приёма.

curl -X POST 'https://api.pocketalert.app/v1/webhooks' \
  -H 'Token: YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"name":"Loki Alerts","application_id":"qm47b9pzxzxg","message":"%status%: %alerts.0.labels.alertname% — %alerts.0.annotations.summary%"}'
receivers:
  - name: pocketalert
    webhook_configs:
      - url: 'https://p4a.me/wh/1234abcd'
        send_resolved: true

Действие webhook в Elastic Watcher или определение события HTTP Notification в Graylog могут отправлять POST-запросы на тот же URL для приёма. В документации описаны маппинг GJSON и маршрутизация по приложениям.

FAQ

Ответы на вопросы

Настройте алерт правила Loki ruler, Elastic Watcher или определение события Graylog, которое отправляет вебхук на URL вашего приложения Pocket Alert. Совпавшая строка лога и количество попаданий передаются в теле JSON.

На ваших серверах ничего дополнительно не запускается. Pocket Alert стоит в конце уже существующего конвейера, поэтому Loki, Elastic, Graylog или скрипт cron с tail выполняет сопоставление и просто отправляет результат.

Маппинг полей GJSON читает любой путь в теле алерта. Передайте имя алерта в заголовок, а совпавшую строку или количество в сообщение, например %alerts.0.labels.alertname% и %alerts.0.annotations.summary%.

Создайте для каждого сервиса или окружения отдельное приложение Pocket Alert, чтобы поток 500-х ошибок в prod приходил в другой канал, чем случайное предупреждение парсера в staging. Тихие потоки остаются отдельно от тех, которые должны вас будить.

Создайте для каждого сервиса или окружения отдельное приложение Pocket Alert. Тогда ошибки авторизации в prod и логи задач в staging будут приходить в разные каналы, а не в один шумный поток.

Да. Добавьте "level":"critical" в POST, и Android доставит уведомление в отдельный канал, который обходит режим «Не беспокоить». Доступ к DND нужно выдать один раз. На iPhone уведомления с приоритетом high и critical приходят как срочные и пробиваются через режимы «Фокусирование». Также можно задать default_level в вебхуке, чтобы все алерты из этого конвейера имели одинаковый приоритет, а шумные потоки выставить на уровень silent: без звука и вибрации, но с сохранением в истории. На бесплатном тарифе critical доставляется как high: мгновенно, но без обхода режима «Не беспокоить».

Строка с ошибкой, которая важна, у вас в кармане.

Направьте свой конвейер логов на вебхук, и следующий всплеск ошибок придёт на ваш телефон.