Следите за очередью до того, как очередь переполнится.
Переполненную очередь легко пропустить, пока сообщения не начнут копиться и пользователи не почувствуют задержку. Пусть небольшая cron-проверка считывает глубину через redis-cli, rabbitmqctl или AWS CLI и вызывает Pocket Alert, и остановившийся воркер попадёт на ваш телефон менее чем за секунду.
Замечайте накопление, пока оно небольшое
Однострочная проверка глубины в cron обращается к Pocket Alert. Она превращает число, за которым вы никогда бы не стали следить, в push-уведомление, на которое можно отреагировать.
Пороги глубины
Порог в cron-скрипте запускает уведомление, как только глубина выходит за заданную вами границу.
Обнаружение простоя
Неконтролируемое накопление или полностью остановившийся потребитель отправляют push-уведомление, а кратковременный всплеск остаётся ниже порога.
Глубина в сообщении
Передавайте название очереди и текущую глубину прямо в заголовок и текст вызова.
Любой брокер
redis-cli LLEN, rabbitmqctl list_queues и AWS CLI для SQS возвращают число, которое можно отправить.
Каналы для каждой очереди
Каждая очередь получает свой application_id, поэтому платежи и почта никогда не смешиваются.
Доставка за доли секунды
Push-уведомление доставляется менее чем за секунду, этого достаточно, чтобы вмешаться до того, как накопление вырастет.
Три шага до уведомлений об очереди
Измерьте очередь
Считывайте глубину очереди в cron-скрипте с помощью redis-cli LLEN, rabbitmqctl или AWS CLI.
Срабатывание по порогу
Вызывайте pocketalert send (или отправляйте запрос через curl к API сообщений), когда глубина превышает порог.
Реагируйте вовремя
Телефон завибрирует в течение секунды. Разберите накопление, пока пользователи ничего не заметили.
Уведомления о переполненной очереди
Глубина списка Redis (LLEN)
Небольшой cron-скрипт читает глубину и вызывает CLI, когда значение превышает порог:
* * * * * depth=$(redis-cli LLEN queue:emails); \
[ "$depth" -gt 10000 ] && pocketalert send \
-t "Queue backed up" -m "emails: $depth pending"
Длина очереди RabbitMQ
* * * * * depth=$(rabbitmqctl list_queues -p / name messages | awk '$1=="emails"{print $2}'); \
[ "$depth" -gt 10000 ] && pocketalert send \
-t "Queue backed up" -m "emails: $depth messages"
Приблизительная глубина SQS через API
depth=$(aws sqs get-queue-attributes --queue-url "$QUEUE_URL" \
--attribute-names ApproximateNumberOfMessages \
--query 'Attributes.ApproximateNumberOfMessages' --output text)
[ "$depth" -gt 10000 ] && curl -X POST "https://api.pocketalert.app/v1/messages" \
-H "Token: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d "{\"title\":\"Queue backed up\",\"message\":\"orders: $depth pending\",\"level\":\"critical\"}"
Передавайте каждой очереди свой application_id, чтобы платежи и почта попадали в разные каналы. В документации описаны таргетинг и каналы для каждого приложения.
Ответы на вопросы
Запустите небольшой cron-скрипт, который читает глубину очереди и вызывает `pocketalert send` (или отправляет запрос через curl к API сообщений), когда значение превышает порог. Работает с Redis `LLEN`, RabbitMQ `list_queues` и SQS `ApproximateNumberOfMessages`.
Задайте порог в скрипте. Короткое накопление, которое быстро рассасывается, порог не пересекает, поэтому push-уведомление отправляется только при реальной остановке или неконтролируемом росте глубины.
Подойдёт любой брокер, к которому можно обратиться из командной строки. `redis-cli LLEN queue:emails`, `rabbitmqctl list_queues` или AWS CLI для SQS возвращают число, которое можно сравнить с порогом и отправить.
Передайте название очереди и текущую глубину прямо в заголовок и текст вызова, чтобы push-уведомление выглядело так: `emails: 18420 pending`, без дополнительного кода.
Передавайте отдельный `application_id` для каждой очереди. Очередь emails и воркер платежей попадут в разные каналы, поэтому по уведомлению сразу понятно, где искать проблему.
Да. Укажите у уведомления `level=critical`: на Android оно публикуется в канале, который обходит режим «Не беспокоить», а на iPhone показывается как уведомление с учётом времени, которое пробивается через «Фокусирование». Если вы также отправляете плановые отчёты о глубине, передавайте их с `level=silent`, чтобы они попадали в историю без звукового сигнала.
Узнавайте, когда очередь начинает отставать.
Подключите монитор или небольшую проверку глубины к Pocket Alert и заметьте накопление задач раньше пользователей.