Push-уведомления Proxmox на телефон: бэкапы, фенсинг, репликация и ошибки дисков

Большинство хостов Proxmox отправляют уведомления на root@pam, то есть на адрес электронной почты, который много лет назад ввели при установке, и доставляет их Postfix, которому так и не настроили relay. Ночной бэкап падает, письмо уходит в локальную очередь, и вы узнаёте об этом через три недели, когда понадобилось восстановить ВМ.
Другой распространённый вариант работает, но его игнорируют. Каждое задание бэкапа каждую ночь присылает длинное письмо, во всех написано «успешно», и единственное письмо с «ошибкой» выглядит точно так же, как остальные тридцать в папке.
Начиная с Proxmox VE 8.3 и Proxmox Backup Server 3.3 в системе уведомлений есть универсальный цель типа webhook. Она может вызывать любой HTTP API с телом, которое вы пишете сами, поэтому push-уведомление можно отправить прямо на телефон, с разным приоритетом для ошибок и успехов. Ни скриптов на хосте, ни relay для поддержки не нужно.
Что понадобится
- Proxmox VE 8.3 или новее (подойдёт любая 9.x) либо Proxmox Backup Server 3.3 или новее. Более старые версии разобраны ниже.
- Приложение Pocket Alert для iPhone или Android и API-ключ из API Keys.
- Доступ к Datacenter → Notifications под
root@pamили под пользователем с правомMapping.Modifyна/mapping/notifications.
Что Proxmox может сообщить
Proxmox VE генерирует эти события; у каждого есть type, уровень серьёзности и несколько полей метаданных:
| Событие | type | Серьёзность |
|---|---|---|
| Бэкап выполнен | vzdump | info |
| Бэкап завершился ошибкой | vzdump | error |
| Задание репликации хранилища завершилось ошибкой | replication | error |
| Узел кластера отключён фенсингом | fencing | error |
| Доступны обновления системы | package-updates | info |
| Почта для root (smartd, ZFS ZED и другие) | system-mail | unknown |
Последняя строка важнее, чем кажется. smartd проверяет диски каждые 30 минут и пишет root, когда один из них начинает сбоить, а демон событий ZFS присылает root письма о деградировавших пулах и ошибках scrub (ZED_EMAIL_ADDR="root" по умолчанию). Proxmox превращает эти письма в события system-mail, так что тот же вебхук, который сообщает о бэкапах, сообщит и об умирающем диске.
Настройте цель webhook
В веб-интерфейсе откройте Datacenter → Notifications и в разделе Notification Targets нажмите Add → Webhook. Заполните поля так:
- Endpoint Name:
pocketalert - Method/URL:
POSTиhttps://api.pocketalert.app/v1/messages - Headers:
Content-Type=application/jsonиToken={{ secrets.token }} - Secrets:
token= ваш API-ключ Pocket Alert
И Body:
{
"title": {{ json title }},
"message": {{ json message }},
"level": "{{#if (or (eq severity "error") (eq severity "unknown"))}}high{{else}}low{{/if}}"
}
Здесь происходит несколько вещей:
{{ json title }}выводит значение как готовую JSON-строку, включая кавычки. Отчёты о бэкапах — это многострочные таблицы, и если вставить{{ message }}между кавычками, JSON сломается на первом переносе строки. У Proxmox есть также{{ escape message }}, который делает то же самое без окружающих кавычек.- Ключ — это секрет. Секреты хранятся в
/etc/pve/priv/notifications.cfg, который читает только root, а API никогда не возвращает их значения. Proxmox также маскирует их в сообщениях об ошибках. - Уровень зависит от серьёзности. Proxmox рендерит тело шаблоном Handlebars, в котором есть
if,eqиor. Ошибки бэкапов, репликации, фенсинг и письма о дисках приходят какhigh, и такие уведомления пробиваются через Фокусирование на iPhone. Успешные бэкапы и уведомления об обновлениях приходят какlow: они есть в ленте, если они вам нужны, но не звонят.
Сохраните цель и нажмите Test. Тестовое уведомление должно прийти в течение нескольких секунд.
Цель не делает ничего, пока matcher не направит к ней события. В разделе Notification Matchers нажмите Add, назовите его pocketalert-all и на вкладке Targets to notify отметьте pocketalert. Matcher без правил подходит под все события.
То же самое из командной строки
Если вы предпочитаете CLI или управляете несколькими кластерами, pvesh делает то же самое. Значения заголовков, тело и секреты передаются в base64:
PA_KEY='your-api-key'
BODY='{
"title": {{ json title }},
"message": {{ json message }},
"level": "{{#if (or (eq severity "error") (eq severity "unknown"))}}high{{else}}low{{/if}}"
}'
b64() { printf '%s' "$1" | base64 -w0; }
pvesh create /cluster/notifications/endpoints/webhook \
--name pocketalert --method post \
--url https://api.pocketalert.app/v1/messages \
--header "name=Content-Type,value=$(b64 application/json)" \
--header "name=Token,value=$(b64 '{{ secrets.token }}')" \
--secret "name=token,value=$(b64 "$PA_KEY")" \
--body "$(b64 "$BODY")"
pvesh create /cluster/notifications/matchers --name pocketalert-all --target pocketalert
pvesh create /cluster/notifications/targets/pocketalert/test
Результат попадает в /etc/pve/notifications.cfg, который общий для всего кластера, так что одна настройка покрывает все узлы (base64-тело здесь сокращено):
webhook: pocketalert
method post
url https://api.pocketalert.app/v1/messages
header name=Content-Type,value=YXBwbGljYXRpb24vanNvbg==
header name=Token,value=e3sgc2VjcmV0cy50b2tlbiB9fQ==
body ewogICJ0aXRsZSI6IHt7IGpzb24gdGl0bGUgfX0s...
matcher: pocketalert-all
target pocketalert
Сам ключ лежит в /etc/pve/priv/notifications.cfg как secret name=token,value=<base64>.
Второй уровень: отключённый узел должен вас разбудить
Ошибку бэкапа можно подождать до утра. Фенсинг узла означает, что HA только что отключил хост, и это заслуживает push уровня critical, который пробивается через «Не беспокоить». Matcher-ы могут это сделать, не трогая шаблон тела.
Создайте вторую цель webhook, pocketalert-critical, идентичную первой, но с одной другой строкой в теле:
"level": "critical"
Затем замените общий matcher двумя, которые разделяют события по типу:
matcher: pocketalert-all
match-field exact:type=fencing
invert-match true
target pocketalert
matcher: pocketalert-fencing
match-field exact:type=fencing
target pocketalert-critical
invert-match инвертирует первый matcher, так что фенсинг уходит только на критическую цель, и на одно событие не приходит два push. Доставка critical через «Не беспокоить» — функция платного тарифа; на бесплатном тарифе она приходит как high. О том, что делает каждый уровень на iOS и Android, см. уровни приоритета.
Что ещё хорошо делается с matcher-ами:
- Только ошибки. Добавьте
match-severity error,unknownвpocketalert-all, и успешные бэкапы перестанут что-либо присылать. Мы бы оставили их какlow: тихое «бэкап выполнен» каждую ночь — самый простой способ заметить, что уведомления перестали приходить. - Одно задание.
match-field exact:job-id=backup-abc123ограничивает matcher одним плановым заданием. Бэкапы, запущенные через Run now, не имеютjob-id, поэтому под matcher они не попадут. - Тихие часы.
match-calendar mon..fri 9-17ограничивает matcher рабочим временем, аinvert-matchдаёт всё остальное.
Кнопка, которая открывает веб-интерфейс
Push в Pocket Alert может содержать до трёх кнопок действий. Добавьте одну в тело, и по нажатию на неудачный бэкап открывается интерфейс Proxmox:
"actions": [
{"type": "view", "label": "Open Proxmox", "value": "https://pve1.lan:8006"}
]
Телефон сам открывает URL, так что локальный адрес работает, когда вы в домашней сети или VPN.
Proxmox Backup Server
В PBS 3.3 и новее та же система уведомлений находится в Configuration → Notifications, с тем же webhook-таргетом, тем же телом и теми же хелперами Handlebars. Её конфигурация лежит в notifications.cfg и notifications-priv.cfg в каталоге /etc/proxmox-backup/.
События другие и для сервера бэкапов полезнее: сборка мусора (gc), prune, sync, verification, tape-backup и tape-load, а также ошибки продления сертификатов acme и package-updates. acme сообщает только об ошибках, tape-load имеет уровень notice; остальные приходят в вариантах info и error, так что тот же if в теле работает без изменений. События хранилищ данных (gc, prune, sync, verification, tape-backup) также содержат поле datastore, поэтому match-field regex:datastore=^offsite-.*$ может направлять внешние хранилища на отдельную цель.
Две детали PBS, которые стоит проверить. У хранилищ, созданных до появления системы уведомлений, notification-mode может оставаться legacy-sendmail; переключите его на систему уведомлений в настройках хранилища. И PBS отправляет уведомления package-updates только на хостах с активной подпиской.
Честные ограничения
- Хост должен быть онлайн, чтобы сообщать. Вебхук отправляет сам хост Proxmox, поэтому если он потерял аплинк или выключен, ничего не уйдёт. Чтобы узнать, что «вся машина лежит», нужна проверка снаружи, например монитор доступности на другой машине.
- Длинные отчёты о бэкапах обрезаются в push. Бэкап двадцати гостей даёт длинную таблицу. В push попадают примерно первые 3 КБ; полный текст есть в истории сообщений в приложении.
system-mail— это всё, что отправляется root. Сюда входят smartd и ZFS, но также вывод cron и всё остальное, что пишет root на вашей системе. Если становится шумно, выделите эти события в отдельный matcher сmatch-field exact:type=system-mailи более тихой целью.- Нет совместимости с Gotify. В Proxmox есть встроенная цель Gotify, и старые руководства используют её для push на телефон. Pocket Alert не реализует API Gotify, поэтому эта цель не может указывать на нас. Используйте вебхук, описанный выше, или посмотрите, чем Pocket Alert отличается от Gotify.
На Proxmox VE 8.2 и старше
Лучшее решение — обновиться, так как цель webhook требует 8.3. Если обновиться пока нельзя, скрипт-хук vzdump закроет самый важный случай — бэкапы. Установите Pocket Alert CLI на узел от имени root, выполните pocketalert auth и сохраните этот файл как /usr/local/bin/vzdump-pocketalert:
#!/bin/sh
case "$1" in
backup-abort) pocketalert send -t "Backup failed: $3 on $(hostname)" -m "Mode: $2" -l high ;;
job-end) pocketalert send -t "Backup job finished on $(hostname)" -m "Check the task log for details" -l low ;;
esac
exit 0
Сделайте файл исполняемым и добавьте script: /usr/local/bin/vzdump-pocketalert в /etc/vzdump.conf. vzdump вызывает его на каждой фазе; для backup-abort второй и третий аргументы — это режим бэкапа и ID ВМ.
Если ничего не приходит
- Сначала нажмите Test. Если тестовый push приходит, а реальные события нет, цель в порядке, а проблема в маршрутизации: проверьте, что matcher указывает на цель и что его правила подходят.
- Посмотрите режим уведомлений задания бэкапа. Задание с адресом электронной почты в настройках уведомлений и режимом по умолчанию
autoиспользует legacy sendmail и полностью обходит систему уведомлений. Очистите адрес или переключите режим на систему уведомлений; в/etc/pve/jobs.cfgэтоnotification-mode notification-system. - Прочитайте журнал.
journalctl --since "1 hour ago" | grep -i notifпокажет неудачные запросы.401означает неверный ключ,400обычно значит, что тело не является корректным JSON: проверьте, что вы использовали{{ json message }}, а не голое{{ message }}. - Проверьте ленту в приложении. Push уровня
lowне издают звука, поэтому успешный бэкап может выглядеть так, будто не пришёл. Он есть в истории сообщений.
FAQ
Нужна ли подписка Proxmox?
Нет. Система уведомлений и цель webhook входят в бесплатные репозитории. Единственное, что зависит от подписки, — уведомление package-updates в PBS.
Работает ли это для одного узла без кластера?
Да. Один узел читает тот же /etc/pve/notifications.cfg. В кластере файл общий, так что настраивать его нужно один раз.
Можно ли получать это ещё и по электронной почте?
Да. Оставьте в matcher-е стандартную цель mail-to-root и добавьте pocketalert рядом с ней. Matcher может уведомлять несколько целей, и каждая цель получает уведомление не более одного раза.
Сколько push это потратит?
Один на событие. Ночное задание бэкапа — это одно уведомление на всё задание, а не по одному на гостя, так что типичная домашняя лаборатория получает несколько в день. Бесплатный тариф покрывает 50 сообщений в день на одно устройство.
А TrueNAS, события ИБП или Uptime Kuma?
Та же идея, другой отправитель. На странице оповещения для домашней лаборатории разобраны типичные компоненты домашнего сервера, а оповещения о бэкапах охватывает инструменты бэкапа вне Proxmox.
Создайте бесплатный аккаунт, вставьте тело в цель webhook и пусть следующий неудачный бэкап найдёт вас, а не ваш почтовый ящик.