Правила¶
Правило открывает инцидент, когда метрика нарушает порог в течение окна. Куда об этом сообщить, задают каналы. Правила собраны на странице Уведомления → Правила, править их может роль «редактор» и выше.
Проверка правил идёт раз в 30 секунд.
Список¶
| Колонка | Что в ней |
|---|---|
| Правило | название; у встроенных – пометка «системное» |
| Тест | что сторожит правило: тест, «Все устройства», устройство или приложение; у системных – «BGP-мониторы», «все проверки SSL», «Агенты аккаунта» и т. п. |
| Условие | метрика и порог, например «Потери > 5%» или «Сигнал Wi-Fi < -75 дБм» |
| Важность | «предупреждение» или «критично» |
| Каналы | куда уходят уведомления; «–», если ни один не выбран |
| Статус | кнопка «включено» / «выключено»; пока идёт окно обслуживания, рядом плашка «обслуживание · до …» |
Поиск – по названию правила и тесту. В «+ Фильтр» – область (тест, все устройства, одно устройство, приложение у многих, системные), важность, состояние и наличие каналов. В конце строки – «Изменить», «Обслуживание…» и «Удалить». «Обслуживание…» открывает форму окна обслуживания с этим правилом.
Добавить правило¶
Кнопка «+ Добавить правило» открывает окно «Новое правило» из четырёх частей.
Что сторожить¶
- Результаты теста – один инцидент на тест. Метрики: «Потери» (%), «Задержка» (мс), «Джиттер» (мс), «Нет данных», а также «Срок SSL-сертификата» и «Срок домена (WHOIS)» – см. Срок сертификата и домена.
- Опыт всех устройств – инцидент открывается на каждом устройстве отдельно, или, если включить свёртку, один на группу устройств.
- Опыт одного устройства – инцидент на выбранном устройстве.
- Приложение у многих – один инцидент на приложение из раздела Приложения: когда оценка приложения ниже порога не менее чем у N устройств (или у N % устройств, выполнявших его тесты за окно). Оценка приложения на устройстве – худший из его тестов там, как в карточке приложения; агенты площадок не считаются. Второй порог «Критично при ≥ M» (только у важности «предупреждение») поднимает инцидент до «Критично» и отправляет второе уведомление; если затронутых стало больше или меньше без пересечения порогов, в таймлайн ложится событие «Состав изменился» без уведомления. Закрывается инцидент, когда затронутых меньше N на вдвое длинном окне. В карточке инцидента – таблица затронутых устройств и ссылка в карточку приложения с фильтром «Затронутые».
У устройств сторожатся оценка опыта и метрики машины и связи:
| Метрика | Умолчание |
|---|---|
| Общая оценка, оценка по сегментам (устройство, связь, шлюз, VPN, интернет, сервисы) | ниже 50 из 100 |
| Загрузка CPU, занятость памяти, заполненность диска | выше 90 % |
| Свободно на диске | меньше 10 ГБ |
| Сигнал Wi-Fi | ниже −75 дБм |
| Занятость эфира | выше 60 % |
| Ретрансмиссии Wi-Fi | выше 20 % |
| Потери до шлюза | выше 2 % |
| Задержка до шлюза | выше 50 мс |
| Джиттер до шлюза | выше 20 мс |
| Минут во фризе за час | выше 10 мин |
«Минут во фризе за час» считает фризы устройства за последний час, окно правила на неё не влияет. Правило «больше 10 минут» на весь парк – инцидент на каждом устройстве, которое за час провисело дольше.
Свёртка в групповой инцидент¶
У правила «Опыт всех устройств» есть поле «Сворачивать»: «не сворачивать» (по умолчанию), «по точке доступа», «по шлюзу», «по провайдеру», «по метке» или «по серверу VPN». Со свёрткой устройства с общей точкой, шлюзом, провайдером, меткой или сервером VPN, нарушившие условие, дают один групповой инцидент и одно уведомление вместо личных – когда их набирается не меньше порога «В групповой – от»: N устройств или N % устройств группы.
- Точка доступа – по BSSID, скрытая – по имени сети. Шлюз – IP шлюза вместе с внешним адресом: домашние 192.168.1.1 разных людей не склеиваются. Провайдер – по внешнему адресу устройства. Метка – группа на каждую метку, устройство с двумя метками попадает в две группы. Сервер VPN – адрес, который нашёл агент; устройство без найденного сервера не сворачивается.
- Личные инциденты устройств группы, набравшей порог, закрываются с причиной «свёрнут в групповой инцидент», без письма: о беде уже сообщил групповой.
- Второй порог «Критично при ≥» (только у важности «предупреждение») поднимает групповой инцидент до «Критично» и отправляет второе уведомление. Если состав группы изменился без пересечения порогов, в таймлайн ложится «Состав изменился», без уведомления.
- Групповой закрывается, когда нарушивших в группе меньше порога на вдвое длинном окне; оставшиеся нарушители снова получают личные инциденты.
Пересказ условия в окне дописывает хвост: «От 3 устройств на одной точке доступа – один групповой инцидент и одно уведомление вместо личных». В колонке «Условие» списка – «· свёртка по точке доступа от 3 устройств».
Когда открыть инцидент¶
Условие «выше» или «ниже», порог и окно в секундах. При смене метрики поле порога встаёт на её умолчание. Сравнивается среднее значение за окно. Для теста окно не бывает короче минуты и двух периодичностей теста, для устройств и «Приложения у многих» – короче двух минут, а больше 12 часов (43 200 с) у них не пустит само поле «Окно, с». Под условием окно пересказывает правило словами: «Инцидент откроется, когда …».
«Нет данных» работает без порога: ноль результатов в окне открывает инцидент, два и больше закрывают.
У правил по устройствам в списке метрик есть группа «Приложение»: CPU, память, потоки, число процессов и перезапуски наблюдаемого приложения из настроек сбора. При выборе такой метрики в части «Что сторожить» появляется поле «Приложение». Перезапуски считаются суммой за окно, условие у них одно – «выше»; остальные метрики приложения – среднее за окно, как у метрик устройства. Числа приходят только с устройств с расширенным местом: у остальных правило не сработает.
Срок сертификата и домена¶
Метрики «Срок SSL-сертификата» и «Срок домена (WHOIS)» в правиле по тесту следят не за средним, а за датой окончания из последнего ответа проверки SSL или WHOIS за трое суток. Условие одно – «осталось ≤», порог – целое число дней (по умолчанию 30 у сертификата и 90 у домена), поля окна нет.
- Осталось не больше порога – открывается инцидент с важностью правила.
- Срок вышел – тот же инцидент поднимается до «Критично», в каналы уходит эскалация. Истёкший срок – всегда «Критично».
- Срок продлили, и до конца снова больше порога, – инцидент закрывается сам.
Если у выбранного теста нет проверки SSL или WHOIS, окно предупредит: «У теста нет проверки SSL – правило не сработает, пока её не включат». Тест без свежего ответа с датой правило не трогает: за молчание теста отвечает правило «Нет данных».
Такие же правила на все тесты сразу уже есть среди системных: «SSL · Срок сертификата» и «Домен · Срок регистрации». Своё правило на тест нужно, если для него нужен другой порог или другие каналы.
Как назвать¶
Название и важность: «предупреждение» или «критично».
Куда уведомлять¶
Каналы выбираются чипами: кнопка «+ Канал» открывает список, крестик на чипе убирает канал. Если не выбрать ни одного, окно предупредит: «инцидент откроется, но уведомление никуда не уйдёт». Если каналов в аккаунте ещё нет, здесь же ссылка «Завести канал →».
Изменить правило¶
«Изменить» в строке открывает то же окно с заполненными полями. Порог, окно, метрику, название и каналы можно менять свободно: на горящие инциденты это не влияет.
Смена цели закрывает горящие инциденты
Если поменять то, что правило сторожит – другой тест, другое устройство или другую область, – горящие по правилу инциденты закроются, и в каналы уйдёт событие CLOSED, а не RESOLVED: наблюдение прекращено, а не восстановлено. Окно предупреждает об этом до сохранения: «По правилу сейчас горит N». Групповые инциденты свёртки так же закрываются, если свёртку снять или сменить её атрибут.
Выключить и удалить¶
Кнопка в колонке «Статус» выключает правило. Его горящие инциденты закрываются с причиной «детекцию выключили», уведомление при этом не уходит. Если включить правило снова, а условие всё ещё нарушено, откроется новый инцидент.
«Удалить» спрашивает подтверждение. Горящие инциденты закрываются, в каналы уходит CLOSED. История инцидентов правила остаётся на странице Инциденты.
Правило закрывает инцидент само, когда условие перестало нарушаться, причём смотрит на окно вдвое длиннее, чем при открытии, чтобы не дребезжать на границе. Правило по тесту не оценивается, пока тест выключен.
Системные правила¶
Внизу списка отдельным блоком с меткой «системное» стоят правила, которые есть в каждом аккаунте с самого начала:
| Правило | Что ловит |
|---|---|
| BGP · Смена origin ASN | префикс анонсирует автономная система, которой у него раньше не видели |
| BGP · More-specific анонс | под отслеживаемым префиксом появился более узкий от чужой AS |
| BGP · Неожиданный upstream | маршрут идёт через апстрим вне эталона, подтверждённый минимум двумя точками наблюдения |
| BGP · Флапы маршрута | 8 и больше анонсов и отзывов за 15 минут |
| BGP · Утечка маршрута | не-Tier-1 сеть между двумя Tier-1 |
| DNS · Смена ответа | имя стало резолвиться в другую AS, три прогона подряд на одном агенте |
| SSL · Срок сертификата | у любой проверки SSL сертификат истекает не позже чем через порог в днях (по умолчанию 30) или уже истёк |
| Домен · Срок регистрации | у любой проверки WHOIS регистрация домена кончается не позже чем через порог в днях (по умолчанию 90) или уже кончилась |
| Лицензия · Места endpoint | занято не меньше порога мест лицензии (по умолчанию 90 %); устройства сверх лицензии – критично |
| Безопасность · Токен агента с двух мест | сменённый токен агента пришёл снова – токены отозваны, агент перестал отчитываться |
| Устройство · Жалоба сотрудника | сотрудник нажал «Сообщить о проблеме…» на своём устройстве |
У системных правил не меняются имя и вид, их нельзя удалить, и кнопки «Изменить» у них нет. Важность, включение и каналы правятся прямо в строке таблицы и сохраняются сразу. У правил сроков там же правится порог в днях («осталось ≤ 30 дн. или истёк»), у «Лицензия · Места endpoint» – порог в процентах («занято ≥ 90 % мест или сверх потолка»): число сохраняется по Enter или при уходе из поля. Чтобы системное правило временно замолчало, его можно выключить или поставить на обслуживание.
Привяжите каналы системным правилам
При создании аккаунта каналы у системных правил пустые. Инциденты откроются, но уведомление никуда не уйдёт, пока у правила не отмечен канал. Что именно отслеживать, задаётся отдельно: для BGP – мониторы префиксов на странице BGP-мониторы, для DNS – галочка «Следить за сменой резолва (ASN)» в DNS-проверке самого теста.
Апстрим, который продержался сутки, принимается как норма автоматически, а инцидент закрывается с причиной «Принят как обычный».
Как правило ведёт инцидент¶
На правило и объект – тест, устройство, приложение или группу устройств при свёртке – горит не больше одного инцидента.
- Открытие – в каналы правила уходит событие «открытие».
- Закрытие – когда условие перестало нарушаться, в каналы уходит «закрытие».
- Вручную инцидент берут в работу и закрывают на его странице, см. Инциденты.
Повторных напоминаний по горящему инциденту нет. Эскалация – подъём горящего инцидента до «Критично» со вторым уведомлением – бывает в трёх случаях: истёк срок сертификата или домена, у «Приложения у многих» или у свёртки затронутых стало не меньше второго порога «Критично при ≥».
Пока по объекту идёт окно обслуживания, правило не открывает по нему инцидентов и не шлёт уведомлений.
Жалоба сотрудника¶
Когда сотрудник нажимает «Сообщить о проблеме…», платформа через две минуты сохраняет слепок момента и открывает инцидент правила «Устройство · Жалоба сотрудника». В отмеченные каналы уходит уведомление:
- Почта – письмо с цитатой жалобы, оценкой устройства на момент, худшим сегментом, тестами на момент и ссылкой «Открыть слепок момента →».
- Webhook – те же поля, что у инцидентов, плюс объект
complaint: id, время, текст, пользователь, откуда нажали, ссылка на слепок и вердикт (score,segment,reading). Удобно для заявки в ITSM. - Telegram – тот же текст, что в письме.
Пока инцидент горит, новые нажатия с того же устройства добавляются в него событием «Ещё жалоба» со своим слепком – повторного письма нет. Закрывает инцидент первая линия кнопкой; если его никто не закрыл, через сутки он закрывается сам, без письма. Окна обслуживания жалобу не глушат.
Текст жалобы уходит в каналы
Сотрудник пишет текст сам, и он попадает в письмо, webhook и Telegram как есть, вместе с именем устройства и пользователем ОС. Отмечайте каналы, которые читает поддержка.