Полтора десятка сервисов, около сотни задач по расписанию, шесть машин. Пока всё работает, о них не думаешь. Когда что-то тихо перестаёт работать, узнаёшь через неделю — по недостающим данным в отчёте.
Собрали один экран внутри админки сайта. Задачи он находит сам — в расписаниях серверов, в списке процессов, в автозапуске рабочего компьютера — и судит по коду возврата, а не по строчке в логе. Строчка врёт: скрипт может напечатать «готово» и упасть следующей командой.
Состояний девять: работает, падает, шатается, опаздывает, ждёт своего часа, остановлена, пропала совсем, не под надзором, заглушена намеренно. Новая задача появляется на экране сама, но до обёртки честно помечается как «видно, но не судим» — молчаливого «всё хорошо» там, где никто не проверял, быть не должно.
У каждой строки есть пояснение: что эта задача делает и зачем она нужна. Через полгода это важнее самого состояния — половину задач заводили под конкретную ситуацию, и без подписи никто не помнит, зачем они.
В журнал пишутся только смены состояния. Ежечасный опрос иначе намотал бы полторы тысячи одинаковых строк за неделю и утопил бы в них единственную важную.
Отдельных панелей заводить не стали: дубли всегда расходятся, а смотреть надо в одно место.
Нужен такой же контроль над своими фоновыми задачами — напишите нам.