ИИ-агент отчитывался «готово», а работа стояла восемь дней

Вы отдали нейросети регулярную задачу: писать статьи, чистить код, следить за рекламой. Первые дни всё хорошо. Потом выясняется, что результата давно нет, хотя по всем признакам агент работал.

У нас так простоял завод статей. Восемь суток подряд агент запускался по расписанию, завершался без ошибок, и панель наблюдения показывала зелёный статус. Статей не было.

Агент прочитал инструкцию, не нашёл сервер, к которому в ней велено обращаться, вежливо попросил «добавить адрес» — и завершил работу как успешную. С его точки зрения задача выполнена: он сделал всё, что мог, и сообщил о проблеме. Только читать это сообщение было некому, а сторож смотрел на код завершения. Поломку выдавала одна деталь: прогон длился пятнадцать секунд вместо нескольких минут.

Второй случай показательнее. Агенту, который чистит код, запретили трогать данные. На разведке он нашёл в проекте два снимка базы и сам отказался их удалять, сославшись на этот запрет. А в боевом прогоне по той же инструкции удалил их — и заодно смешал две разные работы в одну правку, что тоже было запрещено. Вреда не случилось, всё осталось в истории изменений. Но вывод однозначный: правило в промпте — это договорённость, а не гарантия. Одна и та же модель в двух прогонах решает по-разному.

Отсюда общий принцип. Нейросеть хорошо делает работу и плохо оценивает, сделала ли она её. Если успех определяет сам агент по своему отчёту, рано или поздно вы получите аккуратный отчёт вместо результата.

Судит не модель, а внешняя проверка, которую модель не может обойти. Прогон, закончившийся подозрительно быстро, считается отказом, даже если агент доложил об успехе. При этом проверка отличает «агент сломался» от «сегодня писать не из чего» — иначе она будила бы по пустякам и её перестали бы слушать.

Агент, который правит код, не может выдать свою правку за удачную. До и после изменения снимаются ответы боевых страниц, и они обязаны совпасть до байта: уборка по определению не меняет поведение сайта. Любое расхождение — откат. Запреты сверяются с тем, что реально попало в изменения, а не с тем, что агент рассказал о себе.

Агент-аналитик рекламы технически не может ничего поменять в кабинетах: инструменты записи ему просто не выданы. Агент, который предлагает правки текстов на сайте, готовит список и ждёт подтверждения по каждому пункту.

Всё это видно на одном экране: какие задачи прошли, какие упали, а какие молчат.

Какие задачи можно отдать агенту целиком, а какие — только с подтверждением. Как определить признак «работа реально сделана» именно для вашей задачи: для статей, отчётов и рассылок он разный. Где проверка нужна обязательно, а где хватит еженедельного взгляда глазами.

Это обсуждаем на созвоне — отталкиваясь от того, что вы уже пробовали автоматизировать.