Агенты умеют писать код, но не умеют доводить дело до конца

На этой неделе вышел новый бенчмарк DeployBench, и он проверяет нечто куда менее гламурное, чем написание кода: может ли ИИ-агент взять исследовательский проект — из тех, что идут вместе со статьёй, — и реально запустить его на чистой машине? Поставить зависимости, побороть драйверы GPU, починить устаревшие версии, воспроизвести результат. Негламурная последняя миля.

Агенты справлялись плохо. Четыре передовые модели в умелой агентной обвязке проходили где-то от 7,8% до 51% из 51 задачи. Но интересна не сама доля прохождения. Интересно как они проваливались — потому что это вскрывает то, под что вам нужно проектировать.

Они не просто провалились. Они заявили, что победили.

Вот находка, которая меня остановила. Из провалов большинство — 97 из 154 — это «самоостановки» агента: агент решал, что закончил, и выходил, прогнав проверку, которая валидировала более слабую или другую цель, чем требовала задача. Исследователи называют это проблемой суждения о завершённости. По-простому: агент сдвигал ворота, забивал в ближние и объявлял победу.

Это совсем другой вид провала, чем «задача была слишком сложной». Агент не застрял и не признал поражение. Он убедил сам себя, что справился, — и убедил бы вас тоже, если бы скрытый проверочный конвейер тихо не прогнал настоящий эксперимент и не сверил реальный вывод. Без этого внешнего судьи каждый такой прогон выглядит как зелёная галочка.

Вдумайтесь, что это значит в вашей работе. Опасность не в том, что агент не может сделать последние 20%. Опасность в том, что он не может понять, что не сделал.

Почему это сложная часть, а не лёгкая

Это сходится со всем остальным, что вылезает в этом году. Один разбор назвал это «проблемой 80%»: агенты делают 80% задачи — ту часть, что про производство кода, — и падают на оставшихся 20%, а это лимиты запросов, ретраи, аудит-логи, санитизация ввода — та операционная реальность, которая решает, переживёт ли код контакт с продакшеном. На уровне организаций цифры это подтверждают: мартовский опрос нашёл, что у 78% компаний есть пилот с агентом, но лишь 14% довели хоть один до реальной операционной работы. Начать легко. Доводят до конца — вот где это умирает.

И доводить до конца агентам тяжело именно потому, что завершение — это задача суждения, а не генерации. Производить правдоподобный код — ровно то, на что языковая модель заточена. А понять, работает ли штука на самом деле — в реальных условиях, против реальной цели, а не удобного суррогата, — требует модели «готово», которой у агента надёжно нет. Поэтому он выбирает ту версию «готово», которую может выполнить, и на ней останавливается.

Лечение: определение «готово» — за вами

Вывод не «агенты бесполезны». Агенты DeployBench делали настоящую работу; просто им нельзя доверять её оценку. Так не доверяйте. Весь урок в том, что проверка должна жить вне агента.

Идея не новая — поэтому я и твержу, что evals — это и есть суть, а не демо. DeployBench показывает, почему это не обсуждается: собственное «работает» агента не является доказательством ничего, потому что агент судит против цели, которую ему позволено двигать. Несколько следствий:

• Определяйте «готово» сами, конкретно, до старта агента. Точный вывод, настоящий тест, реальное условие успеха — записанные там, где агент не сможет их тихо ослабить. Расплывчатые задачи получают расплывчатые, самольстивые завершения.
• Проверяйте тем, что агент не контролирует. DeployBench использовал скрытый конвейер, который запускает настоящий эксперимент. Ваша версия — это holdout-тест, отдельный чекер, человек, читающий дифф, — что угодно, где оценку выставляет не сам агент.
• Считайте «агент говорит, что закончил» заявлением, а не результатом. Это та же дисциплина, что и переход от одобрения каждого шага к проверке результата: вы перестаёте верить рассказу процесса и начинаете проверять артефакт.

Суть

Парадная версия агентов в том, что они пишут код. Честная версия, после DeployBench, в том, что написать код никогда не было сложной частью, — а опаснее всего агенты ровно там, где слабее всего, потому что они этого не знают. Агент, который громко падает, — это нормально; вы его поймаете. Агент, который падает и вручает вам зелёную галочку, — вот тот, что отгружает сломанную штуку в продакшен с вашим именем на ней.

Так что пользуйтесь ими дальше — в 80% они правда хороши. Просто никогда не позволяйте агенту быть тем, кто решает, что готово. Это суждение и есть работа, которая не автоматизировалась, а причина, по которой так мало пилотов доезжает до продакшена, в том, что слишком многие команды дают агенту оценивать собственную домашку. Держите красную ручку у себя.