Агент, который переписывает сам себя, не имеет спеки

Слово, которое сейчас тихо делает всю работу в маркетинге агентов, — саморазвивающийся. Агент не просто выполняет твой воркфлоу — он переписывает то, как работает, по ходу дела, учась на каждом прогоне, так что становится лучше без твоего участия. ServiceNow и NVIDIA только что поставили эту идею тебе на рабочий стол: Project Arc — «долгоживущий, саморазвивающийся» автономный агент, который читает твои файлы, открывает терминал и «адаптируется, когда что-то идёт не так».

Звучит как мечта. И это же свойство делает систему невозможной для доверия в продакшне.

Продакшн держится на мишени, которая не двигается

Каждая дисциплина, которой мы пользуемся, чтобы выпускать надёжный софт, стоит на одном допущении: поведение зафиксировано достаточно надолго, чтобы его проверить. Ты пишешь тест, потому что код под ним не сдвинется. Ты ревьюишь изменение, потому что есть до и после. Ты откатываешься, потому что прошлонедельная версия всё ещё существует. Убери неподвижную мишень — и каждый из этих инструментов перестаёт работать.

Саморазвивающийся агент убирает её намеренно. Версия, которую ты протестировал в песочнице, к четвергу выучила три новые вещи. Поведение, которое одобрила твоя команда безопасности, — это не то поведение, что работает в момент инцидента. Чистого отката нет, потому что «предыдущая версия» — это размытая точка на непрерывном дрейфе, а не помеченный релиз.

Если система переписывает себя между тестом и инцидентом, твой тест был не о той системе, что упала. Ты проверил призрак.

Саморазвитие — это неконтролируемый дрейф с хорошим пиаром

Мы уже знаем, что долгоживущие агенты деградируют на дистанции — удвой длину задачи, и частота отказов вырастает примерно вчетверо. «Саморазвитие» это не чинит; оно убирает единственное, что позволяло тебе это поймать. Когда меняется собственная логика агента, ты не отличишь улучшение от распада, пока это не окажется перед клиентом. Это не обучение. Это дрейф, наряженный в фичу.

И заметь, на что на самом деле опирается серьёзная версия Project Arc: не на саморазвитие, а на управление вокруг него — песочница-рантайм, «диспетчерская», логирующая каждое чтение файла и запущенную команду, политики, ограничивающие, к чему он вообще может прикоснуться. Продают автономию. Продукт — это клетка. Это говорит тебе, какая из половин несущая.

Пусть учится там, где ты видишь

Не обязательно выбирать между статичным агентом и неподотчётным. Ты кладёшь обучение туда, где его видно и откуда его можно откатить:

• Обучение живёт в данных, а не в логике. Извлечённые примеры, строки памяти, настроенные промпты, база знаний — то, что можно прочитать, сравнить и удалить. Процедура принятия решений у агента остаётся зафиксированной и ревьюабельной.
• Каждое изменение — это изменение, которое можно назвать. Если обновить поведение значит выкатить новый промпт или новый конфиг, прошедший эвал, — у тебя есть версия, дифф и откат. «Оно эволюционировало» — это не версия.
• Спека — источник истины, а не настроение агента. Запиши поведение и держи систему в его рамках. Если агент хочет сделать то, чего спека не покрывает, — это тикет, а не импровизация.
• Улучшение — это релиз, пропущенный через эвалы. Учись оффлайн, меряй на зафиксированном наборе тестов и продвигай осознанно — тем же циклом, что и любое изменение модели. Онлайн-самопереписывание пропускает единственный шаг, который ловит регрессию.

Итог

Система, которая улучшает себя в темноте, снаружи неотличима от системы, которая тихо ломает себя в темноте. Вся ценность инженерии — в способности отличить одно от другого.

Держи поведение агента зафиксированным, а обучение клади в данные, которые можно осмотреть и сбросить. «Оно развивается само» — это не способность, которую покупают, а история проверяемости, которую ты только что выбросил.