Агенты приходят туда, где ошибка — это иск

Агенты переезжают в комнаты, где ошибка — не неловкий ответ чат-бота. 2 июня Experian запустила Agent Operating System для финансовых услуг — агентов, ведущих жизненный цикл кредита: решают по кредиту, помечают фрод, определяют, кто подходит. Это настоящий тест каждого принципа, о котором я писал весь год, потому что здесь уверенный неверный ответ имеет жертву и дату суда.

Почему ставки другие — одна цифра

В потребительском чат-боте галлюцинация смущает. В домене высоких ставок это вред, который обычно прилипает. Возьми prior authorization в здравоохранении: когда ИИ-отказ обжалуют, его отменяют более чем в 80% случаев — но апеллируют меньше 1% пациентов. Посиди с этим. Уверенно-неверный агент в значимом домене не просто ошибается; он ошибается так, что ошибки в основном держатся, потому что пострадавший редко даёт отпор. Вот какой вес несут эти системы в тот миг, когда решают про кредит или лечение, а не пишут письмо.

Хорошая новость: это где весь мой аргумент становится законом

Регулируемые отрасли не могут гонять агентов так, как стартап гоняет чат-бота, — и правила, которым они вынуждены следовать, это почти ровно та инженерия, которую я постоянно проповедую. Стена, о которую бьётся хайп, сложена из правильных кирпичей.

• Заземление и аудит-трейл обязательны, а не опциональны. Финансовый ИИ обязан хранить записи, достаточные, чтобы реконструировать решение: входные данные, версию модели, шаги рассуждения, применённые комплаенс-правила и любое человеческое ревью. Агент, который «просто решил», без отслеживаемого основания, попросту не разворачиваем. То, что я говорю, ты должен делать, регуляторы заставляют делать.
• Человек должен иметь возможность отменить значимые действия. Регулируемые развёртывания требуют чекпоинтов «в четыре глаза» на записях, которые важны, — смена платежа, решение о праве, медкарта. Это ровно сдвиг от одобрения всего к владению политикой и значимыми решениями, проведённый по последствию и подкреплённый законом.
• Комплаенс покрывает воркфлоу, а не только ответ. Многошаговый агент, читающий из одной системы и пишущий в другую, спотыкается о правила разделения обязанностей и целостности записей. Это тезис про поверхность действий — ограничивай, что агенту можно делать, а не только что он говорит, — превращённый в регуляцию.

Система Experian ведёт с этого слоя — идентичность, governance, объяснимость, человеческий надзор — до возможностей. Как и любое серьёзное регулируемое развёртывание. Этот порядок — не бюрократия; это тот же урок, что и задать правильный первый вопрос: слой доверия идёт первым, иначе ничто не отгрузится безопасно.

Переосмысление для всех, не только банков

Вот часть, которую стоит взять, даже если ты никогда не тронешь кредитную модель. Правила, которые регуляторы накладывают на финансы и здравоохранение, — это просто хорошая инженерия, которую ты и так должен делать, только с тем, кто её заставляет. Если твой агент не может объяснить, почему сделал то, что сделал, не может быть отменён человеком на действиях, которые важны, и обращается со значимой записью как с одноразовым чатом, — ему не место в банке. И в твоём продукте тоже. Разница лишь в том, что у банка есть регулятор, который заставит остановиться, а тебе придётся быть им самому.

Так что одолжи дисциплину. Стандарт, только что ставший законом в кредитовании, — тот же стандарт, что делает любого агента достойным доверия: заземлён на реальный источник правды, аудируем постфактум, отменяем на действиях, которые считаются, ограничен тем, что ему можно делать. Тебе не нужен регулятор, чтобы строить под него. Тебе нужно лишь решить, что твои пользователи заслуживают той же защиты, что и заёмщик.

Неприятная правда

Самые продвинутые развёртывания агентов этого года будут не самыми умными. Они будут самыми аудируемыми. В доменах, где у ошибок есть жертвы, скучный слой governance идёт первым — и именно поэтому те агенты отгрузятся, пока более яркие застрянут в пилоте. Место, где учатся тому, что значит «агент продакшн-уровня», никогда не было демо. Это комната, где неверный ответ — это иск. Строй так, будто ты уже в этой комнате, потому что планка, только что ставшая законом в финансах, — это планка, которая делает агента достойным доверия где угодно.