Гайды по решениям

Сколько свободы дать агенту?

Четыре вопроса о ставках и ясный ответ, какой длины поводок дать вашему агенту.

Эффектный ход — отпустить агента на волю; безопасный — держать его на коротком поводке. Правильная длина задаётся не тем, насколько умна модель, а ставками одной ошибки: насколько она поправима и насколько плоха. Честный дефолт — наименьшая автономия, которую задача терпит, и наращивать её намеренно, по мере того как агент себя проявляет. Никогда не давайте необратимому, серьёзному действию исполняться без человека в контуре, ограничьте радиус поражения до того, как выдадите возможность, и помните о том, что не меняется с длиной поводка: за исход отвечает названный человек, потому что агент — не может.

Если он сделает не то, можно ли отменить действие?
Насколько плоха худшая одна ошибка?
Как часто он действует?
Домен регулируемый или ошибка создаёт ответственность?

Ответьте на все вопросы, чтобы увидеть рекомендацию.

Все варианты вкратце

Одобрять каждое действие

Агент предлагает; человек говорит «да» до того, как случится что-то значимое. Самый короткий поводок — и верный, когда одна ошибка и непоправима, и серьёзна, а действуете вы достаточно редко, чтобы позволить себе ревью. Медленно по дизайну — в этом и смысл.

Выбирайте это, когда

  • Ошибку нельзя отменить, и ущерб серьёзный
  • Он действует достаточно редко, чтобы человек ревьюил каждый значимый шаг
  • Вы в регулируемом или высокорисковом домене, и объём низкий

Компромиссы

  • Медленно и завязано на человека — не масштабируется дальше того, что он успевает ревьюить
  • Соблазн штамповать «ок», когда он обычно прав; ревью должно оставаться настоящим
  • Избыточно для обратимого или малозначимого — не гейтите то, что можно отменить

Запустить, наблюдать, вмешиваться

Агент работает сам; человек наблюдает и вступает, когда что-то выглядит не так, вместо одобрения каждого шага. Верно, когда ошибка серьёзна, но поправима, — раз можно отменить, наблюдать лучше, чем гейтить. Вы переходите от одобрения процесса к владению исходом.

Выбирайте это, когда

  • Ошибки серьёзны, но обратимы — можно вступить и откатить
  • Объём слишком велик, чтобы одобрять каждое действие, но надзор возможен
  • Вам нужна скорость, но не вслепую

Компромиссы

  • Работает, только если вы реально видите, что он делает, — сперва инструментируйте
  • «Мониторинг» тихо вырождается в «не смотрю»; помечайте неуверенность по-настоящему
  • Нужен быстрый надёжный способ поставить на паузу или откатить, когда заметили беду

Автономия внутри жёстких лимитов

Агент действует сам, но только в пределах лимитов, заданных заранее, — потолки трат, списки разрешённого, урезанные права, — а всё крупное, необычное или вне политики останавливается и эскалируется к человеку. Рабочая лошадка: быстро и независимо на рутине, отгорожено от катастрофы. Ограничьте радиус поражения — и пусть работает.

Выбирайте это, когда

  • Высокий объём, где одобрять каждое действие невозможно
  • Необратимое действие, худший случай которого можно урезать до переживаемого
  • Регулируемый домен, которому нужен минимум контроля, аудита и человеческого вето

Компромиссы

  • Безопасно ровно настолько, насколько лимиты — задайте их слишком свободно, и это просто полная автономия
  • Надо определить «вне политики» достаточно хорошо, чтобы эскалировалось нужное
  • Нужен путь эскалации, за которым человек реально следит, иначе эскалации копятся незамеченными

Пусть работает

Агент действует свободно — без поодиночного одобрения, без постоянного наблюдения. Только для работы, где ошибка и обратима, и мелка: дёшево ошибиться, легко отменить. Награда за по-настоящему низкие ставки — настоящая скорость. Не путайте это с тем, чтобы отпустить агента на что-то важное.

Выбирайте это, когда

  • Ошибка и обратима, и незначительна
  • Объём высокий, и поодиночный надзор был бы просто трением
  • Здесь ничто не регулируется и не создаёт ответственности

Компромиссы

  • Неверно для всего необратимого, серьёзного или регулируемого — перепроверьте те ответы
  • Всё равно нужно логирование, чтобы постфактум видеть, что он сделал
  • Ставки подкрадываются: малозначимая задача может вырасти в важную — пересматривайте