В вашу модель вшиты ценности — и вы их наследуете

Одна из самых странных схваток в технологиях в этом году — между Anthropic и Пентагоном. Коротко: Министерство обороны хотело использовать Claude так, как Anthropic не позволяла, — включая обработку коммерческих данных американцев и управление оружейными системами, — и Anthropic сказала нет. Позиция компании в том, что Claude не создавался для летального автономного оружия без человеческого надзора и не для слежки за гражданами США, и такое использование — злоупотребление инструментом. Ответ министра обороны был резким: он обвинил Anthropic в попытке захватить «право вето над операционными решениями вооружённых сил США», объявил компанию «риском цепочки поставок» и приказал подрядчикам разорвать связи.

Можно спорить весь день, кто прав. Я хочу сказать о том, что лежит под этим спором, — и что почти каждый строитель игнорирует: у модели было вшито мнение, перевесившее то, чего хотел её крупнейший потенциальный заказчик. Модель — не нейтральный инструмент. И если вы строите на ней, её мнения теперь ваши.

Модели без ценностей не бывает

Мы говорим о моделях так, будто это калькуляторы — нейтральные машины, которые просто обрабатывают ввод. Это не так. В каждую модель вшит набор отказов, ограничений и дефолтов, намеренно выбранных её создателем: с чем она не поможет, в чём виляет, что считает вредным, какое мировоззрение тихо предполагает, когда вопрос неоднозначен. Эти выборы — ценности, и от модели к модели они различаются. Одна откажет в запросе, на который другая радостно ответит. Одна склоняется к осторожности, другая — к дозволенности. Ни одна из них не «нейтральная по умолчанию», потому что такой не существует — кто-то решил, где проходит каждая черта.

Схватка Anthropic–Пентагон — просто самая громкая версия этого: ценностное решение настолько твёрдое, что стоило компании оборонного контракта и принесло ярлык национального риска. Но то же самое тихо работает внутри каждой модели, на которой вы могли бы строить, по тысяче меньших вопросов, каждый день.

Выбирая модель, вы перенимаете её отказы

Вот почему это важно лично для вас, даже если вы никогда не приблизитесь к оборонному контракту. Когда вы подключаете продукт к модели, вы наследуете её ценности оптом. Её отказы становятся отказами вашего продукта. Если модель не обсуждает то, что вашим пользователям законно нужно, ваш продукт тоже не будет — и винить будут вас, а не лабораторию. Её слепые зоны и предвзятости становятся вашими. Её представление о том, что «уместно», тихо становится политикой вашего приложения, выбирали вы эту политику или нет.

Это другая ось, чем та, что я обычно толкаю. Я доказывал, что модель — товар, который стоит держать заменяемым по цене и возможностям. Верно — но замена не нейтральна по ценностям. Две модели с одной ценой и бенчмарком могут иметь ощутимо разные характеры и пределы, и переключение между ними тихо меняет, что ваш продукт будет и не будет делать. Мозг взаимозаменяем; мнения, что идут с каждым мозгом, — не идентичны.

И ценности эти даже не стабильны

Есть поворот, делающий это страннее. Отказы, на которые вы полагаетесь, могут не остаться на месте. У open-weight моделей ограждения живут в весах — и в этом году бесплатный инструмент показал, что может снять защиту с открытых моделей Meta, Google и других меньше чем за десять минут на обычном ноутбуке. Так что «ценности» модели одновременно достаточно реальны, чтобы стоить контракта, и достаточно хрупки, чтобы быть снятыми кем-то ниже по течению. Если ваша история безопасности — «модель отказывает в плохом», помните, что отказ — это компонент, а не закон природы: он может быть в одном развёртывании и исчезнуть в другом.

Что с этим реально делать

Сделать модель нейтральной нельзя, но можно перестать удивляться её ценностям:

• Узнайте позиции модели до выкатки. Прощупайте, в чём она отказывает, где виляет, что предполагает на неоднозначных вопросах. Эти повадки теперь — повадки вашего продукта; обнаружить их должны вы, а не ваши пользователи.
• Выбирайте ценности, а не только бенчмарк. Выбирая модель, вы выбираете позицию. Подбирайте под свой кейс намеренно — дозволяющая и осторожная модель — это разные продукты, а не просто разные баллы.
• Не отдавайте свою политику дефолтам модели. Если что-то правда важно для ваших пользователей, обеспечивайте это сами — на своём слое, — а не надейтесь, что вшитая черта модели окажется там, где вам нужно. Черта модели сдвинется; ваша — не должна.
• Считайте «модель занимается безопасностью» отправной точкой, а не ответом. Её отказы могут быть непоследовательны, а на открытых весах — снимаемы. Ваши гарантии должны жить там, где контролируете вы.

Суть

Схватку Anthropic–Пентагон запомнят как историю про ИИ и военных. Но более тихий урок — для всех, кто строит поверх этих моделей: модели «из ниоткуда» не существует. Каждая несёт набор ценностей, выбранных её создателем, достаточно сильных, чтобы отказать самому могущественному заказчику на земле, — и, строя на ней, вы переняли эти ценности как свои, обычно не заметив.

Так что выбирайте с этим в уме. Вы выбираете не просто самый умный или дешёвый мозг. Вы выбираете, чьё суждение о дозволенном будет вшито в ваш продукт. Выбирайте намеренно, узнайте, во что она верит, раньше ваших пользователей, и держите черты, которые правда важны, на своей стороне стены — потому что ценности модели реальны, по умолчанию они не ваши и нейтральными они не были никогда.