# Риск никогда не был в модели. Он в системе вокруг неё. Самый авторитетный орган по безопасности ИИ в мире — больше сотни экспертов под председательством Йошуа Бенжио, при поддержке тридцати государств — пришёл к тихо отрезвляющему выводу: самые насущные риски ИИ исходят не столько от самих моделей, сколько от систем, которые компании строят вокруг них. Не sci-fi сверхинтеллект; интеграции, права доступа, бизнес-процессы, через которые маленькая ошибка распространяется. Для строителей это хорошая новость, потому что значит, что безопасность ИИ — в основном работа, которую вы реально можете сделать. - **Author:** Фёдор Чищин - **Published:** 2026-06-10 - **Tags:** architecture, security - **Source:** https://fedorthinks.com/ru/blog/the-risk-is-the-system-not-the-model --- Международный отчёт по безопасности ИИ 2026 — больше сотни независимых экспертов [под председательством Йошуа Бенжио, при поддержке тридцати с лишним стран плюс ЕС, ОЭСР и ООН](https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026) — это примерно настолько официально, насколько бывает оценка рисков ИИ. И его акцент не там, где был публичный разговор. Самые насущные риски, подчёркивает анализ, исходят не столько от самих моделей, сколько от [сложных систем, которые организации строят вокруг них](https://www.ibm.com/think/news/new-global-ai-safety-report-means-enterprise) — от того, что происходит после развёртывания, когда ИИ запускает бизнес-процессы, получает доступ к чувствительным данным, принимает решения и взаимодействует с другими системами так, как его операторы не до конца понимают. Перечитайте, потому что это тихо перенаправляет весь разговор о безопасности. Киношный страх — это модель: рассогласованная, обманчивая, слишком умная, чтобы её контролировать. Орган, лучше всех способный знать, указывает на нечто куда менее драматичное — на сантехнику. И этот сдвиг меняет, что значит «безопасность ИИ» для всякого, кто реально строит. ## Мы вели не тот разговор о безопасности Большинство разговоров о безопасности ИИ — про мозг: солжёт ли модель, откажет ли, станет ли сверхинтеллектом. Эти вопросы важны горстке лабораторий, обучающих передовые модели. Для всех остальных они в основном неактивны — нельзя выровнять модель, которую вы не обучали. А вот с тем, что вокруг неё, вы можете что-то сделать, и именно там, говорит отчёт, концентрируется опасность. Корпоративные исследования той же недели формулируют прямо: агентный риск ИИ в 2026-м — [в первую очередь задача интеграции и управления, а не выравнивания модели](https://www.jadasquad.com/blog/agentic-ai-risk-management). Провалы, которые реально вредят людям, — это не модель, подумавшая плохую мысль. Это корректно работающая модель, подключённая к данным, до которых не должна доставать, запускающая процесс, который никто не ревьюил, с ошибкой, которая [быстро распространяется по взаимосвязанным системам](https://www.jadasquad.com/blog/agentic-ai-risk-management), прежде чем кто-либо заметит. Это то же, что я твержу со стороны строительства: модель — наименьшее из этого. Что решает, безопасен ли ваш ИИ, — это архитектура вокруг него: заземление, права, границы, человеческие ворота. Отчёт по безопасности — это тот же аргумент, ратифицированный людьми, чья работа — беспокоиться о рисках ИИ круглосуточно. ## Безопасность — это системная работа, и она ваша Вот почему отчёт меня странно успокаивает. Если бы риск ИИ жил целиком внутри модели, вы были бы зрителем — ваша безопасность зависела бы от лабораторий, которые вы не контролируете. Но если риск в основном в системе вокруг модели, то бо́льшая его часть — это _ваша_ система, и у вас есть реальный рычаг. Собственная рамка отчёта многослойна: [обучение, развёртывание, постразвёртночный мониторинг и устойчивость экосистемы](https://www.mind-xo.com/insight/article/2026-ai-safety-report-defence-in-depth-enterprise-risk-management), с явным призывом к «эшелонированной обороне» вместо любого одного предохранителя. Средние слои — развёртывание и мониторинг — прямо строительские. Конкретно, системная работа, которая реально двигает ваш риск: - **Минимум прав, безжалостно.** Картируйте каждый источник данных и действие, до которых ИИ может дотянуться, и урежьте до минимума. Большинство губительных инцидентов — модель, делающая ровно то, что ей позволено, с доступом, которого у неё не должно было быть, — скучная [проблема identity и доступа](/blog/the-agent-breach-is-already-normal), а не взбунтовавшийся разум. - **Ограничьте радиус поражения до выдачи возможности.** Фильтруйте вход и выход, ставьте значимые или необратимые действия за человека и считайте, что любой отдельный шаг может быть неверным. Ограничьте, что ошибка может тронуть, чтобы распространение не превратило маленькую ошибку в системную. - **Мониторьте и репортите, потому что риск всплывает после развёртывания.** Весь смысл отчёта — что опасность живёт после запуска, в работающей системе. Если вы [не видите, что ваш ИИ реально сделал](/blog/you-cant-run-what-you-cant-watch), вы не поймаете день, когда всё пойдёт не так, — инструментируйте и держите след инцидентов. - **Складывайте предохранители.** Одного контроля недостаточно; отчёт настойчив про слои. Заземление _и_ права _и_ человеческие ворота _и_ мониторинг — чтобы, когда один откажет, держал другой. Ничего из этого не экзотика. Это обычная системная инженерия и управление доступом, нацеленные на новый вид компонента. ## Суть История, которую мир рассказывает про опасность ИИ, — про модель: её разум, её намерения, её интеллект. Самый авторитетный орган по безопасности на планете только что сказал, по сути: это та часть, которую вы в основном тронуть не можете, и не оттуда всё равно идёт бо́льшая часть вреда. Вред — в системе: связи, права, процессы, — а эта часть инженерия, а не выравнивание. Так что если вы строите с ИИ, перестаньте отдавать «безопасность» лабораториям и карточке модели. Безопасность вашего продукта — это система, которой вы обернули модель: до чего она дотягивается, что может делать, что её останавливает, и узнаете ли вы, если она пойдёт не так. Это не проблема, которую ждёшь, чтобы решил кто-то поумнее. Это архитектура, и сделать её правильно всегда было вашей задачей.