# Строить ИИ, за который можешь ответить Экспресс-курс об управлении ИИ (AI governance) и регуляции. 19 понятий — Risk-based approach, High-risk AI, EU AI Act, Brussels effect, Audit trail, Human oversight, Accountability gap, Transparency, Bias & fairness, Explainability и другие — у каждого английское название, схема и карточка «что это → пример → подвох → связи». В конце — шпаргалка на одной странице. Не юридический совет. - **Author:** Фёдор Чищин - **Level:** intermediate - **Reading time:** ~30 минут чтения - **Published:** 2026-06-13 - **Source:** https://fedorthinks.com/ru/learn/ai-governance-express --- ## 1. Зачем управление сейчас Сначала — зачем вообще правила. ИИ принимает решения, которые влияют на жизни людей, и закон, и простая ответственность приходят быстро. Игнорировать это — риск, а не стратегия. ### AI Governance — управление ИИ > Пилот отвечает за полёт, даже когда включён автопилот. Управление ИИ — это то же самое для софта: система помогает, но кто-то всегда может за неё ответить. **AI governance (управление ИИ)** — это дисциплина строить ИИ ответственно и уметь за него стоять. На практике это четыре привычки: **знать уровень риска**, **документировать и логировать**, **держать человека ответственным** и **быть прозрачным**. Почти всё в этом курсе — расшифровка этих четырёх пунктов. _Diagram: Управление — это четыре опоры вокруг твоей системы: риск, документы и логи, ответственный человек, прозрачность._ #### AI Governance (управление ИИ) - **Что это:** Дисциплина строить ИИ ответственно и мочь за него стоять. - **Как работает:** Знаешь свой уровень риска → документируешь и логируешь → назначаешь ответственного человека → честно говоришь, что это ИИ. - **Пример:** Перед запуском скоринга кредитов команда отвечает: какой это риск, где описано, как он решает, где лог решений, кто может отменить решение. - **Подвох:** Это не бюрократия в конце проекта, а в основном негламурная инженерия — логи, документы, надзор. - **Связи:** Зонтик над всеми остальными понятиями курса. ### Consequential AI — ИИ, который решает > Разница между инструментом, который подсказывает слово, и тем, который решает, кто получит кредит. Как только ставки касаются жизней людей, планка ответственности поднимается. Раньше ИИ дополнял текст. Теперь он **отсеивает соискателей, скорит кредит, помечает медицинские состояния и модерирует речь**. Когда ИИ переходит от _подсказки_ к _решению_ о вещах, которые серьёзно влияют на людей, цена ошибки растёт — и растёт ожидание, что ты можешь объяснить, как система работает. Вот почему управление важно именно сейчас. _Diagram: Слева ИИ только подсказывает, справа — решает за человека. Чем правее, тем выше планка ответственности._ #### Consequential AI (ИИ для значимых решений) - **Что это:** ИИ, который принимает или сильно влияет на решения о людях. - **Пример:** Автодополнение — подсказка. Отсев резюме или кредитный скоринг — уже решение о чьей-то жизни. - **Подвох:** Граница незаметна: фича «просто рекомендует», а люди на деле слепо следуют рекомендации. - **Связи:** Такие системы обычно попадают в **High-risk AI**; именно на них нацелен **EU AI Act**. ### Закон догоняет — быстро > Новые правила дорожного движения появляются, когда машины повсюду и у аварий есть последствия. Регуляция идёт за технологией туда, где она может навредить. Правительства регулируют ИИ всерьёз: **EU AI Act** — веха, и десятки юрисдикций идут следом со своими правилами. Эпоха «двигайся быстро, без правил» закрывается для значимого ИИ. Если твой продукт доходит до пользователей в регулируемых местах или принимает решения, которые интересны регуляторам, комплаенс (compliance) — реальное требование с реальными штрафами. Знать форму этих правил теперь такая же часть работы, как знать законы о безопасности и приватности. ### Это ориентир, а не юридический совет > Карта местности помогает спланировать маршрут, но на опасную переправу ты всё равно берёшь проводника. Курс — _ориентир_ по тому, как работает управление ИИ, а не юридический совет. Цель — чтобы ты свободно владел понятиями и рисками, знал, на что смотреть, и понимал, **когда звать настоящих специалистов**. Для реальной высокорисковой системы ты привлекаешь людей, которые делают комплаенс профессионально — и лучше узнать об обязательствах заранее, а не слишком поздно. ### Карта: 19 понятий в шести группах > Карта метро: сначала видишь линии целиком, потом едешь по станциям. Понятия курса делятся на шесть групп: **зачем** управление, **уровни риска**, **EU AI Act**, **доказательства** (документы и логи), **ответственность** и **ответственный ИИ**. Последняя глава собирает всё в практику. У каждого понятия дальше одно и то же: английское название, образ, схема и карточка «что это → пример → подвох → связи». _Diagram: Шесть групп понятий — по ним идут главы 1–6; глава 7 собирает их в практику._ > **Вопрос рамки:** «Принимает ли мой ИИ решения, которые серьёзно влияют на людей? Если да — управление не опционально, а „меня пока никто не остановил“ — не план.» > ИИ теперь принимает значимые решения, и закон с ответственностью быстро догоняют. Управление — это строить ИИ, за который можешь стоять. Здесь ориентир, не юридический совет, — но уже не опция. ## 2. Уровни риска Главная идея управления: не весь ИИ трактуется одинаково. Сколько надзора ты должен, зависит от того, насколько рискованно использование. Поэтому первая работа — узнать свой уровень. ### Risk-based Approach — подход на основе риска > Картинг и пассажирский авиалайнер — оба транспорт, но никто не регулирует их одинаково. Правила растут вместе с тем, сколько вреда может нанести сбой. Разумная регуляция сортирует ИИ по **риску**. Спам-фильтр и система, которая решает про условно-досрочное освобождение, — обе ИИ, но надзор нужен совсем разный. Это принцип **risk tiering (разбиение по уровням риска)**: чем выше возможный вред людям, тем больше обязательств. Он в центре EU AI Act и большинства серьёзных фреймворков. Большая часть управления — понять, в какой уровень падает твоё использование, потому что от этого зависит, что ты на деле должен. _Diagram: Чем больше возможный вред, тем длиннее список обязательств._ #### Risk-based Approach (risk tiering, разбиение по риску) - **Что это:** Обязательства растут вместе с возможным вредом для людей. - **Пример:** Спам-фильтр — почти никаких обязанностей. Решение об УДО — документация, надзор, управление рисками. - **Подвох:** Уровень определяет _использование_, а не технология: одна и та же модель может быть низкорисковой в чат-боте и высокорисковой в найме. - **Связи:** Основа **EU AI Act**; делит мир на **High-risk** и **Lower-risk AI**. ### High-risk AI — высокорисковый ИИ > Больше всего правил безопасности там, где ошибки сильнее всего бьют по людям: хирургия, авиация, финансы. ИИ следует той же логике. Некоторые использования считаются **high-risk (высокорисковыми)**, потому что ошибка серьёзно влияет на чью-то жизнь: **найм и увольнение, кредиты, образование, здравоохранение, правоохрана, доступ к базовым услугам**. ИИ, который принимает такие решения или сильно на них влияет, несёт реальные обязательства — документацию, человеческий надзор, управление рисками, способность показать регулятору, как всё работает. Если система касается одной из этих областей, считай её высокорисковой, пока не доказал обратное. _Diagram: Шесть областей, где ИИ формирует жизни людей. Попал сюда — получаешь полный пакет обязательств._ #### High-risk AI (высокорисковый ИИ) - **Что это:** ИИ, чьи ошибки серьёзно влияют на жизнь, права или доступ человека. - **Пример:** Модель, которая отсеивает резюме, или скоринг, который решает, кому дать кредит. - **Подвох:** Здесь приземляется весь вес регуляции — «потом разберёмся» не работает. - **Когда считать:** Касаешься найма, кредита, образования, здоровья, правоохраны или базовых услуг — по умолчанию да. - **Связи:** Требует **Documentation**, **Audit trail**, **Human oversight**, **Explainability**. ### Lower-risk AI — ИИ пониже риском > Большинству бытовых инструментов не нужна особая лицензия, только по-настоящему опасным. Навык в том, чтобы отличить одно от другого до выкатки. Хорошая новость: большинство использований ИИ — **не** высокорисковые. Ассистент письма, рекомендации, чат-бот для рутинных вопросов — у них куда более лёгкие обязательства, часто просто **базовая прозрачность**. Управление тяжёлое там, где ставки высоки, и лёгкое там, где нет. Главный ход — **честная классификация**: не считать себя в безопасности по умолчанию и не паниковать, что регулируется всё. _Diagram: Один вопрос делит использования: формирует ли это чью-то жизнь? Большинство ИИ попадает в ветку «нет»._ #### Lower-risk AI (limited / minimal risk) - **Что это:** ИИ, чьи ошибки не меняют серьёзно жизнь человека; обязанности в основном — прозрачность. - **Пример:** Ассистент письма, рекомендации товаров, FAQ-бот. - **Подвох:** Это вывод после честной проверки, а не допущение. «Мы же просто чат-бот» — пока чат-бот не начал решать за людей. - **Связи:** Противоположность **High-risk AI**; база — **Transparency**. > **Вопрос уровня:** «В какой уровень на деле падает это использование — высокий, потому что оно формирует чью-то жизнь, или ниже? Ведь от этого зависит, сколько управления я должен.» > Не весь ИИ регулируется одинаково — обязательства растут с риском. Высокорисковые использования (найм, кредит, здоровье, базовые услуги) несут реальные обязанности; большинство ИИ легче. Первая работа — честно знать свой уровень. ## 3. EU AI Act вкратце EU AI Act — главная регуляция ИИ, и её форма становится глобальным ориентиром. Юридический текст тебе не нужен — нужна структура, потому что ей следует большая часть мира. ### EU AI Act — четыре уровня, у каждого свои правила > Строительный кодекс: какие-то конструкции запрещены совсем, высотку проверяют до гвоздя, садовый сарай почти не трогают. **EU AI Act** сортирует ИИ по риску и применяет правила по уровням. Небольшой набор использований **запрещён (prohibited)** совсем. **Высокорисковые** системы несут тяжёлые обязательства — документацию, надзор, управление рисками — ещё до запуска. Большая часть остального получает обязанности **прозрачности (transparency)** — сказать людям, что перед ними ИИ, — или почти ничего. Запомнить эту пирамиду — значит понять большую часть закона. _Diagram: Пирамида EU AI Act: наверху запреты, ниже тяжёлые обязанности, ещё ниже прозрачность, в основании — почти ничего._ #### EU AI Act (закон ЕС об ИИ) - **Что это:** Регуляция ЕС, которая делит ИИ на уровни риска с правилами на каждый. - **Как работает:** Prohibited → запрещено. High-risk → обязанности до запуска. Transparency → раскрыть, что это ИИ. Minimal → почти ничего. - **Пример:** Скоринг кредитов для клиентов в ЕС — high-risk; чат-бот поддержки — в основном прозрачность. - **Подвох:** Касается тебя, если твой продукт доходит до пользователей в ЕС, — даже если компания не в Европе. - **Связи:** Воплощение **Risk-based approach**; распространяется через **Brussels effect**. ### Prohibited Practices — запрещённые практики > Есть вещи, на которые не выдают разрешение ни при каком количестве бумаг. Верх пирамиды — **prohibited practices (запрещённые практики)**: манипулятивный или абьюзивный ИИ и определённые виды слежки. Для них нет пути через комплаенс — нет документов, которые сделали бы их законными. Их просто не строят. _Diagram: Запрещённые практики не проходят ни при каких условиях — пути на рынок ЕС у них нет._ #### Prohibited Practices (unacceptable risk, запрещённый ИИ) - **Что это:** Использования ИИ, запрещённые напрочь. - **Пример:** Манипулятивный или абьюзивный ИИ, определённые виды слежки. - **Подвох:** Тут нечего «настроить» — правильный ответ один: не делать. - **Связи:** Верхний уровень пирамиды **EU AI Act**. ### Penalties — штрафы серьёзны > Штраф такого размера, что компания не может отмахнуться, — такой, что совет директоров начинает относиться к правилу всерьёз. У закона реальные зубы: **штрафы за серьёзные нарушения достигают десятков миллионов евро или заметного процента мирового годового оборота — что больше**. Это не символические штрафы — они рассчитаны, чтобы комплаенс стал настоящим бизнес-приоритетом. Именно поэтому управление ИИ переехало из «приятно иметь» в заботу уровня совета директоров. _Diagram: Штраф — большее из двух чисел, поэтому он больно бьёт и по стартапу, и по гиганту._ #### Penalties (штрафы EU AI Act) - **Что это:** Штрафы до десятков миллионов евро или процента мирового оборота — что больше. - **Пример:** Высокорисковая система для пользователей ЕС без нужных документов и надзора — прямой путь к штрафу. - **Подвох:** Играть «против» комплаенса дороже, чем спланировать его заранее. - **Связи:** Делают **Governance by design** выгодным, а не только правильным. ### Brussels Effect — брюссельский эффект > Стандарт, заданный на одном большом рынке, принимает вся индустрия: проще построить один продукт по самым строгим правилам, чем разный под каждый регион. Как и ранние правила ЕС о приватности данных, AI Act меняет практику далеко за пределами Европы. Это **Brussels effect (брюссельский эффект)**: регуляция крупного рынка становится фактическим мировым стандартом, потому что компании строят под самое строгое правило, а не поддерживают много версий. Плюс многие страны пишут свои законы об ИИ в похожей форме — по уровням риска. Так что даже вне ЕС структура закона — хороший гид, куда движется регуляция в целом. _Diagram: Один продукт строят под самый строгий рынок — и он же уходит пользователям по всему миру._ #### Brussels Effect (брюссельский эффект) - **Что это:** Правила крупного рынка становятся мировым стандартом, потому что так дешевле. - **Пример:** Правила ЕС о приватности данных изменили продукты по всему миру; с AI Act происходит то же. - **Подвох:** «Мы не в ЕС» — слабый аргумент: форма правил всё равно придёт. - **Связи:** Разносит **EU AI Act** и **Risk-based approach** по миру. > **Вопрос закона:** «Куда моя система упала бы в пирамиде EU AI Act — запрещено, высокий риск, только прозрачность? И отношусь ли я к этой структуре как к вероятному глобальному направлению?» > EU AI Act делит ИИ по риску: немногое запрещено, высокорисковое несёт тяжёлые обязательства, большинство — только прозрачность. Штрафы серьёзны, а форма закона становится мировым ориентиром. ## 4. Документация и аудит-трейлы Большая часть высокорисковых обязательств сводится к одному практическому требованию: уметь показать, как система работает и что она сделала. Это документация и логи — и встроить их куда дешевле, чем прикрутить потом. ### Technical Documentation — покажи, как система решает > Рецепт, записанный так, что любой видит, как делается блюдо, — а не шеф, который пожимает плечами: «просто получается вкусно». Ключевое обязательство — **documentation (документация)**: умение объяснить, как работает твоя ИИ-система — **какие данные она использует, как принимает решения, где её пределы и риски**. Регуляторы и клиенты всё чаще ждут, что ты это _покажешь_, а не просто заявишь, что всё в порядке. Высокорисковая система, которая чёрный ящик даже для своих создателей, — ровно то, на что нацелены правила. Ты записываешь, как она работает, пока строишь, и «доверьтесь нам» превращается в «вот документ». _Diagram: Вместо «доверьтесь нам» — документ с четырьмя ответами: данные, логика решений, пределы, риски._ #### Technical Documentation (документация системы) - **Что это:** Записанное описание: данные, логика решений, пределы и риски системы. - **Пример:** Для модели отсева резюме: на каких резюме обучена, какие признаки учитывает, где ошибается, как это проверяли. - **Подвох:** Писать «по памяти» после релиза — медленно и неточно. - **Связи:** Пара к **Audit trail** («как решает» + «что сделала»); основа **Explainability**. ### Audit Trail — лог того, что система сделала > Бортовой самописец: записывает каждое действие, чтобы после инцидента была точная запись, а не догадки. Рядом с документацией живёт **audit trail (аудит-трейл)** — лог того, что система _на деле сделала_: **какие решения приняла, входы, выходы, кто был вовлечён**. Когда что-то пошло не так или регулятор либо затронутый человек спрашивает «почему», аудит-трейл — разница между ответственным ответом и пожатием плеч. Это та же дисциплина логирования, что в наблюдаемости (observability), только здесь она служит ответственности. _Diagram: Вопрос «почему мне отказали?» превращается в поиск по логу и точный ответ._ #### Audit Trail (аудит-трейл, журнал решений) - **Что это:** Лог решений ИИ: входы, выходы, время, кто из людей участвовал. - **Пример:** Запись «09:31, резюме #4814, отклонено, проверяющий переопределил» — и ответ кандидату готов. - **Подвох:** Без лога ты реконструируешь и гадаешь, а не отвечаешь. - **Связи:** Родня **observability**; помогает закрыть **Accountability gap** и улучшать систему. ### Governance by Design — встрой, а не прикручивай > Провести проводку под инспекцию, пока строишь дом, — рутина. Вскрывать готовые стены, чтобы добавить её потом, — кошмар. Практический урок: **governance by design** — встраивай управление с самого начала. Добавить документацию и аудит-логи в систему, которая проектировалась без них, значит восстанавливать задним числом, как она работает, — медленно, с ошибками, а иногда невозможно. Команды, которые считают «как я покажу, как это работает и что оно сделало» требованием дизайна наравне с фичей, получают большую часть комплаенса почти бесплатно. _Diagram: Встроить с первого дня дёшево и рутинно; дооснащать потом — дорого, а иногда невозможно._ #### Governance by Design (управление с первого дня) - **Что это:** Логи, документы и надзор — требования дизайна, а не доделка в конце. - **Пример:** В схеме базы сразу есть таблица решений модели; в шаблоне PR — пункт «обновить описание системы». - **Подвох:** Самое дешёвое время встроить управление — до того, как оно понадобилось, а не под дедлайном регулятора. - **Связи:** Способ получить **Documentation** и **Audit trail** почти бесплатно. > **Вопрос документации:** «Если бы регулятор или затронутый пользователь спросил, как работает эта система и что она сделала в конкретном случае, — смог бы я показать? Или стал бы реконструировать и гадать?» > Высокорисковые обязательства в основном сводятся к двум вещам: покажи, как система решает (документация), и запиши, что она сделала (аудит-трейл). Встрой оба с самого начала — дооснащать ответственность больно, а иногда невозможно. ## 5. Разрыв ответственности Автономный ИИ поднимает трудный вопрос, который закон ещё решает: когда ИИ действует сам и причиняет вред, кто отвечает? Нельзя позволить этой неясности стать твоей защитой. ### Accountability Gap — разрыв ответственности > Робот-курьер наехал на прохожего. Кто виноват — производитель, оператор или тот, кто его отправил? Каждый показывает на другого. ИИ-агенты действуют сами — бронируют, покупают, решают, отправляют. Так открывается **accountability gap (разрыв ответственности)**: когда автономная система причиняет вред, не всегда ясно, кто отвечает — **разработчик модели, компания, которая её развернула, или пользователь**, который её запустил. Закон это активно прорабатывает, и вопрос не решён. Для тебя как строителя сама эта неясность — риск. Ответ на «кто отвечает?» нужен внутри продукта, раньше, чем его дадут за тебя в споре. _Diagram: Агент причинил вред — и три стороны смотрят друг на друга. Это и есть разрыв ответственности._ #### Accountability Gap (разрыв ответственности) - **Что это:** Неясность, кто отвечает, когда автономный ИИ причиняет вред. - **Пример:** Агент сам купил не то и отправил деньги не тому — разработчик, компания и пользователь показывают друг на друга. - **Подвох:** Закон ещё не решил — значит, решать внутри продукта должен ты. - **Связи:** Закрывается **Human oversight** и **Audit trail**. ### Human Oversight — человек остаётся ответственным > Пилот отвечает за полёт и на автопилоте: автоматика помогает, но за результат отвечает названный человек. Долговечный принцип, заложенный в правила для высокого риска, — **human oversight (человеческий надзор)**: за значимые решения ИИ отвечает человек. ИИ может помогать, рекомендовать, даже действовать — но **человек или организация остаётся ответственным** за результат и может **надзирать и вмешаться**. Это управленческое лицо идеи **human-in-the-loop (человек в контуре)** из дизайна продукта: держать человека у руля не только безопаснее — так ответственность где-то живёт, когда система ошибается. _Diagram: ИИ предлагает, человек проверяет и может остановить, у решения есть владелец с именем._ #### Human Oversight (человеческий надзор, human-in-the-loop) - **Что это:** Названный человек отвечает за решения ИИ и может вмешаться. - **Пример:** Модель предлагает отклонить заявку на кредит; специалист видит причину и может переопределить. - **Подвох:** Надзор должен быть _осмысленным_: человек, который жмёт «ОК» на всё, — это не надзор. - **Связи:** Закрывает **Accountability gap**; обязателен для **High-risk AI**. ### Blame Offloading — «ИИ это сделал» не защита > Нельзя оправдать плохой результат, обвиняя инструмент, который ты сам выбрал. Ответственность за то, как им пользоваться, остаётся с тобой. Ошибка, которой надо избегать, — **blame offloading (сгрузить вину на ИИ)**. «ИИ принял решение» не будет принятым ответом, когда автономная система причинит вред: ответственность течёт к людям и организациям, которые её **построили и развернули**, как бы легко технология ни позволяла отвести взгляд. Поэтому проектируй под это: явно укажи внутри продукта, где сидит человеческая ответственность, и не строй систему, где каждый может сказать «это было не моё решение». _Diagram: «ИИ это сделал» не работает: ответственность всё равно приходит к тем, кто построил и развернул._ #### Blame Offloading («ИИ это сделал») - **Что это:** Попытка переложить ответственность за вред на сам ИИ. - **Пример:** После ошибочного отказа компания отвечает «так решил алгоритм» — и это не снимает с неё ответственность. - **Как избежать:** Явный владелец каждого значимого решения ИИ внутри продукта. - **Связи:** Анти-паттерн к **Human oversight**; симптом **Accountability gap**. > **Вопрос ответственности:** «Когда мой автономный ИИ сделает что-то не то, ясно ли, кто отвечает и кто мог вмешаться? Или я построил систему, где „ИИ это сделал“ — единственный ответ?» > Автономный ИИ открывает разрыв ответственности, который закон ещё решает. Держи человека осмысленно ответственным и способным вмешаться — потому что «ИИ это сделал» не будет защитой, когда агент причинит вред. ## 6. Прозрачность и ответственный ИИ За юридическими обязательствами стоит более широкая практика — строить ИИ ответственно. Многое из неё одновременно и комплаенс, и доверие, на котором держится успешный продукт. ### Transparency — скажи людям, что это ИИ > Пометка «автоматический ответ», чтобы никто не думал, что ответил человек. Честно о том, с чем человек имеет дело. Базовое ожидание почти во всех регуляциях — **transparency (прозрачность)**: люди имеют право знать, **когда они говорят с ИИ, а не с человеком**, и **когда контент сгенерирован ИИ**. Это не просто галочка комплаенса — это честная подача из дизайна продукта, которая держит ожидания пользователей реалистичными. Прятать ИИ или выдавать его вывод за человеческий подрывает доверие и всё чаще нарушает закон. Здесь хороший дизайн продукта и хорошее управление указывают в одну сторону. _Diagram: Прозрачность в интерфейсе: метка «AI assistant» и пометка у сгенерированного контента._ #### Transparency (прозрачность, AI disclosure) - **Что это:** Раскрывать, что человек общается с ИИ и что контент сделан ИИ. - **Пример:** Чат поддержки с меткой «AI assistant»; сводка заказа с пометкой «сгенерировано ИИ». - **Подвох:** Выдавать ИИ за человека ломает доверие — и всё чаще нарушает закон. - **Связи:** База для **Lower-risk AI**; часть пакета **High-risk AI**. ### Bias & Fairness — предвзятость и справедливость > Процесс найма, который тихо благоволит одной группе — не по замыслу, а по унаследованному паттерну. Вред реален, даже если никто его не хотел. Центральная забота **responsible AI (ответственного ИИ)** — **bias and fairness (предвзятость и справедливость)**. Модели учатся на данных, в которых уже есть предубеждения общества, поэтому ИИ может давать несправедливые результаты — в найме, кредитах, где угодно — без чьего-то умысла. Для высокорисковых систем это и этический, и юридический вопрос, и сам он не чинится. Надо **активно проверять**: одинаково ли система обращается с разными группами, нет ли дискриминирующих паттернов. Справедливость меряют и управляют ею, а не предполагают. _Diagram: Старые предубеждения из данных проходят через модель и становятся разными результатами для групп._ #### Bias & Fairness (предвзятость и справедливость) - **Что это:** Риск, что ИИ несправедливо обходится с группами людей, унаследовав предубеждения из данных. - **Пример:** Модель найма, обученная на прошлых наймах, одобряет одну группу заметно чаще другой. - **Как проверять:** Сравнивать результаты по группам, искать дискриминирующие паттерны, повторять регулярно. - **Подвох:** Без проверки модель тихо автоматизирует ровно ту несправедливость, которую ты бы никогда не выбрал. - **Связи:** Часть **responsible AI**; обязательная забота **High-risk AI**. ### Explainability — объяснимость там, где решения важны > Кредитный специалист, который может сказать, почему тебе отказали, — против машины, которая просто говорит «нет». Для значимых решений важна **explainability (объяснимость)**: способность дать понятную причину результата, а не непрозрачный вердикт. Человек, которого затронуло решение ИИ — отказали в кредите, отсеяли с работы, — всё чаще имеет **право на объяснение**. Дать его справедливо и часто обязательно. Это связано с документацией и надзором: систему, которую ты понимаешь настолько, чтобы объяснить, ты можешь и защитить перед людьми, которых она касается. _Diagram: Одна и та же заявка: чёрный ящик говорит «нет», объяснимая система — «нет, потому что…»._ #### Explainability (объяснимость, право на объяснение) - **Что это:** Умение дать понятную причину конкретного решения ИИ. - **Пример:** «Отказано: доход ниже порога, короткая кредитная история». - **Подвох:** Если ты не можешь объяснить решение, ты не можешь его и защитить. - **Связи:** Опирается на **Documentation**; даёт смысл **Human oversight**. > **Вопрос ответственного ИИ:** «Честно ли я говорю, что это ИИ, проверяю ли активно на предвзятость и могу ли объяснить значимые решения? Или просто надеюсь, что это не станет проблемой?» > Ответственный ИИ пересекается с комплаенсом: говори людям, что это ИИ, активно проверяй на предвзятость и умей объяснить значимые решения. Хорошее управление и хороший дизайн продукта указывают в одну сторону. ## 7. Применять хорошо Управление, сделанное хорошо, — не бюрократия, прикрученная в конце. Это несколько привычек с самого начала, которые дают выпускать значимый ИИ, за который можешь стоять. ### Proportionate Governance — знай свой уровень и строй под него > На садовую калитку не ставят тот же замок, что на банковское хранилище. Оценил, что защищаешь, — поставил подходящую защиту, не больше и не меньше. Вся практика начинается с честной классификации: использование высокорисковое или легче? Большинство фич ниже риском и требуют базовой прозрачности. Высокорисковые заслуживают полный пакет — документацию, аудит-трейл, надзор, проверки справедливости. Это **proportionate governance (соразмерное управление)**: не топить маленькую фичу в «театре комплаенса» и не выпускать высокорисковую так, будто она не такая. А для по-настоящему высокого риска — **привлекай реальную экспертизу**: этот курс ориентирует, но настоящий комплаенс делают профессионалы. _Diagram: Слева — лёгкий набор для обычной фичи, справа — полный пакет для высокого риска, включая экспертов._ #### Proportionate Governance (соразмерное управление) - **Что это:** Усилие на управление подбирается под реальный уровень риска. - **Пример:** FAQ-бот: метка «ИИ» и разумные логи. Скоринг кредитов: полный пакет плюс юристы по комплаенсу. - **Подвох:** Две ошибки: театр комплаенса на мелочах и беспечность на высоком риске. - **Связи:** Применяет **Risk-based approach** к твоему продукту; собирает все практики курса. ### Как всё связано > Пазл: каждая деталь сама по себе мало что значит, вместе они дают картинку. Понятия курса — одна система. **EU AI Act** применяет **risk-based approach** и делит ИИ на **high-risk** и **lower-risk**. Высокий риск тянет за собой **документацию, аудит-трейл, человеческий надзор, объяснимость и проверки на предвзятость**. Аудит-трейл и надзор **закрывают разрыв ответственности**. А **governance by design** — способ сделать всё это дёшево, встроив с первого дня. _Diagram: Закон делит ИИ по риску; высокий риск тянет пять обязанностей; две из них закрывают разрыв ответственности._ #### Прежде чем выкатывать значимый ИИ - **Какой уровень риска** — высокий, потому что формирует жизни, или ниже? - **Прозрачно ли это** — знают ли люди, что имеют дело с ИИ? - **Можешь ли ты задокументировать**, как оно работает, и есть ли **аудит-трейл** того, что оно сделало? - **Есть ли ответственный человек**, который может надзирать и вмешаться? - **Проверил ли ты на предвзятость** и можешь ли объяснить значимые решения? - **Для высокого риска привлекаешь ли реальную экспертизу**, а не полагаешься на обзор? #### Признаки, что ты управляешь ИИ хорошо - Ты **знаешь свой уровень риска** и подбираешь усилие под него. - Ты **прозрачен**, что это ИИ, и **документируешь**, как оно работает. - Ты держишь **аудит-трейл** и **человека ответственным** за значимые решения. - Ты **проверяешь на предвзятость** и можешь **объяснить** важные решения. - Ты встраиваешь управление **с самого начала** и зовёшь **экспертов**, когда риск высокий. ## Шпаргалка: все 19 понятий ### Зачем управление - **AI Governance** (управление ИИ): Строить ИИ ответственно и мочь за него стоять. - **Consequential AI** (ИИ, который решает): ИИ, который принимает решения о жизнях людей, — отсюда растёт планка ответственности. ### Уровни риска - **Risk-based Approach** (risk tiering): Обязательства растут вместе с возможным вредом. - **High-risk AI** (высокорисковый ИИ): Найм, кредит, образование, здоровье, правоохрана, базовые услуги — полный пакет обязанностей. - **Lower-risk AI** (limited / minimal risk): Большинство ИИ; в основном нужна прозрачность. Вывод после честной проверки. ### EU AI Act - **EU AI Act** (закон ЕС об ИИ): Пирамида: запрещено → высокий риск → прозрачность → почти ничего. - **Prohibited Practices** (запрещённый ИИ): Манипулятивный, абьюзивный ИИ, определённая слежка — не строить. - **Penalties** (штрафы): Десятки миллионов евро или процент мирового оборота — что больше. - **Brussels Effect** (брюссельский эффект): Правила большого рынка становятся мировым стандартом. ### Доказательства - **Technical Documentation** (документация): Данные, логика решений, пределы и риски — записаны. - **Audit Trail** (аудит-трейл): Лог того, что система на деле сделала. - **Governance by Design** (с первого дня): Встраивать сразу — дооснащать дорого и иногда невозможно. ### Ответственность - **Accountability Gap** (разрыв ответственности): Неясно, кто отвечает за вред автономного ИИ. - **Human Oversight** (human-in-the-loop): Названный человек отвечает и может вмешаться. - **Blame Offloading** («ИИ это сделал»): Анти-паттерн: вину нельзя сгрузить на инструмент. ### Ответственный ИИ - **Transparency** (прозрачность): Говорить, что это ИИ, и помечать ИИ-контент. - **Bias & Fairness** (предвзятость и справедливость): Проверять результаты по группам — справедливость меряют, а не предполагают. - **Explainability** (объяснимость): Давать понятную причину значимого решения. ### Применять хорошо - **Proportionate Governance** (соразмерное управление): Усилие по уровню риска; для высокого риска — эксперты. > Управление ИИ — это строить ИИ, за который можешь ответить: знай свой уровень риска, будь прозрачен, документируй, как оно решает, держи человека ответственным и проверяй на справедливость — с самого начала, с реальной экспертизой там, где риск высокий. Конец экспресс-курса · 7 глав · 19 понятий · не юридический совет Дальше — практика: возьми ИИ-фичу и честно определи её уровень риска — формирует ли она чью-то жизнь? Потом пройди по ней высокорисковым чек-листом: можешь ли задокументировать, как она работает, показать, что она сделала, назвать ответственного, объяснить решение? Каждое «нет» — разрыв, который надо закрыть, пока он не стал важен. Управление — это в основном негламурная, выполнимая инженерия: логи, документы, надзор. Но держи одну мысль выше остальных: когда ИИ принимает решения о людях, ты должен уметь за это ответить. Этот курс ориентирует; эксперта он не заменяет.