Curso exprés · No. 37
La IA toma cada vez más decisiones que afectan la vida de las personas, y la ley y tu propia responsabilidad te alcanzan rápido. La gobernanza de la IA es la disciplina de crear sistemas que puedas respaldar: saber dónde eres de alto riesgo, mostrar cómo decide el sistema, mantener a una persona responsable y estar listo cuando un regulador o un cliente pregunte. Esto es una orientación, no asesoramiento legal.
19 conceptos · un diagrama para cada uno · hoja de referencia al final · no es asesoramiento legal
Primero, por qué existen las reglas. La IA toma decisiones que afectan la vida de las personas, y tanto la ley como la simple responsabilidad llegan rápido. Ignorarlo es un riesgo, no una estrategia.
AI Governance — la disciplina
Un piloto es responsable del vuelo incluso con el piloto automático. La gobernanza de la IA es la misma idea para el software: el sistema ayuda, pero alguien siempre puede responder por él.
La gobernanza de la IA es la disciplina de crear IA de forma responsable y poder respaldarla. En la práctica se reduce a cuatro hábitos: conoce tu nivel de riesgo, documenta y registra, mantén a una persona responsable y sé transparente. Casi todo este curso desarrolla esos cuatro.
- Qué es
- La disciplina de crear IA de forma responsable y respaldarla.
- Cómo funciona
Conoce tu nivel de riesgo → documenta y registra → nombra a una persona responsable → sé honesto en que es IA.
- Ejemplo
Antes de lanzar un scoring de crédito, el equipo responde: qué nivel es, dónde está documentado cómo decide, dónde está el registro de decisiones, quién puede revertir una decisión.
- Trampa
No es papeleo añadido al final: es sobre todo ingeniería poco glamorosa: registros, documentos, supervisión.
- Relaciones
- El paraguas sobre todos los demás conceptos del curso.
Consequential AI — IA que decide
La diferencia entre una herramienta que sugiere una palabra y otra que decide quién recibe un préstamo. Cuando lo que está en juego toca la vida de las personas, el listón de la responsabilidad sube.
Antes la IA autocompletaba texto. Ahora filtra candidatos a un empleo, puntúa crédito, señala condiciones médicas y modera el discurso. Cuando la IA pasa de sugerir a decidir cosas que afectan de verdad a las personas, el coste de equivocarse sube, y también la expectativa de que puedas explicar cómo funciona. Por eso la gobernanza importa ahora.
- Qué es
- IA que toma, o condiciona mucho, decisiones sobre personas.
- Ejemplo
El autocompletado es una sugerencia. Filtrar CV o puntuar crédito es una decisión sobre la vida de alguien.
- Trampa
La línea es fácil de pasar por alto: una función "solo recomienda", pero la gente sigue la recomendación a ciegas.
- Relaciones
Estos sistemas suelen caer en High-risk AI; son justo el objetivo del EU AI Act.
La ley nos alcanza, rápido
Aparecen nuevas leyes de tráfico cuando los coches están por todas partes y los accidentes tienen consecuencias. La regulación sigue a la tecnología hasta los lugares donde puede hacer daño.
Los gobiernos regulan la IA en serio: el EU AI Act es el hito, y decenas de jurisdicciones lo siguen con sus propias reglas. La era de "muévete rápido, sin reglas" se cierra para la IA de consecuencias. Si tu producto llega a usuarios en lugares regulados o toma decisiones que importan a los reguladores, el cumplimiento es un requisito real con sanciones reales. Conocer la forma de estas reglas ya es parte del trabajo, igual que conocer la seguridad y las leyes de privacidad.
Esto es orientación, no asesoramiento legal
Un mapa del terreno te ayuda a planear la ruta, pero para el cruce peligroso sigues llevando un guía.
Este curso es una orientación sobre cómo funciona la gobernanza de la IA, no asesoramiento legal. La meta es que domines los conceptos y los riesgos, para saber qué vigilar y cuándo llamar a expertos de verdad. Para un sistema de alto riesgo real, involucras a gente que se dedica al cumplimiento, y es mucho mejor conocer las obligaciones pronto que tarde.
El mapa: 19 conceptos en seis grupos
Un mapa de metro: primero ves las líneas completas, luego recorres estación por estación.
Los conceptos se agrupan en seis: por qué la gobernanza, niveles de riesgo, el EU AI Act, pruebas (documentos y registros), responsabilidad e IA responsable. El último capítulo lo convierte todo en práctica. Cada concepto recibe después el mismo trato: nombre en inglés, una imagen, un diagrama y una ficha: qué es → ejemplo → trampa → relaciones.
La IA ya toma decisiones de peso, y la ley y la responsabilidad nos alcanzan rápido. Gobernanza es crear IA que puedas respaldar. Aquí, una orientación y no asesoramiento legal, pero ya no es opcional.
La idea central de la gobernanza: no toda la IA se trata igual. Cuánta supervisión debes depende de lo arriesgado que sea el uso. Así que el primer trabajo es conocer tu nivel.
Risk-based Approach — las obligaciones crecen con el riesgo
Un kart y un avión de pasajeros son ambos vehículos, pero nadie los regula igual. Las reglas escalan con el daño que podría causar un fallo.
Una regulación sensata ordena la IA por riesgo. Un filtro de spam y un sistema que decide quién obtiene libertad condicional son ambos IA, pero la supervisión que necesitan es de mundos distintos. Eso es el risk tiering: cuanto mayor el daño potencial a las personas, más obligaciones se aplican. Está en el centro del EU AI Act y de la mayoría de los marcos serios. Gran parte de la gobernanza es averiguar en qué nivel cae tu uso, porque eso decide lo que realmente debes.
- Qué es
- Las obligaciones crecen con el daño potencial a las personas.
- Ejemplo
Filtro de spam: casi sin deberes. Decisión de libertad condicional: documentación, supervisión, gestión de riesgos.
- Trampa
El nivel lo marca el uso, no la tecnología: el mismo modelo puede ser de bajo riesgo en un chatbot y de alto riesgo en contratación.
- Relaciones
La base del EU AI Act; divide el mundo en High-risk AI y Lower-risk AI.
High-risk AI — usos que moldean vidas
Las actividades con más reglas de seguridad son aquellas donde los errores hacen más daño: cirugía, aviación, finanzas. La IA sigue la misma lógica.
Ciertos usos se clasifican como de alto riesgo porque un error afecta de forma importante la vida de alguien: contratar y despedir, crédito y préstamos, educación, sanidad, aplicación de la ley, acceso a servicios esenciales. La IA que toma o influye mucho en esas decisiones tiene obligaciones reales: documentación, supervisión humana, gestión de riesgos, poder mostrar a un regulador cómo funciona. Si tu sistema toca una de estas áreas, asume que es de alto riesgo hasta confirmar lo contrario.
- Qué es
IA cuyos errores afectan de forma importante la vida, los derechos o el acceso de una persona.
- Ejemplo
Un modelo que filtra CV, o una puntuación que decide quién recibe un préstamo.
- Trampa
Aquí cae el peso de la regulación: "ya lo arreglaremos después" no funciona.
- Cuándo se aplica
Tocas contratación, crédito, educación, salud, aplicación de la ley o servicios esenciales: asume que sí.
- Relaciones
Exige Documentation, Audit trail, Human oversight, Explainability.
Lower-risk AI — la mayoría de la IA, pero sabe cuál
La mayoría de las herramientas cotidianas no necesitan una licencia especial; solo las realmente peligrosas. La habilidad es distinguir cuál es cuál antes de lanzar.
La parte tranquilizadora: la mayoría de los usos de IA no son de alto riesgo. Un asistente de escritura, una función de recomendaciones, un chatbot que responde preguntas rutinarias tienen obligaciones mucho más ligeras, a menudo solo transparencia básica. La gobernanza es pesada donde hay mucho en juego y ligera donde no. El paso esencial es la clasificación honesta: no asumas que estás a salvo, y no entres en pánico pensando que todo está regulado.
- Qué es
IA cuyos errores no cambian de forma importante la vida de una persona; los deberes son sobre todo de transparencia.
- Ejemplo
Un asistente de escritura, recomendaciones de productos, un bot de preguntas frecuentes.
- Trampa
Es una conclusión tras una revisión honesta, no una suposición. "Solo somos un chatbot", hasta que el chatbot empieza a decidir por la gente.
- Relaciones
- Lo opuesto de High-risk AI; la base es Transparency.
No toda la IA se regula igual: las obligaciones crecen con el riesgo. Los usos de alto riesgo (contratación, crédito, salud, servicios esenciales) tienen deberes reales; la mayoría de la IA es más ligera. El primer trabajo es conocer honestamente tu nivel.
El EU AI Act es la regulación de IA de referencia, y su forma se está volviendo el estándar global. No necesitas el texto legal: necesitas su estructura, porque la mayor parte del mundo la sigue.
EU AI Act — cuatro niveles, reglas por nivel
Un código de edificación que prohíbe ciertas estructuras de plano, inspecciona la torre hasta el último perno y apenas toca el cobertizo del jardín.
El EU AI Act ordena la IA por riesgo y aplica reglas por nivel. Un pequeño conjunto de usos está prohibido de plano. Los sistemas de alto riesgo tienen obligaciones pesadas (documentación, supervisión, gestión de riesgos) antes de poder desplegarse. La mayoría del resto enfrenta deberes de transparencia (decir a la gente que trata con IA) o muy poco. Recuerda esta pirámide y entenderás la mayor parte de la ley.
- Qué es
El reglamento de la UE que ordena la IA en niveles de riesgo con reglas para cada uno.
- Cómo funciona
Prohibido → vetado. Alto riesgo → deberes antes del despliegue. Transparencia → avisar de que es IA. Mínimo → casi nada.
- Ejemplo
El scoring de crédito para clientes de la UE es de alto riesgo; un chatbot de soporte es sobre todo transparencia.
- Trampa
Se aplica si tu producto llega a usuarios en la UE, aunque tu empresa no esté en Europa.
- Relaciones
El Risk-based approach hecho ley; se extiende por el Brussels effect.
Prohibited Practices — prohibidas de plano
Hay cosas que no reciben permiso por mucho papeleo que presentes.
La cima de la pirámide son las prácticas prohibidas: IA manipuladora o abusiva y ciertos tipos de vigilancia. Aquí no hay camino de cumplimiento: ninguna documentación las hace legales. Simplemente no se construyen.
- Qué es
- Usos de IA que están prohibidos de plano.
- Ejemplo
- IA manipuladora o abusiva, ciertos tipos de vigilancia.
- Trampa
Aquí no hay nada que "ajustar": la única respuesta correcta es no hacerlo.
- Relaciones
- El nivel superior de la pirámide del EU AI Act.
Penalties — las multas son serias
Una multa lo bastante grande como para que una empresa no pueda encogerse de hombros: de las que hacen que el consejo se tome la regla en serio.
La ley tiene dientes de verdad: las multas por infracciones graves llegan a decenas de millones de euros o a un porcentaje significativo de la facturación anual global, lo que sea mayor. No son multas simbólicas: están calculadas para que el cumplimiento sea una prioridad real del negocio. Por eso la gobernanza de la IA pasó de ser deseable a una preocupación del consejo de administración.
- Qué es
Multas de hasta decenas de millones de euros o un porcentaje de la facturación global, lo que sea mayor.
- Ejemplo
Un sistema de alto riesgo que atiende a usuarios de la UE sin la documentación y la supervisión exigidas es un camino directo a una multa.
- Trampa
- Apostar contra el cumplimiento cuesta más que planificarlo.
- Relaciones
- Hace rentable, y no solo correcta, la Governance by design.
Brussels Effect — el estándar global
Un estándar fijado en un gran mercado que toda la industria adopta, porque es más fácil construir un producto conforme que uno distinto por región.
Como las anteriores reglas de privacidad de datos de la UE, el AI Act moldea la práctica mucho más allá de Europa. Es el efecto Bruselas: la regulación de un gran mercado se convierte en el estándar global de facto, porque las empresas construyen para la regla más estricta en lugar de mantener muchas versiones. Y muchas otras jurisdicciones escriben sus propias reglas de IA con una forma similar basada en riesgo. Así que, incluso fuera de la UE, la estructura de la ley es una buena guía de hacia dónde va la regulación de la IA.
- Qué es
Las reglas de un gran mercado se vuelven el estándar mundial, porque es más barato.
- Ejemplo
Las reglas de privacidad de datos de la UE cambiaron productos en todo el mundo; el AI Act está haciendo lo mismo.
- Trampa
"No estamos en la UE" es un argumento débil: la forma de las reglas llega de todos modos.
- Relaciones
Lleva el EU AI Act y el Risk-based approach por todo el mundo.
El EU AI Act ordena la IA por riesgo: unos pocos usos prohibidos, los de alto riesgo con obligaciones pesadas, la mayoría solo con transparencia. Las sanciones son serias, y su forma por niveles se está volviendo un referente global.
La mayoría de las obligaciones de alto riesgo se reducen a un requisito práctico: poder mostrar cómo funciona tu sistema y qué hizo. Eso es documentación y registro, y es mucho más barato incorporarlos desde el inicio que añadirlos después.
Technical Documentation — muestra cómo decide
Una receta escrita para que cualquiera vea exactamente cómo se hace el plato, y no un cocinero que se encoge de hombros y dice que simplemente sale bien.
Una obligación clave es la documentación: poder explicar cómo funciona tu sistema de IA: qué datos usa, cómo toma decisiones, cuáles son sus límites y riesgos. Reguladores y clientes esperan cada vez más que lo muestres, no solo que afirmes que el sistema está bien. Un sistema de alto riesgo que es una caja negra incluso para sus creadores es justo lo que apuntan las reglas. Escribes cómo funciona mientras lo construyes, y así conviertes "confía en nosotros" en "aquí está el registro".
- Qué es
Un relato escrito de los datos, la lógica de decisión, los límites y los riesgos del sistema.
- Ejemplo
Para un modelo que filtra CV: con qué CV se entrenó, qué señales usa, dónde falla, cómo se probó.
- Trampa
- Escribirla de memoria tras el lanzamiento es lento e inexacto.
- Relaciones
Va de la mano del Audit trail ("cómo decide" + "qué hizo"); la base de Explainability.
Audit Trail — registra lo que realmente hizo
Una caja negra de avión que captura cada acción, de modo que tras un incidente hay un registro exacto que estudiar en lugar de una conjetura.
Junto a la documentación llevas un audit trail: un registro de lo que el sistema realmente hizo: las decisiones que tomó, las entradas, las salidas, quién participó. Cuando algo sale mal, o un regulador o una persona afectada pregunta "por qué", el audit trail es la diferencia entre una respuesta responsable y un encogimiento de hombros. Es la misma disciplina de registro que la observabilidad, aquí al servicio de la responsabilidad.
- Qué es
Un registro de las decisiones de la IA: entradas, salidas, hora, qué personas participaron.
- Ejemplo
"09:31, CV #4814, rechazado, el revisor lo anuló", y la respuesta al candidato está lista.
- Trampa
- Sin el registro reconstruyes y adivinas en lugar de responder.
- Relaciones
Hermano de la observabilidad; ayuda a cerrar la brecha de responsabilidad y a mejorar el sistema.
Governance by Design — incorpórala, no la añadas después
Cablear un edificio según la norma mientras lo construyes es rutina; abrir las paredes terminadas para añadir cableado después es una pesadilla.
La lección práctica es la governance by design: incorporar la gobernanza desde el principio. Añadir documentación y registro de auditoría a un sistema diseñado sin ellos significa reconstruir cómo funciona a posteriori: lento, propenso a errores, a veces imposible. Los equipos que tratan "cómo mostraré cómo funciona esto y qué hizo" como un requisito de diseño, junto a la propia función, se llevan casi gratis la mayor parte del trabajo de cumplimiento.
- Qué es
Registros, documentos y supervisión son requisitos de diseño, no un añadido al final del proyecto.
- Ejemplo
El esquema tiene una tabla de decisiones del modelo desde el primer día; la plantilla de PR dice "actualiza la descripción del sistema".
- Trampa
El momento más barato para incorporar gobernanza es antes de necesitarla, no con el plazo de un regulador encima.
- Relaciones
- Así consigues Documentation y Audit trail casi gratis.
Las obligaciones de alto riesgo se reducen sobre todo a dos cosas: mostrar cómo decide el sistema (documentación) y registrar lo que hizo (audit trail). Incorpora ambas desde el inicio: añadir responsabilidad después es doloroso y a veces imposible.
La IA autónoma plantea una pregunta difícil que la ley aún está resolviendo: cuando la IA actúa por su cuenta y causa daño, ¿quién es responsable? No dejes que esa ambigüedad se convierta en tu defensa.
Accountability Gap — ¿quién responde por el daño?
Un carrito de reparto autónomo atropella a alguien. ¿Es el fabricante, el operador o quien lo envió? Cada uno señala a otro.
Los agentes de IA actúan por su cuenta: reservan, compran, deciden, envían. Eso abre una brecha de responsabilidad: cuando un sistema autónomo causa daño, no siempre está claro quién es responsable: el desarrollador del modelo, la empresa que lo desplegó o el usuario que lo soltó. La ley lo está trabajando activamente y no está resuelto. Para ti como creador, la propia ambigüedad es el riesgo. Quieres que la respuesta a "¿quién es responsable?" esté dentro de tu producto, antes de que te la respondan en una disputa.
- Qué es
La ambigüedad sobre quién es responsable cuando una IA autónoma causa daño.
- Ejemplo
Un agente compra lo que no debe y envía dinero a la parte equivocada: desarrollador, empresa y usuario se señalan entre sí.
- Trampa
La ley no ha decidido, así que tienes que decidir tú dentro de tu producto.
- Relaciones
- Se cierra con Human oversight y Audit trail.
Human Oversight — una persona sigue siendo responsable
Un piloto sigue siendo responsable del vuelo incluso con el piloto automático: la automatización ayuda, pero una persona con nombre responde por el resultado.
Un principio duradero, escrito en las reglas para sistemas de alto riesgo, es la supervisión humana: una persona sigue siendo responsable de las decisiones de IA de peso. La IA puede asistir, recomendar, incluso actuar, pero una persona u organización sigue respondiendo por el resultado y puede supervisar e intervenir. Es la cara de gobernanza del human-in-the-loop del diseño de producto: mantener a una persona realmente al mando no solo es más seguro: es cómo la responsabilidad sigue teniendo un lugar cuando el sistema se equivoca.
- Qué es
Una persona con nombre responde por las decisiones de la IA y puede intervenir.
- Ejemplo
El modelo propone rechazar una solicitud de préstamo; un oficial ve el motivo y puede anularlo.
- Trampa
La supervisión debe ser real: una persona que pulsa "OK" a todo no es supervisión.
- Relaciones
Cierra la brecha de responsabilidad; obligatoria para High-risk AI.
Blame Offloading — 'lo hizo la IA' no es una defensa
No puedes excusar un mal resultado culpando a la herramienta que elegiste usar. La responsabilidad de usarla bien sigue siendo tuya.
El error que evitar es el blame offloading: tratar la IA como una forma de quitarte la responsabilidad. "La IA tomó la decisión" no será una respuesta aceptable cuando un sistema autónomo cause daño: la responsabilidad recae en las personas y organizaciones que lo construyeron y desplegaron, por fácil que la tecnología haga mirar hacia otro lado. Así que diséñalo: sé explícito, dentro de tu producto, sobre dónde reside la responsabilidad humana, y no construyas un sistema donde todos puedan alegar con verosimilitud que no fue decisión suya.
- Qué es
- Intentar trasladar a la propia IA la responsabilidad por un daño.
- Ejemplo
Tras un rechazo injusto, la empresa dice "lo decidió el algoritmo", lo cual no le quita la responsabilidad.
- Cómo evitarlo
Un responsable explícito para cada decisión de IA de peso en el producto.
- Relaciones
El antipatrón de Human oversight; un síntoma de la brecha de responsabilidad.
La IA autónoma abre una brecha de responsabilidad que la ley aún está resolviendo. Mantén a una persona realmente responsable y capaz de intervenir, porque "lo hizo la IA" no será una defensa cuando un agente cause daño.
Más allá de las obligaciones legales hay una práctica más amplia de crear IA de forma responsable, y buena parte sirve a la vez como cumplimiento y como la confianza que hace triunfar a un producto.
Transparency — di a la gente que es IA
Una etiqueta que dice "respuesta automática", para que nadie crea por error que la atendió una persona. Honestidad sobre con qué están tratando.
Una expectativa básica en todas las regulaciones es la transparencia: la gente tiene derecho a saber cuándo interactúa con una IA y no con una persona, y cuándo el contenido lo generó una IA. Revelar que una función es IA no es solo una casilla de cumplimiento: es el encuadre honesto del diseño de producto que mantiene calibrados a los usuarios. Ocultar que algo es IA, o hacer pasar la salida de una IA por humana, erosiona la confianza y cada vez más infringe la ley. Aquí el buen diseño de producto y la buena gobernanza apuntan en la misma dirección.
- Qué es
Revelar que la gente habla con una IA y que el contenido lo hizo una IA.
- Ejemplo
Un chat de soporte con la insignia "asistente de IA"; un resumen de pedido etiquetado como "generado por IA".
- Trampa
Hacer pasar la IA por humana rompe la confianza, y cada vez más rompe la ley.
- Relaciones
La base de Lower-risk AI; parte del paquete de High-risk AI.
Bias & Fairness — cuidado con la injusticia
Un proceso de selección que favorece en silencio a un grupo sobre otro: no por diseño, sino por un patrón heredado. El daño es real aunque nadie lo quisiera.
Una preocupación central de la IA responsable es el sesgo y la equidad. Los modelos aprenden de datos que arrastran los sesgos existentes de la sociedad, así que la IA puede producir resultados injustos (en contratación, préstamos, en cualquier cosa que afecte a personas) sin que nadie lo pretenda. En los usos de alto riesgo esto es un asunto ético y legal a la vez, y no se arregla solo. Tienes que comprobarlo activamente: ¿el sistema trata con equidad a los distintos grupos, hay patrones discriminatorios? La equidad se mide y se gestiona, no se da por supuesta.
- Qué es
El riesgo de que la IA trate injustamente a grupos de personas, heredando sesgos de sus datos.
- Ejemplo
Un modelo de contratación entrenado con contrataciones pasadas aprueba a un grupo notablemente más que a otro.
- Cómo comprobarlo
Compara resultados entre grupos, busca patrones discriminatorios, repite con regularidad.
- Trampa
Si no se examina, un modelo automatiza en silencio justo la injusticia que nunca habrías elegido.
- Relaciones
Parte de la IA responsable; imprescindible para High-risk AI.
Explainability — razones donde las decisiones importan
Un oficial de préstamos que puede decirte por qué te rechazaron, frente a una máquina que solo dice "no".
Para las decisiones de peso importa la explicabilidad: poder dar una razón con sentido de un resultado en lugar de un veredicto opaco. Una persona afectada por una decisión de IA (rechazada para un préstamo, descartada de un empleo) tiene cada vez más un derecho a una explicación. Darla es justo y a menudo obligatorio. Se vincula con la documentación y la supervisión: un sistema que entiendes lo bastante bien para explicarlo es uno que puedes defender ante las personas a las que afecta.
- Qué es
- Poder dar una razón comprensible de una decisión concreta de la IA.
- Ejemplo
"Rechazado: ingresos por debajo del umbral, historial crediticio corto."
- Trampa
- Si no puedes explicar una decisión, tampoco puedes defenderla.
- Relaciones
Se apoya en Documentation; da a Human oversight algo sobre lo que actuar.
La IA responsable se solapa con el cumplimiento: di a la gente que trata con IA, comprueba activamente el sesgo y la injusticia, y sé capaz de explicar las decisiones de peso. La buena gobernanza y el buen diseño de producto apuntan en la misma dirección.
La gobernanza bien hecha no es burocracia añadida al final. Son unos pocos hábitos desde el principio que te permiten lanzar IA de peso que de verdad puedes respaldar.
Proportionate Governance — conoce tu nivel, construye a la medida
No pones el mismo candado a la puerta de un jardín que a la cámara de un banco. Evalúas lo que proteges y luego construyes la seguridad adecuada: ni más ni menos.
Toda la práctica empieza con una clasificación honesta: ¿este uso es de alto riesgo o más ligero? La mayoría de las funciones son de menor riesgo y necesitan transparencia básica. Las de alto riesgo se ganan el paquete completo: documentación, audit trail, supervisión, comprobaciones de equidad. Eso es la gobernanza proporcionada: no ahogues una función pequeña en teatro de cumplimiento, y no lances una de alto riesgo como si no lo fuera. Y para sistemas realmente de alto riesgo, trae experiencia de verdad: este curso te orienta, pero el cumplimiento real lo hacen profesionales.
- Qué es
- El esfuerzo de gobernanza ajustado al nivel de riesgo real.
- Ejemplo
Bot de preguntas frecuentes: una etiqueta "IA" y registros sensatos. Scoring de crédito: el paquete completo más abogados de cumplimiento.
- Trampa
Dos formas de fallar: teatro en lo pequeño, descuido en lo de alto riesgo.
- Relaciones
Aplica el Risk-based approach a tu producto; une todas las prácticas del curso.
Cómo encaja todo
Un rompecabezas: cada pieza significa poco por sí sola; juntas forman la imagen.
Los conceptos forman un solo sistema. El EU AI Act aplica un risk-based approach y divide la IA en alto riesgo y menor riesgo. El alto riesgo arrastra documentación, audit trail, supervisión humana, explicabilidad y comprobaciones de sesgo. El audit trail y la supervisión cierran la brecha de responsabilidad. Y la governance by design es cómo abaratas todo eso: incorporándolo desde el primer día.
- Qué nivel de riesgo: ¿alto riesgo porque moldea vidas, o más ligero?
- ¿Es transparente? ¿Sabe la gente que trata con IA?
- ¿Puedes documentar cómo funciona, y hay un audit trail de lo que hizo?
- ¿Hay una persona responsable y capaz de supervisar e intervenir?
- ¿Has comprobado el sesgo, y puedes explicar las decisiones de peso?
- En alto riesgo, ¿traes experiencia de verdad, sin depender de un resumen?
- Conoces tu nivel de riesgo y ajustas tu esfuerzo a él.
- Eres transparente en que es IA, y documentas cómo funciona.
- Llevas un audit trail y una persona responsable de las decisiones de peso.
- Compruebas el sesgo y sabes explicar las decisiones que importan.
- Incorporas la gobernanza desde el principio y traes expertos cuando es de alto riesgo.
Hoja de referencia: los 19 conceptos
Por qué gobernanza
- AI Governancegobernar la IA
Crear IA de forma responsable y poder respaldarla.
- Consequential AIIA que decide
IA que toma decisiones sobre la vida de las personas: la razón por la que sube el listón.
Niveles de riesgo
- Risk-based Approachniveles de riesgo
Las obligaciones crecen con el daño potencial.
- High-risk AIuso de alto riesgo
Contratación, crédito, educación, salud, aplicación de la ley, servicios esenciales: el paquete completo.
- Lower-risk AIriesgo limitado / mínimo
La mayoría de la IA; sobre todo necesita transparencia. Una conclusión tras una revisión honesta.
EU AI Act
- EU AI Actla regulación de IA de la UE
La pirámide: prohibido → alto riesgo → transparencia → casi nada.
- Prohibited Practicesriesgo inaceptable
IA manipuladora o abusiva, cierta vigilancia: no la construyas.
- Penaltiesmultas
Decenas de millones de euros o un porcentaje de la facturación global, lo que sea mayor.
- Brussels Effectefecto dominó regulatorio
Las reglas de un gran mercado se vuelven el estándar mundial.
Pruebas
- Technical Documentationdocumentación del sistema
Datos, lógica de decisión, límites y riesgos, por escrito.
- Audit Trailregistro de decisiones
Un registro de lo que el sistema realmente hizo.
- Governance by Designdesde el primer día
Incorpórala pronto: añadirla después es caro y a veces imposible.
Responsabilidad
- Accountability Gapbrecha de responsabilidad
No está claro quién responde por el daño de una IA autónoma.
- Human Oversighthuman-in-the-loop
Una persona con nombre es responsable y puede intervenir.
- Blame Offloading'lo hizo la IA'
Antipatrón: no puedes quitarte la culpa echándosela a la herramienta.
IA responsable
- Transparencydivulgación de IA
Di que es IA y etiqueta el contenido hecho por IA.
- Bias & Fairnesssesgo algorítmico
Compara resultados entre grupos: la equidad se mide, no se da por supuesta.
- Explainabilityderecho a una explicación
Da una razón comprensible de una decisión de peso.
Usarla bien
- Proportionate Governancegobernanza a la medida
Esfuerzo ajustado al nivel de riesgo; expertos para el alto riesgo.
La gobernanza de la IA es crear IA de la que puedas responder: conoce tu nivel de riesgo, sé transparente, documenta cómo decide, mantén a una persona responsable y comprueba la equidad, todo incorporado desde el principio, con experiencia real donde el riesgo es alto.