# Crear IA de la que puedas responder Curso exprés sobre gobernanza y regulación de la IA. 19 conceptos — Risk-based approach, High-risk AI, el EU AI Act, el efecto Bruselas, Audit trail, Human oversight, la brecha de responsabilidad, Transparency, Bias & fairness, Explainability y más — cada uno con su nombre en inglés, un diagrama y una ficha: qué es → ejemplo → trampa → relaciones. Una hoja de referencia de una página al final. No es asesoramiento legal. - **Author:** Fedor Chishchin - **Level:** intermediate - **Reading time:** ~30 minutos de lectura - **Published:** 2026-06-13 - **Source:** https://fedorthinks.com/es/learn/ai-governance-express --- ## 1. Por qué gobernanza ahora Primero, por qué existen las reglas. La IA toma decisiones que afectan la vida de las personas, y tanto la ley como la simple responsabilidad llegan rápido. Ignorarlo es un riesgo, no una estrategia. ### AI Governance — la disciplina > Un piloto es responsable del vuelo incluso con el piloto automático. La gobernanza de la IA es la misma idea para el software: el sistema ayuda, pero alguien siempre puede responder por él. La **gobernanza de la IA** es la disciplina de crear IA de forma responsable y poder respaldarla. En la práctica se reduce a cuatro hábitos: **conoce tu nivel de riesgo**, **documenta y registra**, **mantén a una persona responsable** y **sé transparente**. Casi todo este curso desarrolla esos cuatro. _Diagram: La gobernanza son cuatro apoyos alrededor de tu sistema: riesgo, documentos y registros, una persona responsable, transparencia._ #### AI Governance (gobernar la IA) - **Qué es:** La disciplina de crear IA de forma responsable y respaldarla. - **Cómo funciona:** Conoce tu nivel de riesgo → documenta y registra → nombra a una persona responsable → sé honesto en que es IA. - **Ejemplo:** Antes de lanzar un scoring de crédito, el equipo responde: qué nivel es, dónde está documentado cómo decide, dónde está el registro de decisiones, quién puede revertir una decisión. - **Trampa:** No es papeleo añadido al final: es sobre todo ingeniería poco glamorosa: registros, documentos, supervisión. - **Relaciones:** El paraguas sobre todos los demás conceptos del curso. ### Consequential AI — IA que decide > La diferencia entre una herramienta que sugiere una palabra y otra que decide quién recibe un préstamo. Cuando lo que está en juego toca la vida de las personas, el listón de la responsabilidad sube. Antes la IA autocompletaba texto. Ahora **filtra candidatos a un empleo, puntúa crédito, señala condiciones médicas y modera el discurso**. Cuando la IA pasa de _sugerir_ a _decidir_ cosas que afectan de verdad a las personas, el coste de equivocarse sube, y también la expectativa de que puedas explicar cómo funciona. Por eso la gobernanza importa ahora. _Diagram: A la izquierda la IA solo sugiere; a la derecha decide por una persona. Cuanto más a la derecha, más alto el listón._ #### Consequential AI (IA para decisiones que importan) - **Qué es:** IA que toma, o condiciona mucho, decisiones sobre personas. - **Ejemplo:** El autocompletado es una sugerencia. Filtrar CV o puntuar crédito es una decisión sobre la vida de alguien. - **Trampa:** La línea es fácil de pasar por alto: una función "solo recomienda", pero la gente sigue la recomendación a ciegas. - **Relaciones:** Estos sistemas suelen caer en **High-risk AI**; son justo el objetivo del **EU AI Act**. ### La ley nos alcanza, rápido > Aparecen nuevas leyes de tráfico cuando los coches están por todas partes y los accidentes tienen consecuencias. La regulación sigue a la tecnología hasta los lugares donde puede hacer daño. Los gobiernos regulan la IA en serio: el **EU AI Act** es el hito, y decenas de jurisdicciones lo siguen con sus propias reglas. La era de "muévete rápido, sin reglas" se cierra para la IA de consecuencias. Si tu producto llega a usuarios en lugares regulados o toma decisiones que importan a los reguladores, el cumplimiento es un requisito real con sanciones reales. Conocer la forma de estas reglas ya es parte del trabajo, igual que conocer la seguridad y las leyes de privacidad. ### Esto es orientación, no asesoramiento legal > Un mapa del terreno te ayuda a planear la ruta, pero para el cruce peligroso sigues llevando un guía. Este curso es una _orientación_ sobre cómo funciona la gobernanza de la IA, no asesoramiento legal. La meta es que domines los conceptos y los riesgos, para saber qué vigilar y **cuándo llamar a expertos de verdad**. Para un sistema de alto riesgo real, involucras a gente que se dedica al cumplimiento, y es mucho mejor conocer las obligaciones pronto que tarde. ### El mapa: 19 conceptos en seis grupos > Un mapa de metro: primero ves las líneas completas, luego recorres estación por estación. Los conceptos se agrupan en seis: **por qué** la gobernanza, **niveles de riesgo**, el **EU AI Act**, **pruebas** (documentos y registros), **responsabilidad** e **IA responsable**. El último capítulo lo convierte todo en práctica. Cada concepto recibe después el mismo trato: nombre en inglés, una imagen, un diagrama y una ficha: qué es → ejemplo → trampa → relaciones. _Diagram: Seis grupos de conceptos: los capítulos 1–6 los siguen; el capítulo 7 los convierte en práctica._ > **La pregunta de encuadre:** "¿Mi IA toma decisiones que afectan de verdad a las personas? Si es así, la gobernanza no es opcional, y 'nadie me ha parado todavía' no es un plan." > La IA ya toma decisiones de peso, y la ley y la responsabilidad nos alcanzan rápido. Gobernanza es crear IA que puedas respaldar. Aquí, una orientación y no asesoramiento legal, pero ya no es opcional. ## 2. Niveles de riesgo La idea central de la gobernanza: no toda la IA se trata igual. Cuánta supervisión debes depende de lo arriesgado que sea el uso. Así que el primer trabajo es conocer tu nivel. ### Risk-based Approach — las obligaciones crecen con el riesgo > Un kart y un avión de pasajeros son ambos vehículos, pero nadie los regula igual. Las reglas escalan con el daño que podría causar un fallo. Una regulación sensata ordena la IA por **riesgo**. Un filtro de spam y un sistema que decide quién obtiene libertad condicional son ambos IA, pero la supervisión que necesitan es de mundos distintos. Eso es el **risk tiering**: cuanto mayor el daño potencial a las personas, más obligaciones se aplican. Está en el centro del EU AI Act y de la mayoría de los marcos serios. Gran parte de la gobernanza es averiguar en qué nivel cae tu uso, porque eso decide lo que realmente debes. _Diagram: Cuanto más daño potencial, más larga la lista de obligaciones._ #### Risk-based Approach (niveles de riesgo) - **Qué es:** Las obligaciones crecen con el daño potencial a las personas. - **Ejemplo:** Filtro de spam: casi sin deberes. Decisión de libertad condicional: documentación, supervisión, gestión de riesgos. - **Trampa:** El nivel lo marca el _uso_, no la tecnología: el mismo modelo puede ser de bajo riesgo en un chatbot y de alto riesgo en contratación. - **Relaciones:** La base del **EU AI Act**; divide el mundo en **High-risk AI** y **Lower-risk AI**. ### High-risk AI — usos que moldean vidas > Las actividades con más reglas de seguridad son aquellas donde los errores hacen más daño: cirugía, aviación, finanzas. La IA sigue la misma lógica. Ciertos usos se clasifican como **de alto riesgo** porque un error afecta de forma importante la vida de alguien: **contratar y despedir, crédito y préstamos, educación, sanidad, aplicación de la ley, acceso a servicios esenciales**. La IA que toma o influye mucho en esas decisiones tiene obligaciones reales: documentación, supervisión humana, gestión de riesgos, poder mostrar a un regulador cómo funciona. Si tu sistema toca una de estas áreas, asume que es de alto riesgo hasta confirmar lo contrario. _Diagram: Seis áreas donde la IA moldea la vida de las personas. Si caes aquí, recibes el conjunto completo de obligaciones._ #### High-risk AI (uso de alto riesgo) - **Qué es:** IA cuyos errores afectan de forma importante la vida, los derechos o el acceso de una persona. - **Ejemplo:** Un modelo que filtra CV, o una puntuación que decide quién recibe un préstamo. - **Trampa:** Aquí cae el peso de la regulación: "ya lo arreglaremos después" no funciona. - **Cuándo se aplica:** Tocas contratación, crédito, educación, salud, aplicación de la ley o servicios esenciales: asume que sí. - **Relaciones:** Exige **Documentation**, **Audit trail**, **Human oversight**, **Explainability**. ### Lower-risk AI — la mayoría de la IA, pero sabe cuál > La mayoría de las herramientas cotidianas no necesitan una licencia especial; solo las realmente peligrosas. La habilidad es distinguir cuál es cuál antes de lanzar. La parte tranquilizadora: la mayoría de los usos de IA **no** son de alto riesgo. Un asistente de escritura, una función de recomendaciones, un chatbot que responde preguntas rutinarias tienen obligaciones mucho más ligeras, a menudo solo **transparencia básica**. La gobernanza es pesada donde hay mucho en juego y ligera donde no. El paso esencial es la **clasificación honesta**: no asumas que estás a salvo, y no entres en pánico pensando que todo está regulado. _Diagram: Una pregunta divide los usos: ¿esto moldea la vida de alguien? La mayoría de la IA va por la rama del 'no'._ #### Lower-risk AI (riesgo limitado / mínimo) - **Qué es:** IA cuyos errores no cambian de forma importante la vida de una persona; los deberes son sobre todo de transparencia. - **Ejemplo:** Un asistente de escritura, recomendaciones de productos, un bot de preguntas frecuentes. - **Trampa:** Es una conclusión tras una revisión honesta, no una suposición. "Solo somos un chatbot", hasta que el chatbot empieza a decidir por la gente. - **Relaciones:** Lo opuesto de **High-risk AI**; la base es **Transparency**. > **La pregunta del nivel:** "¿En qué nivel cae realmente este uso: alto riesgo porque moldea la vida de alguien, o menor? Eso decide cuánta gobernanza debo." > No toda la IA se regula igual: las obligaciones crecen con el riesgo. Los usos de alto riesgo (contratación, crédito, salud, servicios esenciales) tienen deberes reales; la mayoría de la IA es más ligera. El primer trabajo es conocer honestamente tu nivel. ## 3. El EU AI Act en breve El EU AI Act es la regulación de IA de referencia, y su forma se está volviendo el estándar global. No necesitas el texto legal: necesitas su estructura, porque la mayor parte del mundo la sigue. ### EU AI Act — cuatro niveles, reglas por nivel > Un código de edificación que prohíbe ciertas estructuras de plano, inspecciona la torre hasta el último perno y apenas toca el cobertizo del jardín. El **EU AI Act** ordena la IA por riesgo y aplica reglas por nivel. Un pequeño conjunto de usos está **prohibido** de plano. Los sistemas de **alto riesgo** tienen obligaciones pesadas (documentación, supervisión, gestión de riesgos) antes de poder desplegarse. La mayoría del resto enfrenta deberes de **transparencia** (decir a la gente que trata con IA) o muy poco. Recuerda esta pirámide y entenderás la mayor parte de la ley. _Diagram: La pirámide del EU AI Act: prohibiciones arriba, deberes pesados debajo, luego transparencia, y casi nada en la base._ #### EU AI Act (la regulación de IA de la UE) - **Qué es:** El reglamento de la UE que ordena la IA en niveles de riesgo con reglas para cada uno. - **Cómo funciona:** Prohibido → vetado. Alto riesgo → deberes antes del despliegue. Transparencia → avisar de que es IA. Mínimo → casi nada. - **Ejemplo:** El scoring de crédito para clientes de la UE es de alto riesgo; un chatbot de soporte es sobre todo transparencia. - **Trampa:** Se aplica si tu producto llega a usuarios en la UE, aunque tu empresa no esté en Europa. - **Relaciones:** El **Risk-based approach** hecho ley; se extiende por el **Brussels effect**. ### Prohibited Practices — prohibidas de plano > Hay cosas que no reciben permiso por mucho papeleo que presentes. La cima de la pirámide son las **prácticas prohibidas**: IA manipuladora o abusiva y ciertos tipos de vigilancia. Aquí no hay camino de cumplimiento: ninguna documentación las hace legales. Simplemente no se construyen. _Diagram: Las prácticas prohibidas no pasan bajo ninguna condición: no hay camino al mercado de la UE._ #### Prohibited Practices (riesgo inaceptable) - **Qué es:** Usos de IA que están prohibidos de plano. - **Ejemplo:** IA manipuladora o abusiva, ciertos tipos de vigilancia. - **Trampa:** Aquí no hay nada que "ajustar": la única respuesta correcta es no hacerlo. - **Relaciones:** El nivel superior de la pirámide del **EU AI Act**. ### Penalties — las multas son serias > Una multa lo bastante grande como para que una empresa no pueda encogerse de hombros: de las que hacen que el consejo se tome la regla en serio. La ley tiene dientes de verdad: **las multas por infracciones graves llegan a decenas de millones de euros o a un porcentaje significativo de la facturación anual global, lo que sea mayor**. No son multas simbólicas: están calculadas para que el cumplimiento sea una prioridad real del negocio. Por eso la gobernanza de la IA pasó de ser deseable a una preocupación del consejo de administración. _Diagram: La multa es el mayor de dos números, así que duele igual a una startup y a un gigante._ #### Penalties (multas del EU AI Act) - **Qué es:** Multas de hasta decenas de millones de euros o un porcentaje de la facturación global, lo que sea mayor. - **Ejemplo:** Un sistema de alto riesgo que atiende a usuarios de la UE sin la documentación y la supervisión exigidas es un camino directo a una multa. - **Trampa:** Apostar contra el cumplimiento cuesta más que planificarlo. - **Relaciones:** Hace rentable, y no solo correcta, la **Governance by design**. ### Brussels Effect — el estándar global > Un estándar fijado en un gran mercado que toda la industria adopta, porque es más fácil construir un producto conforme que uno distinto por región. Como las anteriores reglas de privacidad de datos de la UE, el AI Act moldea la práctica mucho más allá de Europa. Es el **efecto Bruselas**: la regulación de un gran mercado se convierte en el estándar global de facto, porque las empresas construyen para la regla más estricta en lugar de mantener muchas versiones. Y muchas otras jurisdicciones escriben sus propias reglas de IA con una forma similar basada en riesgo. Así que, incluso fuera de la UE, la estructura de la ley es una buena guía de hacia dónde va la regulación de la IA. _Diagram: Un producto se construye para el mercado más estricto, y el mismo producto llega a usuarios de todas partes._ #### Brussels Effect (efecto dominó regulatorio) - **Qué es:** Las reglas de un gran mercado se vuelven el estándar mundial, porque es más barato. - **Ejemplo:** Las reglas de privacidad de datos de la UE cambiaron productos en todo el mundo; el AI Act está haciendo lo mismo. - **Trampa:** "No estamos en la UE" es un argumento débil: la forma de las reglas llega de todos modos. - **Relaciones:** Lleva el **EU AI Act** y el **Risk-based approach** por todo el mundo. > **La pregunta de la ley:** "¿Dónde caería mi sistema en la pirámide del EU AI Act: prohibido, alto riesgo, solo transparencia? ¿Y trato esa estructura como la probable dirección global?" > El EU AI Act ordena la IA por riesgo: unos pocos usos prohibidos, los de alto riesgo con obligaciones pesadas, la mayoría solo con transparencia. Las sanciones son serias, y su forma por niveles se está volviendo un referente global. ## 4. Documentación y audit trails La mayoría de las obligaciones de alto riesgo se reducen a un requisito práctico: poder mostrar cómo funciona tu sistema y qué hizo. Eso es documentación y registro, y es mucho más barato incorporarlos desde el inicio que añadirlos después. ### Technical Documentation — muestra cómo decide > Una receta escrita para que cualquiera vea exactamente cómo se hace el plato, y no un cocinero que se encoge de hombros y dice que simplemente sale bien. Una obligación clave es la **documentación**: poder explicar cómo funciona tu sistema de IA: **qué datos usa, cómo toma decisiones, cuáles son sus límites y riesgos**. Reguladores y clientes esperan cada vez más que lo _muestres_, no solo que afirmes que el sistema está bien. Un sistema de alto riesgo que es una caja negra incluso para sus creadores es justo lo que apuntan las reglas. Escribes cómo funciona mientras lo construyes, y así conviertes "confía en nosotros" en "aquí está el registro". _Diagram: En lugar de 'confía en nosotros': un documento con cuatro respuestas: datos, lógica de decisión, límites, riesgos._ #### Technical Documentation (documentación del sistema) - **Qué es:** Un relato escrito de los datos, la lógica de decisión, los límites y los riesgos del sistema. - **Ejemplo:** Para un modelo que filtra CV: con qué CV se entrenó, qué señales usa, dónde falla, cómo se probó. - **Trampa:** Escribirla de memoria tras el lanzamiento es lento e inexacto. - **Relaciones:** Va de la mano del **Audit trail** ("cómo decide" + "qué hizo"); la base de **Explainability**. ### Audit Trail — registra lo que realmente hizo > Una caja negra de avión que captura cada acción, de modo que tras un incidente hay un registro exacto que estudiar en lugar de una conjetura. Junto a la documentación llevas un **audit trail**: un registro de lo que el sistema _realmente hizo_: **las decisiones que tomó, las entradas, las salidas, quién participó**. Cuando algo sale mal, o un regulador o una persona afectada pregunta "por qué", el audit trail es la diferencia entre una respuesta responsable y un encogimiento de hombros. Es la misma disciplina de registro que la observabilidad, aquí al servicio de la responsabilidad. _Diagram: La pregunta '¿por qué me rechazaron?' se vuelve una consulta al registro y una respuesta exacta._ #### Audit Trail (registro de decisiones) - **Qué es:** Un registro de las decisiones de la IA: entradas, salidas, hora, qué personas participaron. - **Ejemplo:** "09:31, CV #4814, rechazado, el revisor lo anuló", y la respuesta al candidato está lista. - **Trampa:** Sin el registro reconstruyes y adivinas en lugar de responder. - **Relaciones:** Hermano de la **observabilidad**; ayuda a cerrar la **brecha de responsabilidad** y a mejorar el sistema. ### Governance by Design — incorpórala, no la añadas después > Cablear un edificio según la norma mientras lo construyes es rutina; abrir las paredes terminadas para añadir cableado después es una pesadilla. La lección práctica es la **governance by design**: incorporar la gobernanza desde el principio. Añadir documentación y registro de auditoría a un sistema diseñado sin ellos significa reconstruir cómo funciona a posteriori: lento, propenso a errores, a veces imposible. Los equipos que tratan "cómo mostraré cómo funciona esto y qué hizo" como un requisito de diseño, junto a la propia función, se llevan casi gratis la mayor parte del trabajo de cumplimiento. _Diagram: Incorporarla desde el primer día es barato y rutinario; añadirla después es caro y a veces imposible._ #### Governance by Design (gobernanza desde el primer día) - **Qué es:** Registros, documentos y supervisión son requisitos de diseño, no un añadido al final del proyecto. - **Ejemplo:** El esquema tiene una tabla de decisiones del modelo desde el primer día; la plantilla de PR dice "actualiza la descripción del sistema". - **Trampa:** El momento más barato para incorporar gobernanza es antes de necesitarla, no con el plazo de un regulador encima. - **Relaciones:** Así consigues **Documentation** y **Audit trail** casi gratis. > **La pregunta de la documentación:** "Si un regulador o un usuario afectado preguntara cómo funciona este sistema y qué hizo en un caso concreto, ¿podría mostrárselo, o estaría reconstruyendo y adivinando?" > Las obligaciones de alto riesgo se reducen sobre todo a dos cosas: mostrar cómo decide el sistema (documentación) y registrar lo que hizo (audit trail). Incorpora ambas desde el inicio: añadir responsabilidad después es doloroso y a veces imposible. ## 5. La brecha de responsabilidad La IA autónoma plantea una pregunta difícil que la ley aún está resolviendo: cuando la IA actúa por su cuenta y causa daño, ¿quién es responsable? No dejes que esa ambigüedad se convierta en tu defensa. ### Accountability Gap — ¿quién responde por el daño? > Un carrito de reparto autónomo atropella a alguien. ¿Es el fabricante, el operador o quien lo envió? Cada uno señala a otro. Los agentes de IA actúan por su cuenta: reservan, compran, deciden, envían. Eso abre una **brecha de responsabilidad**: cuando un sistema autónomo causa daño, no siempre está claro quién es responsable: **el desarrollador del modelo, la empresa que lo desplegó o el usuario** que lo soltó. La ley lo está trabajando activamente y no está resuelto. Para ti como creador, la propia ambigüedad es el riesgo. Quieres que la respuesta a "¿quién es responsable?" esté dentro de tu producto, antes de que te la respondan en una disputa. _Diagram: Un agente causó daño, y tres partes se miran entre sí. Eso es la brecha de responsabilidad._ #### Accountability Gap (brecha de responsabilidad) - **Qué es:** La ambigüedad sobre quién es responsable cuando una IA autónoma causa daño. - **Ejemplo:** Un agente compra lo que no debe y envía dinero a la parte equivocada: desarrollador, empresa y usuario se señalan entre sí. - **Trampa:** La ley no ha decidido, así que tienes que decidir tú dentro de tu producto. - **Relaciones:** Se cierra con **Human oversight** y **Audit trail**. ### Human Oversight — una persona sigue siendo responsable > Un piloto sigue siendo responsable del vuelo incluso con el piloto automático: la automatización ayuda, pero una persona con nombre responde por el resultado. Un principio duradero, escrito en las reglas para sistemas de alto riesgo, es la **supervisión humana**: una persona sigue siendo responsable de las decisiones de IA de peso. La IA puede asistir, recomendar, incluso actuar, pero **una persona u organización sigue respondiendo** por el resultado y puede **supervisar e intervenir**. Es la cara de gobernanza del **human-in-the-loop** del diseño de producto: mantener a una persona realmente al mando no solo es más seguro: es cómo la responsabilidad sigue teniendo un lugar cuando el sistema se equivoca. _Diagram: La IA propone, una persona revisa y puede pararla, y la decisión tiene un responsable con nombre._ #### Human Oversight (human-in-the-loop) - **Qué es:** Una persona con nombre responde por las decisiones de la IA y puede intervenir. - **Ejemplo:** El modelo propone rechazar una solicitud de préstamo; un oficial ve el motivo y puede anularlo. - **Trampa:** La supervisión debe ser _real_: una persona que pulsa "OK" a todo no es supervisión. - **Relaciones:** Cierra la **brecha de responsabilidad**; obligatoria para **High-risk AI**. ### Blame Offloading — 'lo hizo la IA' no es una defensa > No puedes excusar un mal resultado culpando a la herramienta que elegiste usar. La responsabilidad de usarla bien sigue siendo tuya. El error que evitar es el **blame offloading**: tratar la IA como una forma de quitarte la responsabilidad. "La IA tomó la decisión" no será una respuesta aceptable cuando un sistema autónomo cause daño: la responsabilidad recae en las personas y organizaciones que lo **construyeron y desplegaron**, por fácil que la tecnología haga mirar hacia otro lado. Así que diséñalo: sé explícito, dentro de tu producto, sobre dónde reside la responsabilidad humana, y no construyas un sistema donde todos puedan alegar con verosimilitud que no fue decisión suya. _Diagram: 'Lo hizo la IA' no funciona: la responsabilidad sigue llegando a quien la construyó y desplegó._ #### Blame Offloading ('lo hizo la IA') - **Qué es:** Intentar trasladar a la propia IA la responsabilidad por un daño. - **Ejemplo:** Tras un rechazo injusto, la empresa dice "lo decidió el algoritmo", lo cual no le quita la responsabilidad. - **Cómo evitarlo:** Un responsable explícito para cada decisión de IA de peso en el producto. - **Relaciones:** El antipatrón de **Human oversight**; un síntoma de la **brecha de responsabilidad**. > **La pregunta de la responsabilidad:** "Cuando mi IA autónoma hace algo mal, ¿está claro quién es responsable y quién pudo intervenir, o he construido un sistema donde 'lo hizo la IA' es la única respuesta?" > La IA autónoma abre una brecha de responsabilidad que la ley aún está resolviendo. Mantén a una persona realmente responsable y capaz de intervenir, porque "lo hizo la IA" no será una defensa cuando un agente cause daño. ## 6. Transparencia e IA responsable Más allá de las obligaciones legales hay una práctica más amplia de crear IA de forma responsable, y buena parte sirve a la vez como cumplimiento y como la confianza que hace triunfar a un producto. ### Transparency — di a la gente que es IA > Una etiqueta que dice "respuesta automática", para que nadie crea por error que la atendió una persona. Honestidad sobre con qué están tratando. Una expectativa básica en todas las regulaciones es la **transparencia**: la gente tiene derecho a saber **cuándo interactúa con una IA y no con una persona**, y **cuándo el contenido lo generó una IA**. Revelar que una función es IA no es solo una casilla de cumplimiento: es el encuadre honesto del diseño de producto que mantiene calibrados a los usuarios. Ocultar que algo es IA, o hacer pasar la salida de una IA por humana, erosiona la confianza y cada vez más infringe la ley. Aquí el buen diseño de producto y la buena gobernanza apuntan en la misma dirección. _Diagram: Transparencia en la interfaz: una insignia 'asistente de IA' y una etiqueta en el contenido generado._ #### Transparency (divulgación de IA) - **Qué es:** Revelar que la gente habla con una IA y que el contenido lo hizo una IA. - **Ejemplo:** Un chat de soporte con la insignia "asistente de IA"; un resumen de pedido etiquetado como "generado por IA". - **Trampa:** Hacer pasar la IA por humana rompe la confianza, y cada vez más rompe la ley. - **Relaciones:** La base de **Lower-risk AI**; parte del paquete de **High-risk AI**. ### Bias & Fairness — cuidado con la injusticia > Un proceso de selección que favorece en silencio a un grupo sobre otro: no por diseño, sino por un patrón heredado. El daño es real aunque nadie lo quisiera. Una preocupación central de la **IA responsable** es el **sesgo y la equidad**. Los modelos aprenden de datos que arrastran los sesgos existentes de la sociedad, así que la IA puede producir resultados injustos (en contratación, préstamos, en cualquier cosa que afecte a personas) sin que nadie lo pretenda. En los usos de alto riesgo esto es un asunto ético y legal a la vez, y no se arregla solo. Tienes que **comprobarlo activamente**: ¿el sistema trata con equidad a los distintos grupos, hay patrones discriminatorios? La equidad se mide y se gestiona, no se da por supuesta. _Diagram: Los viejos sesgos de los datos atraviesan el modelo y se vuelven resultados distintos para grupos distintos._ #### Bias & Fairness (sesgo algorítmico) - **Qué es:** El riesgo de que la IA trate injustamente a grupos de personas, heredando sesgos de sus datos. - **Ejemplo:** Un modelo de contratación entrenado con contrataciones pasadas aprueba a un grupo notablemente más que a otro. - **Cómo comprobarlo:** Compara resultados entre grupos, busca patrones discriminatorios, repite con regularidad. - **Trampa:** Si no se examina, un modelo automatiza en silencio justo la injusticia que nunca habrías elegido. - **Relaciones:** Parte de la **IA responsable**; imprescindible para **High-risk AI**. ### Explainability — razones donde las decisiones importan > Un oficial de préstamos que puede decirte por qué te rechazaron, frente a una máquina que solo dice "no". Para las decisiones de peso importa la **explicabilidad**: poder dar una razón con sentido de un resultado en lugar de un veredicto opaco. Una persona afectada por una decisión de IA (rechazada para un préstamo, descartada de un empleo) tiene cada vez más un **derecho a una explicación**. Darla es justo y a menudo obligatorio. Se vincula con la documentación y la supervisión: un sistema que entiendes lo bastante bien para explicarlo es uno que puedes defender ante las personas a las que afecta. _Diagram: La misma solicitud: la caja negra dice 'no', el sistema explicable dice 'no, porque…'._ #### Explainability (derecho a una explicación) - **Qué es:** Poder dar una razón comprensible de una decisión concreta de la IA. - **Ejemplo:** "Rechazado: ingresos por debajo del umbral, historial crediticio corto." - **Trampa:** Si no puedes explicar una decisión, tampoco puedes defenderla. - **Relaciones:** Se apoya en **Documentation**; da a **Human oversight** algo sobre lo que actuar. > **La pregunta de la IA responsable:** "¿Soy transparente en que esto es IA, lo reviso activamente en busca de sesgos y puedo explicar sus decisiones de peso, o solo espero que nada de eso se vuelva un problema?" > La IA responsable se solapa con el cumplimiento: di a la gente que trata con IA, comprueba activamente el sesgo y la injusticia, y sé capaz de explicar las decisiones de peso. La buena gobernanza y el buen diseño de producto apuntan en la misma dirección. ## 7. Usarla bien La gobernanza bien hecha no es burocracia añadida al final. Son unos pocos hábitos desde el principio que te permiten lanzar IA de peso que de verdad puedes respaldar. ### Proportionate Governance — conoce tu nivel, construye a la medida > No pones el mismo candado a la puerta de un jardín que a la cámara de un banco. Evalúas lo que proteges y luego construyes la seguridad adecuada: ni más ni menos. Toda la práctica empieza con una clasificación honesta: ¿este uso es de alto riesgo o más ligero? La mayoría de las funciones son de menor riesgo y necesitan transparencia básica. Las de alto riesgo se ganan el paquete completo: documentación, audit trail, supervisión, comprobaciones de equidad. Eso es la **gobernanza proporcionada**: no ahogues una función pequeña en teatro de cumplimiento, y no lances una de alto riesgo como si no lo fuera. Y para sistemas realmente de alto riesgo, **trae experiencia de verdad**: este curso te orienta, pero el cumplimiento real lo hacen profesionales. _Diagram: A la izquierda, el kit ligero para una función corriente; a la derecha, el paquete completo para alto riesgo, con expertos incluidos._ #### Proportionate Governance (gobernanza a la medida) - **Qué es:** El esfuerzo de gobernanza ajustado al nivel de riesgo real. - **Ejemplo:** Bot de preguntas frecuentes: una etiqueta "IA" y registros sensatos. Scoring de crédito: el paquete completo más abogados de cumplimiento. - **Trampa:** Dos formas de fallar: teatro en lo pequeño, descuido en lo de alto riesgo. - **Relaciones:** Aplica el **Risk-based approach** a tu producto; une todas las prácticas del curso. ### Cómo encaja todo > Un rompecabezas: cada pieza significa poco por sí sola; juntas forman la imagen. Los conceptos forman un solo sistema. El **EU AI Act** aplica un **risk-based approach** y divide la IA en **alto riesgo** y **menor riesgo**. El alto riesgo arrastra **documentación, audit trail, supervisión humana, explicabilidad y comprobaciones de sesgo**. El audit trail y la supervisión **cierran la brecha de responsabilidad**. Y la **governance by design** es cómo abaratas todo eso: incorporándolo desde el primer día. _Diagram: La ley divide la IA por riesgo; el alto riesgo arrastra cinco deberes; dos de ellos cierran la brecha de responsabilidad._ #### Antes de lanzar IA de peso - **Qué nivel de riesgo**: ¿alto riesgo porque moldea vidas, o más ligero? - **¿Es transparente?** ¿Sabe la gente que trata con IA? - **¿Puedes documentar** cómo funciona, y hay un **audit trail** de lo que hizo? - **¿Hay una persona responsable** y capaz de supervisar e intervenir? - **¿Has comprobado el sesgo**, y puedes explicar las decisiones de peso? - **En alto riesgo, ¿traes experiencia de verdad**, sin depender de un resumen? #### Señales de que gobiernas bien la IA - **Conoces tu nivel de riesgo** y ajustas tu esfuerzo a él. - Eres **transparente** en que es IA, y **documentas** cómo funciona. - Llevas un **audit trail** y una **persona responsable** de las decisiones de peso. - **Compruebas el sesgo** y sabes **explicar** las decisiones que importan. - Incorporas la gobernanza **desde el principio** y traes **expertos** cuando es de alto riesgo. ## Hoja de referencia: los 19 conceptos ### Por qué gobernanza - **AI Governance** (gobernar la IA): Crear IA de forma responsable y poder respaldarla. - **Consequential AI** (IA que decide): IA que toma decisiones sobre la vida de las personas: la razón por la que sube el listón. ### Niveles de riesgo - **Risk-based Approach** (niveles de riesgo): Las obligaciones crecen con el daño potencial. - **High-risk AI** (uso de alto riesgo): Contratación, crédito, educación, salud, aplicación de la ley, servicios esenciales: el paquete completo. - **Lower-risk AI** (riesgo limitado / mínimo): La mayoría de la IA; sobre todo necesita transparencia. Una conclusión tras una revisión honesta. ### EU AI Act - **EU AI Act** (la regulación de IA de la UE): La pirámide: prohibido → alto riesgo → transparencia → casi nada. - **Prohibited Practices** (riesgo inaceptable): IA manipuladora o abusiva, cierta vigilancia: no la construyas. - **Penalties** (multas): Decenas de millones de euros o un porcentaje de la facturación global, lo que sea mayor. - **Brussels Effect** (efecto dominó regulatorio): Las reglas de un gran mercado se vuelven el estándar mundial. ### Pruebas - **Technical Documentation** (documentación del sistema): Datos, lógica de decisión, límites y riesgos, por escrito. - **Audit Trail** (registro de decisiones): Un registro de lo que el sistema realmente hizo. - **Governance by Design** (desde el primer día): Incorpórala pronto: añadirla después es caro y a veces imposible. ### Responsabilidad - **Accountability Gap** (brecha de responsabilidad): No está claro quién responde por el daño de una IA autónoma. - **Human Oversight** (human-in-the-loop): Una persona con nombre es responsable y puede intervenir. - **Blame Offloading** ('lo hizo la IA'): Antipatrón: no puedes quitarte la culpa echándosela a la herramienta. ### IA responsable - **Transparency** (divulgación de IA): Di que es IA y etiqueta el contenido hecho por IA. - **Bias & Fairness** (sesgo algorítmico): Compara resultados entre grupos: la equidad se mide, no se da por supuesta. - **Explainability** (derecho a una explicación): Da una razón comprensible de una decisión de peso. ### Usarla bien - **Proportionate Governance** (gobernanza a la medida): Esfuerzo ajustado al nivel de riesgo; expertos para el alto riesgo. > La gobernanza de la IA es crear IA de la que puedas responder: conoce tu nivel de riesgo, sé transparente, documenta cómo decide, mantén a una persona responsable y comprueba la equidad, todo incorporado desde el principio, con experiencia real donde el riesgo es alto. Fin del curso exprés · 7 capítulos · 19 conceptos · no es asesoramiento legal Lo que sigue es la práctica: toma una función de IA y clasifica con honestidad su nivel de riesgo: ¿moldea la vida de alguien? Luego pásala por la lista de alto riesgo: ¿podrías documentar cómo funciona, mostrar qué hizo, nombrar quién es responsable, explicar una decisión? Cada "no" es una brecha que cerrar antes de que importe. La gobernanza es en su mayor parte ingeniería poco glamorosa y factible: registro, documentación, supervisión. Pero ten presente una idea por encima de las demás: como la IA toma decisiones que afectan a las personas, tienes que poder responder por ello. Este curso te orienta; no sustituye a un experto.