# El riesgo nunca fue el modelo. Es el sistema que lo rodea. El organismo de seguridad de IA con más autoridad del mundo —más de cien expertos presididos por Yoshua Bengio, respaldados por treinta gobiernos— acaba de llegar a una conclusión que desinfla el discurso en silencio: los riesgos de IA más urgentes vienen menos de los modelos en sí que de los sistemas que las empresas construyen a su alrededor. No la superinteligencia desalineada de ciencia ficción; las integraciones, los permisos, los procesos de negocio por los que un pequeño error se propaga. Para quienes construyen es una buena noticia, porque significa que la seguridad de la IA es, en su mayor parte, un trabajo que de verdad puedes hacer. - **Author:** Fedor Chishchin - **Published:** 2026-06-10 - **Tags:** architecture, security - **Source:** https://fedorthinks.com/es/blog/the-risk-is-the-system-not-the-model --- El Informe Internacional de Seguridad de IA 2026 —más de cien expertos independientes [presididos por Yoshua Bengio y respaldados por más de treinta países, además de la UE, la OCDE y la ONU](https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026)— es prácticamente lo más oficial que existe en evaluación de riesgos de IA. Y su énfasis no está donde ha estado la conversación pública. Los riesgos más urgentes, subraya el análisis, vienen no tanto de los modelos en sí como de los [sistemas complejos que las organizaciones construyen a su alrededor](https://www.ibm.com/think/news/new-global-ai-safety-report-means-enterprise): lo que ocurre después del despliegue, cuando una IA dispara procesos de negocio, accede a datos sensibles, toma decisiones e interactúa con otros sistemas de maneras que sus operadores no entienden del todo. Léelo de nuevo, porque redirige en silencio toda la conversación sobre seguridad. El miedo cinematográfico es el modelo: desalineado, engañoso, demasiado listo para controlarlo. El organismo mejor posicionado para saberlo está apuntando a algo mucho menos dramático: la fontanería. Y ese giro cambia lo que significa «seguridad de la IA» para cualquiera que de verdad esté construyendo. ## Hemos estado teniendo la conversación equivocada sobre seguridad Casi toda la charla sobre seguridad de IA va sobre el cerebro: ¿mentirá el modelo?, ¿se negará?, ¿se volverá superinteligente? Esas preguntas importan al puñado de laboratorios que entrenan modelos de frontera. Para todos los demás son, en su mayoría, inaccionables: no puedes alinear un modelo que no entrenaste. Sobre lo que _sí_ puedes hacer algo es sobre todo lo que lo rodea, y ahí es exactamente donde el informe dice que se concentra el peligro. La investigación empresarial de esa misma semana lo plantea sin rodeos: el riesgo de la IA agéntica en 2026 es [ante todo un reto de integración y gobernanza, no un problema de alineación del modelo](https://www.jadasquad.com/blog/agentic-ai-risk-management). Los fallos que de verdad dañan a las personas no son el modelo pensando un mal pensamiento. Son un modelo que funciona correctamente, conectado a datos que no debería alcanzar, disparando un proceso que nadie revisó, con un error que [se propaga rápido por sistemas interconectados](https://www.jadasquad.com/blog/agentic-ai-risk-management) antes de que alguien se dé cuenta. Esto es lo mismo que vengo defendiendo desde el lado de la construcción: el modelo es lo de menos. Lo que decide si tu IA es segura es la arquitectura que la rodea: el anclaje, los permisos, los límites, las compuertas humanas. El informe de seguridad es ese argumento, ratificado por las personas cuyo trabajo es preocuparse por el riesgo de la IA a tiempo completo. ## La seguridad es un trabajo de sistemas, y es tuyo He aquí por qué el informe me resulta curiosamente tranquilizador. Si el riesgo de la IA viviera por completo dentro del modelo, serías un espectador: tu seguridad dependería de laboratorios que no controlas. Pero si el riesgo está sobre todo en el sistema que rodea al modelo, entonces la mayor parte es _tu_ sistema, y tienes verdadera capacidad de acción. El propio planteamiento del informe es multicapa: [entrenamiento, despliegue, monitoreo posterior al despliegue y resiliencia del ecosistema](https://www.mind-xo.com/insight/article/2026-ai-safety-report-defence-in-depth-enterprise-risk-management), con el llamado explícito a una «defensa en profundidad» en lugar de cualquier salvaguarda única. Las capas intermedias —despliegue y monitoreo— son de lleno terreno del constructor. En concreto, el trabajo a nivel de sistema que de verdad mueve tu riesgo: - **Mínimo privilegio, sin contemplaciones.** Mapea cada fuente de datos y cada acción que la IA puede alcanzar, y recórtalo al mínimo. Los incidentes más dañinos son un modelo haciendo exactamente lo que se le permitió con un acceso que jamás debió tener: el aburrido [problema de identidad y acceso](/blog/the-agent-breach-is-already-normal), no una mente rebelde. - **Contén el radio de impacto antes de conceder la capacidad.** Filtra entradas y salidas, pon una persona como compuerta ante acciones de consecuencias o irreversibles, y da por hecho que cualquier paso individual puede estar equivocado. Acota lo que un error puede tocar para que la propagación no convierta un fallo pequeño en uno sistémico. - **Monitorea y reporta, porque el riesgo aflora después del despliegue.** Todo el punto del informe es que el peligro vive tras el lanzamiento, en el sistema en marcha. Si [no puedes ver lo que tu IA realmente hizo](/blog/you-cant-run-what-you-cant-watch), no podrás atrapar el día en que falle: instruméntala y mantén un registro de incidentes. - **Apila las salvaguardas.** Ningún control único basta; el informe es enfático con las capas. Anclaje _y_ permisos _y_ compuertas humanas _y_ monitoreo, de modo que cuando una falle, otra aguante. Nada de eso es exótico. Es ingeniería de sistemas corriente y gobernanza de accesos, apuntada a un nuevo tipo de componente. ## La conclusión de fondo La historia que el mundo cuenta sobre el peligro de la IA va sobre el modelo: su mente, sus intenciones, su inteligencia. La autoridad de seguridad más creíble del planeta acaba de decir, en efecto: esa es la parte que en su mayoría no puedes tocar, y de todas formas no es de donde viene la mayor parte del daño. El daño está en el sistema —las conexiones, los permisos, los procesos— y esa parte es ingeniería, no alineación. Así que si construyes con IA, deja de delegar la «seguridad» en los laboratorios y en la ficha técnica del modelo. La seguridad de tu producto es el sistema que envolviste alrededor del modelo: qué puede alcanzar, qué puede hacer, qué lo detiene, y si te enterarías si algo saliera mal. Ese no es un problema que esperas a que lo resuelva alguien más listo. Es la arquitectura, y siempre fue tuya para hacerla bien.