Tu ventana de contexto de un millón de tokens te está mintiendo

Llegó la ventana de contexto de un millón de tokens y todo el mundo sacó la conclusión obvia: la recuperación se acabó, los pipelines se acabaron, solo pega el codebase entero / todos los docs / el historial completo en el prompt y deja que el modelo lo resuelva. Es una historia seductora. También está equivocada de una forma que va a degradar tu producto en silencio mientras cada contador de tokens dice que estás bien.

La ventana no es uniforme, y el medio es un cementerio

El hallazgo incómodo, replicado una y otra vez, es que el modelo no atiende su contexto de forma pareja. Se apoya con fuerza en el inicio y el final, y el medio lo lee por encima — la U del "lost in the middle". El trabajo sobre "context rot" de Chroma encontró la precisión cayendo un 30%+ cuando el dato relevante está a mitad de ventana, con degradación medible tras apenas ~10k tokens — sin importar el número de un millón que hay en la caja. La propia guía de NVIDIA de 2026 es contundente al respecto: mantén tu prompt por debajo de un tercio de la ventana declarada.

Una ventana de contexto más grande no significa que el modelo lea más. Significa que tiene más espacio para ignorar justo lo que necesitabas que viera.

Piensa en lo que eso le hace a "solo mete todo dentro". Pones la instrucción crítica, o la única función relevante, o la cláusula que de verdad importa — en algún lugar del vasto medio de un volcado de 400k tokens. El contador de tokens está en verde. El modelo pasa de largo. Y nunca verás un error; verás una respuesta sutilmente peor que parece completamente plausible.

El contexto es un recurso que diseñas, no un balde que llenas

Esto replantea toda la habilidad de "gestión de contexto". La ventana no es almacenamiento — es presupuesto de atención, y la posición es parte del presupuesto. Gestionarla bien es ahora el verdadero oficio, y se ve así:

• Presupuesta la ventana. Trata "cuánta ventana estoy usando" como una restricción real, y mantén la carga en vivo bien por debajo del máximo declarado — un tercio es un buen valor por defecto. Las ventanas grandes son margen, no un objetivo.
• Enmarca lo que importa. Pon las instrucciones y el contexto de mayor valor al inicio y al final, donde el modelo de verdad mira. Nunca entierres la frase que sostiene todo en el medio.
• Menos, pero más correcto. Un contexto pequeño, relevante y bien colocado le gana a uno gigante donde la señal se ahoga. La recuperación no murió con el contexto largo — se volvió más valiosa, porque poner el 1% correcto frente al modelo le gana a volcar el 100% en el cementerio.
• Fíjate en qué más está alquilando espacio. Las definiciones de herramientas, el historial, el boilerplate — se comen la ventana antes de que tu tarea siquiera empiece. Cada token que no necesitabas está empujando tu contenido real hacia la parte que el modelo lee por encima.

En resumen

La ventana de contexto creció, el marketing dijo "solo mete todo dentro", y muchos productos empeoraron en silencio mientras los dashboards seguían en verde. El tamaño es margen, no comprensión. El modelo lee los extremos y lee el medio por encima, y ningún contador te avisará cuando tu respuesta se haya degradado.

Deja de llenar la ventana y empieza a diseñarla: presupuéstala, enmarca lo que importa, y mete el contexto correcto — no todo.