Un agente en cada laptop — y el fin de la factura de tokens

Casi toda esta primavera fue un pánico por la factura de tokens — Uber quemando un año de presupuesto de IA en cuatro meses, Microsoft retirando Claude Code de sus propios ingenieros. Esta semana, NVIDIA mostró una respuesta estructural a eso, y llega este otoño: el agente se muda a tu laptop.

En Computex, NVIDIA presentó la RTX Spark — un superchip de Windows-on-Arm con una GPU Blackwell y 128GB de memoria unificada que puede correr un modelo de 120 mil millones de parámetros con hasta un millón de tokens de contexto, de forma local, para tareas de agente de larga duración. Llega este otoño en laptops de Dell, HP, Lenovo, Asus — y la propia Surface de Microsoft. Apple Silicon ya hace una versión más ligera hoy (una Mac corre un modelo de 30B a velocidad de chat). El agente está bajando de la nube y subiendo al escritorio.

Tres problemas, un solo movimiento

La IA local no es solo «una laptop más rápida». Responde, en silencio, tres de los mayores dolores de cabeza del año al mismo tiempo.

El medidor se detiene. La magia de la nube era que no pagabas nada por adelantado. Esa también era su maldición: pagas por token, para siempre — que es el pánico. Lo local cambia un chip de pago único por un costo marginal por llamada cercano a cero. Análisis independientes ubican el cruce alrededor de unos pocos millones de tokens al día: por debajo de eso, la nube es más barata; por encima de unos 5M de tokens al día, ser dueño del hardware rinde y el medidor se detiene. Para un agente de alto volumen, esa es la diferencia entre rentar y ser dueño.

Tus datos siguen siendo tuyos. Con inferencia local, los prompts y los documentos nunca salen del dispositivo. Eso no es un «sería bueno tenerlo» — es lo que vuelve a la inferencia en la nube una responsabilidad legal bajo GDPR, HIPAA y las reglas de residencia de datos para industrias enteras. Es también la respuesta más limpia a la IA que en silencio arma un perfil de ti: el modelo no puede enviar tus datos a ningún lado si tus datos nunca salen de la sala.

Es más rápido para lo ágil. En el dispositivo, el tiempo al primer token es 4 a 13× más rápido que una ida y vuelta a un centro de datos — 15–80ms frente a 180–600ms. El autocompletado y las acciones rápidas se sienten instantáneos en lugar de lentos.

La salvedad honesta: lo local no reemplaza al frontier

No quiero exagerar. Los modelos open-weight que corren localmente van detrás del frontier por unos 3–6 meses, asumes el costo del hardware y la operación, y el mejor cerebro disponible sigue estando en la nube. Así que esto no es «tirar la API». Es un nuevo y genuinamente bueno nivel (tier) — rápido, privado y gratis por llamada, pero no el modelo más inteligente del planeta.

Lo que lo vuelve el mismo movimiento que sigo haciendo: híbrido

Si «un modelo rápido, barato y privado para el trabajo fácil y el frontier para el trabajo difícil» te suena familiar, debería — es exactamente un modelo barato puede hacer el 90% del trabajo, con el modelo barato ahora corriendo en el dispositivo. Dirige el 90% aburrido, de alto volumen y sensible a la privacidad al modelo local donde es gratis y los datos se quedan en su sitio; manda el 10% genuinamente difícil al frontier en la nube. El consenso pragmático de la propia industria es el mismo: frontier para razonar, local para ejecutar.

Y solo funciona si te mantuviste intercambiable

Aquí está el truco, y es el mismo de la semana pasada: tu agente no debería saber ni importarle si el modelo vive en un centro de datos o en la laptop. Si construiste una costura agnóstica al modelo — hablarle a «un modelo», enrutar por nivel (tier) de tarea — entonces lo local es solo un nivel (tier) más al que apuntas con un valor de configuración, y obtienes inferencia más barata, más privada y más rápida para la mayor parte de tu tráfico desde el primer día. Si te soldaste a la API de un solo proveedor de nube, no puedes tomar este regalo en absoluto; vas a seguir pagando renta por cada token mientras la respuesta está ahí, en el escritorio.

El pánico por los tokens, el problema de privacidad y el problema de latencia parecían tres crisis separadas esta primavera. Este otoño reciben una respuesta compartida y parcial: mover el modelo a donde el usuario y los datos ya están. No reemplazará al frontier, y no es gratis — pero pone fin al medidor para el 90% que nunca necesitó al frontier de todos modos. Lo único entre tú y esa victoria es si construiste de manera que el modelo pueda moverse. Si lo hiciste, la laptop acaba de volverse otro nivel (tier). Si no, estás pagando renta por cada token mientras la respuesta está ahí, en tu escritorio.