La economía de tokens en IA le gana al culto al modelo más grande

La economía de tokens en IA: por qué el costo del ruteo importa más que el tamaño del modelo

El Agentic AI Summit 2026 se celebró el 1 y 2 de agosto en UC Berkeley, con una asistencia cercana a 5,000 personas —la cifra que la organización anticipaba antes del evento. WATR documentó de primera mano las citas, cifras y casos de estudio de más de 25 charlas de organizaciones como Amazon, OpenAI, Google DeepMind, NVIDIA, Databricks, Microsoft y MIT; el enlace al summit al final de este artículo confirma el evento, sus fechas y sus organizadores, no cada cita individual. Detrás de la variedad de temas —agentes que escriben código de producción, GraphRAG, chips diseñados junto con los modelos que correrán en ellos— emergió una sola tesis compartida por prácticamente todos los ponentes: la demanda de inferencia es, en términos prácticos, ilimitada, mientras que el cómputo disponible no lo es. Ganar en ese contexto no es una función de perseguir siempre el modelo más grande y más caro. Es una función de la economía de tokens: cuánto cuesta cada decisión que un sistema de IA produce, y qué tan bien se ruteó esa decisión al recurso correcto.

La tensión que define el momento: demanda ilimitada, cómputo finito

vLLM, uno de los proyectos de referencia para servir inferencia a escala, lo planteó sin ambigüedad en su presentación en el summit:

"El valor de un token supera por mucho el costo de generarlo — la demanda es, en la práctica, ilimitada. Simplemente no hay suficientes GPUs en el mundo para atenderla."

Esta afirmación es la clave para entender por qué el discurso del summit se movió, charla tras charla, de "qué tan grande es tu modelo" a "qué tan bien administras tu cómputo". Si la demanda no tiene techo pero la oferta de GPUs sí lo tiene, la ventaja competitiva deja de residir exclusivamente en el acceso al modelo de frontera. Reside en la capacidad de decidir, consulta por consulta, cuál es el recurso mínimo suficiente para producir el resultado correcto. Eso es, en esencia, la economía de tokens: tratar cada token generado como una unidad de costo que debe justificarse contra el valor que produce, no como un subproducto gratuito de tener acceso a un modelo potente.

Cuatro patrones para resolver la tensión

De las 185 láminas que WATR documentó de primera mano en las ~25 charlas del summit (rdi.berkeley.edu/events/agentic-ai-summit-2026), se pueden extraer cuatro patrones recurrentes que distintas organizaciones —con arquitecturas y objetivos de negocio muy distintos— convergieron en construir de forma independiente.

1. Portafolios de modelos con ruteo

Sistemas como Plano y Switchyard, este último presentado por NVIDIA, parten de una premisa simple: no toda consulta necesita el modelo más caro y capaz disponible. Un portafolio de modelos de distinto tamaño y costo, con una capa de ruteo que clasifica cada consulta antes de asignarla, permite reservar el modelo de frontera para el subconjunto de casos que realmente lo requiere. El resto —la mayoría, en la práctica— se resuelve con modelos más pequeños y más baratos sin pérdida de calidad percibida por el usuario final.

2. Patrones de cascada

El segundo patrón, mencionado explícitamente por AI21 como asignación de cómputo consciente del presupuesto, formaliza una secuencia: un borrador barato producido por un modelo ligero, seguido de una verificación con un modelo intermedio y, solo cuando la verificación lo exige, un refinamiento con el modelo de frontera. La cascada invierte la lógica por defecto de "usar siempre lo mejor disponible" y la reemplaza por "usar lo mejor disponible únicamente cuando el paso anterior no fue suficiente". El costo total cae porque la mayoría de las consultas nunca llegan al escalón más caro.

3. Co-diseño de silicio

AWS presentó cómo construye modelos y chips en tándem, con su chip Trainium como caso concreto. En lugar de tratar el hardware como un insumo fijo sobre el cual optimizar el software después, el diseño conjunto de modelo y silicio permite que las decisiones arquitectónicas del modelo —tamaño de las capas de atención, precisión numérica, patrones de memoria— se tomen sabiendo exactamente en qué correrán. El resultado es una reducción de costo por inferencia que ningún ajuste de software posterior puede igualar por sí solo.

4. Medir resultados, no tokens

El cuarto patrón es, quizás, el más disruptivo para la forma en que las empresas evalúan sus inversiones en IA. En el summit se discutieron métricas empresariales que desplazan por completo el foco de "cuántos tokens genera el sistema" a "qué resultado de negocio produce": costo por pull request (PR) de 18 dólares, una proporción de autonomía del 72% y tiempos de ciclo de menos de 24 horas. Estas métricas no describen el modelo; describen el sistema completo —modelo, ruteo, cascada, silicio— evaluado por su output económico.

La prueba está en producción, no en el laboratorio

Los cuatro patrones anteriores dejarían de ser interesantes si fueran solo diseño de arquitectura sin resultados verificables. El summit ofreció evidencia concreta de que ya operan a escala.

Across AI presentó un caso de conciliación de facturas que ilustra el punto con crudeza. El sistema pasó de menos del 40% de procesamiento directo (straight-through) confiable a 99.9% de decisiones correctas de pago o retención —671 de 672 casos evaluados—, mientras el costo por factura bajó de 5 a 1.50 dólares. La clave técnica fue comprimir un manual de reglas extenso en un grafo de razonamiento ejecutable, reutilizable en 70-80% de los casos entre distintos clientes. Across AI resumió el impacto agregado con una cifra directa, reportada por la propia empresa en su presentación y sin verificación financiera independiente por parte de WATR:

"$187 millones de dólares al mes en ahorros a escala." — cifra de Across AI, según su presentación en el summit.

Neo4j aportó evidencia revisada por pares sobre un componente distinto pero complementario: la calidad del razonamiento cuando los agentes usan GraphRAG en lugar de recuperación basada solo en vectores. Los resultados muestran agentes 80% más veraces, capaces de responder correctamente al doble de preguntas frente a la línea base vectorial. La síntesis que ofreció Neo4j fue precisa:

"Los vectores recuperan. Los grafos razonan."

Un tercer bloque de evidencia vino de AWS y NVIDIA, donde agentes ya no se limitan a generar código de prueba: agentes de AWS migran kernels al chip Trainium, agentes de NVIDIA preparan integraciones de TensorRT, y en laboratorios como Lambda aparecen commits coautoreados entre humano y IA —la firma "da-h and claude" fue visible como coautoría real en el repositorio. Esto no es una demostración de capacidad. Es infraestructura de producción enviada por agentes, con costo y calidad medidos como cualquier otro entregable de ingeniería.

Implicaciones para el negocio

La convergencia de estos casos —dominios tan distintos como conciliación financiera, bases de conocimiento y compiladores de kernels— hacia el mismo patrón de diseño no es casualidad. Sugiere que la pregunta correcta para cualquier organización que está invirtiendo en IA agéntica ya no es "¿qué modelo debo usar?". Es "¿cuál es el costo por resultado de negocio de mi sistema completo, y qué proporción de ese costo es evitable?".

Esto tiene consecuencias directas sobre cómo se evalúan proveedores, arquitecturas y presupuestos de IA:

• El costo por token deja de ser la métrica relevante en el contrato con el proveedor; el costo por decisión correcta, por PR mergeado o por factura conciliada sí lo es.
• Una arquitectura de un solo modelo —por potente que sea— es, con evidencia del summit, estructuralmente más cara que un portafolio con ruteo bien diseñado.
• El razonamiento sobre datos estructurados (grafos) compite favorablemente contra la recuperación vectorial pura en escenarios donde la precisión factual importa, no solo en velocidad de desarrollo.
• La autonomía de los agentes en tareas de ingeniería real ya es medible con métricas operativas estándar (proporción de autonomía, tiempo de ciclo), lo cual permite tratarlas como cualquier otro KPI de productividad, no como una promesa cualitativa.

Recomendaciones y próximos pasos

Para organizaciones que están diseñando o rediseñando su capa de IA agéntica, la evidencia del summit sugiere un conjunto concreto de acciones:

• Auditar el ruteo antes que el modelo. Antes de evaluar si migrar a un modelo más grande, medir qué porcentaje de las consultas actuales podría resolverse con un modelo más barato sin pérdida de calidad. Esa brecha suele ser mayor de lo esperado.
• Implementar cascadas donde el costo por error sea bajo. Los flujos de trabajo con una etapa de verificación barata antes del modelo de frontera reducen el gasto sin sacrificar la calidad final, siempre que la verificación esté bien calibrada.
• Definir métricas de resultado, no de consumo, desde el diseño del sistema. Costo por PR, proporción de autonomía y tiempo de ciclo son ejemplos replicables fuera del contexto de código: cualquier flujo de negocio puede definir su equivalente (costo por transacción resuelta, por caso conciliado, por ticket cerrado).
• Evaluar GraphRAG donde la precisión factual sea crítica. En dominios con estructura relacional explícita —finanzas, cumplimiento, cadenas de suministro— la evidencia presentada en el summit favorece el razonamiento sobre grafos frente a la recuperación vectorial aislada.
• Tratar el costo por inferencia como una variable de arquitectura, no solo de negociación comercial. El co-diseño de silicio muestra que las ganancias de costo más grandes vienen de decisiones tomadas antes de escribir una sola línea de prompt, no después.

El mensaje central del Agentic AI Summit 2026 no fue que los modelos más grandes dejen de importar. Fue que, con una demanda de tokens que no tiene techo previsible y un cómputo que sí lo tiene, la disciplina que separa a los sistemas rentables de los que no lo son es la economía de tokens: medir, rutear y diseñar para el costo por resultado, no para el tamaño del modelo.