Desagregación de Prefill y Decode en LLMs: Resolviendo la Latencia a Escala
Descubra por qué colocalizar las fases de prefill y decode en una sola GPU degrada los SLOs en cargas RAG de contexto largo y cómo los sistemas distribuidos resuelven la latencia interactiva mediante separación física de hardware.