Por qué el "goodput" es más importante que el "throughput" para el servicio de LLM.
Cuando evaluamos una configuración de LLM, el número que la mayoría de las veces se utiliza primero es el rendimiento: cuántas solicitudes por segundo puede procesar el sistema. Es fácil de medir, fácil de comparar y…











