ARCHITECT
ANÁLISIS DESTACADO
Por qué el "goodput" es más importante que el "throughput" para el servicio de LLM.
POR
Graziano Casto, Akamas
FUENTE
Cloud Native Computing Foundation
DATE
READ
1 min de lectura
Cuando evaluamos una configuración de LLM, el número que la mayoría de las veces se utiliza primero es el rendimiento: cuántas solicitudes por segundo puede procesar el sistema. Es fácil de medir, fácil de comparar …
Cuando evaluamos una configuración de LLM, el número que la mayoría de las veces se utiliza primero es el rendimiento: cuántas solicitudes por segundo puede procesar el sistema. Es fácil de medir, fácil de comparar y…