Miért fontosabb a "goodput" mint a "throughput" az LLM-ek (nagy nyelvi model) használatában.

Amikor egy LLM-t futtató rendszert teszteljük, az első dolog, amellyre a legtöbben összpontosítanak, a teljesítmény: hogy a rendszer hány kérést tud másodpercenként elvégezni. Könnyű mérni, könnyű összehasonlítani, és…