
Az AlloyDB olyan proxy-modelleket kínál, amelyek helyi számítást a hálózaton keresztüli LLM-hívások helyett a adatbázisban.
A Google AlloyDB AI funkciókat GA-ként értékesít egy proxy-modellt használó architektúrával, amely egy könnyű helyi modellt képzi LLM kimenetek alapján, majd adatbázis sebességén futtatja a lekérdezéseket, anélkül, hogy külső hívásokra lenne szükség. A smart batching 2400x-os teljesítményt javít. A proxy-modell 100 000 sort per second-ban képes elvégezni a tesztelés során, de a mérőszámok csak a belső tesztelésre vonatkoznak. Szerkesztette: Steef-Jan Wiggers










