Az AlloyDB olyan proxy-modelleket kínál, amelyek helyi számítást a hálózaton keresztüli LLM-hívások helyett a adatbázisban.
SZERZŐ
Steef-Jan Wiggers
FORRÁS
InfoQ - Architecture & Design - News
DATE
READ
1 perc olvasás
A Google AlloyDB AI funkciókat GA-ként értékesít egy proxy-modellt használó architektúrával, amely egy könnyű helyi modellt képzi LLM kimenetek alapján, majd adatbázis sebességén futtatja a lekérdezéseket, anélkül, hogy …
A Google az AlloyDB AI funkciókat GA-ként értékesít egy proxy-modellezés architektúrával, amely egy könnyű helyi modellt tréol LLM kimenetekből, majd adatbázis sebességén futtatja a kérdéseket, anélkül, hogy külső hívásokra lenne szükség. A smart batching 2400-szeres teljesítménybeli javulást biztosít. A proxy-modell 100 000 sort per second-ban képes futtatni, de a benchmark-adatok csak a belső tesztelésekre vonatkoznak. Forrás: Steef-Jan Wiggers