Az AlloyDB olyan proxy-modelleket kínál, amelyek helyi számítást a hálózaton keresztüli LLM-hívások helyett a adatbázisban.
A Google az AlloyDB AI funkciókat GA-ként értékesít egy proxy-modellezés architektúrával, amely egy könnyű helyi modellt tréol LLM kimenetekből, majd adatbázis sebességén futtatja a kérdéseket, anélkül, hogy külső hívásokra lenne szükség. A smart batching 2400-szeres teljesítménybeli javulást biztosít. A proxy-modell 100 000 sort per second-ban képes futtatni, de a benchmark-adatok csak a belső tesztelésekre vonatkoznak. Forrás: Steef-Jan Wiggers
Kapcsolódó cikkek
A Cloudflare WAF védi a WordPress alkalmazásokat két magas szintű biztonsági réstól
A Cloudflare két WAF-szabályt alkalmazott, a WordPress biztonsági csapat által feltárt, magas súlyú hibákra válaszul. Az új szabályok a Cloudflare összes ügyfelét, akik a sérült WordPress verziókat használnak, védik, de az ügyfeleknek továbbra is azonnal frissíteni kell a javított verzióra.
Eclipse Dataspace komponensek az AWS-en: Költséghatékony stratégiák
Amikor Eclipse Dataspace Components (EDC) csatlakozókat AWS-en telepítesz, az egyik első kihívás az szükséges infrastruktúra költségének előre megjósolása és irányítása. Ha nincsenek világos mérőszámok, nehéz tájékozott döntéseket hozni a feladatméret, a környezet konfigurációja és a hosszú távú befektetés tekintetében. Az “Eclipse Dataspace Components (EDC)” blogsor első része a alapokat foglalta magában
Eclipse Dataspace-komponensek az AWS-en: A termelési környezetben alkalmazott architektúrák
Az Eclipse Dataspace Components (EDC) csatlakoztatók működtatása a termelési környezetben az AWS-en, átgondolt architektúra-döntéseket igényel az izoláció, a felügyelt szolgáltatások és a biztonsági réteg tekintetében. Az “Eclipse Dataspace Components (EDC)” sorozat első részében a dátum tér architektúrájának alapjait és az International Data Space Association (IDSA) szabványai szerint az EDC-t ismertük. Ha még nem ismeritek az EDC-t, akkor ajánljuk, hogy azzal kezdjenek.