search

Önmagában futó LLM-et Kubernetes-ben a vLLM segítségével

person Szerző Matt Kereczman, LINBIT
source Forrás: Cloud Native Computing Foundation
calendar_today
schedule 1 perc olvasás

Nagy nyelvi model (LLM) feladatok futtatása belsőleg egyike a több mint néhány mintának, amelyeket a csapatok a kezelt API szolgáltatások mellett alkalmaznak. A kezelt API szolgáltatások kényelmesek és számos feladathoz alkalmasak. A saját szervereken futtatás egy kiegészítő lehetőség, amely egyes…

Kapcsolódó cikkek

architect

A Cloudflare WAF védi a WordPress alkalmazásokat két magas szintű biztonsági réstól

A Cloudflare két WAF-szabályt alkalmazott, a WordPress biztonsági csapat által feltárt, magas súlyú hibákra válaszul. Az új szabályok a Cloudflare összes ügyfelét, akik a sérült WordPress verziókat használnak, védik, de az ügyfeleknek továbbra is azonnal frissíteni kell a javított verzióra.

architect

Eclipse Dataspace komponensek az AWS-en: Költséghatékony stratégiák

Amikor Eclipse Dataspace Components (EDC) csatlakozókat AWS-en telepítesz, az egyik első kihívás az szükséges infrastruktúra költségének előre megjósolása és irányítása. Ha nincsenek világos mérőszámok, nehéz tájékozott döntéseket hozni a feladatméret, a környezet konfigurációja és a hosszú távú befektetés tekintetében. Az “Eclipse Dataspace Components (EDC)” blogsor első része a alapokat foglalta magában

architect

Eclipse Dataspace-komponensek az AWS-en: A termelési környezetben alkalmazott architektúrák

Az Eclipse Dataspace Components (EDC) csatlakoztatók működtatása a termelési környezetben az AWS-en, átgondolt architektúra-döntéseket igényel az izoláció, a felügyelt szolgáltatások és a biztonsági réteg tekintetében. Az “Eclipse Dataspace Components (EDC)” sorozat első részében a dátum tér architektúrájának alapjait és az International Data Space Association (IDSA) szabványai szerint az EDC-t ismertük. Ha még nem ismeritek az EDC-t, akkor ajánljuk, hogy azzal kezdjenek.