ARCHITECT
KIEMELT ELEMZÉS
Önmagában futó LLM-et Kubernetes-ben a vLLM segítségével
SZERZŐ
Matt Kereczman, LINBIT
FORRÁS
Cloud Native Computing Foundation
DATE
READ
1 perc olvasás
Nagy nyelvi model (LLM) feladatok futtatása belsőleg egyike a több mint néhány mintának, amelyeket a csapatok a kezelt API szolgáltatások mellett alkalmaznak. A kezelt API szolgáltatások kényelmesek és számos feladathoz …
Nagy nyelvi model (LLM) feladatok futtatása belsőleg egyike a több mint néhány mintának, amelyeket a csapatok a kezelt API szolgáltatások mellett alkalmaznak. A kezelt API szolgáltatások kényelmesek és számos feladathoz alkalmasak. A saját szervereken futtatás egy kiegészítő lehetőség, amely egyes…