architect
AlloyDB lanza modelos proxy que reemplazan las llamadas a LLM con inferencia local dentro de la base de datos
Google lanzó las funciones AlloyDB AI con una arquitectura de modelo proxy que entrena un modelo local ligero a partir de las salidas de LLM y luego ejecuta consultas a la velocidad de la base de datos sin llamadas externas. El agrupamiento inteligente proporciona una mejora de 2400 veces en el rendimiento. El modelo proxy alcanza 100.000 filas por segundo en la versión preliminar, pero los números de referencia solo se aplican a ai.if en las pruebas internas. Por Steef-Jan Wiggers
InfoQ - Architecture & Design - News
·
