AlloyDB lanza modelos proxy que reemplazan las llamadas a LLM con inferencia local dentro de la base de datos

Google lanzó las funciones AlloyDB AI con una arquitectura de modelo proxy que entrena un modelo ligero local a partir de los resultados de los LLM, y luego ejecuta consultas a la velocidad de la base de datos sin llamadas externas. El agrupamiento inteligente ofrece una mejora de rendimiento de 2,400 veces. El modelo proxy alcanza 100,000 filas por segundo en la previsualización, pero los números de referencia solo se aplican a ai.if en pruebas internas. Por Steef-Jan Wiggers