search

Három tanulság a nagyméretű modellek frissítésének felgyorsításában

person Szerző Ting Liu
source Forrás: Cloud Blog
calendar_today
schedule 3 perc olvasás

Migrálta termékeit egy modellből egy másikba? Az új AI modellekre való frissítés ritkán egyszerű. Az mérnöki csapatok számára, a modellek frissítése, legyen szó egy teljesen új modellre való migrázásról vagy egy újabb verzióra való frissítésről ugyanazon modellcsaládban, például egy korábbi Gemini verzióból a Gemini 3.5-be való váltásról – gyakran hosszú és költséges tesztelési, minőségbiztosítási és manuális értékelési folyamatot igényel. A legtöbb mérnöki csapat számára, egy új modell frissítése azt jelenti, hogy hóncokig manuális munkával kell ellenőrizni a teljesítményt. Az ipar gyors tempóban halad – 2023 óta hat fő modellfejlesztést jelentettünk, amelyek a mai napon a Gemini 3.5-hoz vezetnek. A Google Cloud, Applied ML csapatunk célja, hogy átalakító infrastruktúrát és szolgáltatásokat biztosítsunk, amelyek előnyösak a Google számára és a világos ügyfelei számára. Ennek keretében a csapatunk egy agentikus munkamódot hozott létre, amely a modellek frissítését óránként elvégezheti, nem pedig hónapokig. Ebben a blogban bemutatjuk a mi megközelítésünket és három tanulsagot, amelyeket alkalmazhattok, hogy felgyorsítsátok a saját alapmodelleitek frissítését a Gemini Enterprise Agent Platform segítségével – a mi új, átfogó platformunk, amely lehetővé teszi az agentumok építését, skálázását, irányítását és optimalizálását – valamint a Google Antigravityt, amely az AI-t a kódoláshoz és az agentumok irányításához használó fejlesztők számára a fő megoldás. Három tanulság egy rugalmas agentumrendszer építéséhez, hogy különböző csapat igényeire reagáljon, átgondoltuk a hagyományos automatizálást, és három kulcsfontosságú tanulságot szerzett: 1. Tanulás a gyakorlatban. Első lépésként a mérnökeink dolgoztak a termékcsapatokkal való együttműködésen, a valódi migrációs problémák megoldásán. Ez a gyakorlati munka segített nekünk az összetett követelmények azonosításában és az első útmutatásaink megalkotásában a promptok optimalizálására. 2. Figyelmeztetés a hagyományos automatizálás szigorán. Ezeket az útmutatásokat szabványos automatizált munkamóddá alakítottuk. Bár ez a változat néhány gyors sikert hozott, hamar rájöttünk, hogy a hagyományos automatizálás túl szigorú, hogy az különböző formátumokat és egyedi eseteit kezelhessen. 3. Átállás egy rugalmas agentumarchitektúrára. A valódi előrehaladás, amikor egy rugalmas agentumot építettünk. Az agentum az egyedi projektek igényeire reagálva, lehetővé tette a தரók elemzését és a promptok dinamikus tesztelését, nagy mértékben alkalmazkodva. Hogyan csökkentették a partnereink a migráció idejét, miközben javították a minőséget? A partnereink, akik videó fordítás és szinkronizálás szolgáltatásokat kínálnak, egy érdekes kihívással szembesültek: a munkamódszerükben a fordított szöveket úgy kellett írni, hogy a beszélt időpont a eredeti videó tempójának megfelelő legyen, anélkül, hogy megváltoztatnák a jelentését. A történelmi szempontból, ez a szigorú követelmény a finomhangolt modell fenntartását igényelte. Céljuk volt, hogy a legújabb, “out-of-the-box” alapmodellt migrálják, kizárólag a prompt-mérnöki segítségével. Ennek az agentikus keretrendszer segítségével, a csapatuk biztosította a ground-truth datasetet és a baseline promptot. Az rendszer önállóan optimalizálta a prompt minőségét, így a szolgáltatás a custom stack-tól eltérő lett. Hogy építsátok saját migrációs munkamódot az Agent Platform és a Google Antigravity segítségével? Ezek a tanulságok bármelyik mérnöki csapat számára alkalmazhatóak, amelyek felgyorsítani szeretnék a saját modellek frissítéseit. Ha az Ön szervezete küzdi magát a legújabb alapmodellek lépéselőnyének megszerzésével, akkor a manuális munkát intelligens automatizással való helyettesítés a migrációt egy agentikus munkamóddá kell kezelni. Ahhoz, hogy saját automatizált migrációs pipeline-t hozzon létre, kövesse ezeket a lépéseket: Hozzon létre Autoraters-t: Átálljon a manuális emberi értékelést a model-alapú Autoraters-re, hogy az új verzió minőségét nagyszerű mértékben és rövid idő alatt értékelhesse. Hozzon létre egy agentikus ciklust: A Gemini Enterprise Agent Platform-ban található Agent Development Kit segítségével hozhat létre egy agentumot. Automatikus irányítás: Ahhoz, hogy a folyamat még egyszerűbb legyen, használja az Antigravityt a rejtett kódolás és az agentum-irányítás automatizálására, és adjon hozzá olyan funkciókat, mint a veszteség jelentése vagy headroom jelentése. Azáltal, hogy elfordul az emberi, vonalról-vonala irányítástól, az szervezetek csökkenthetik a strukturalitást és magabiztosan léphetnek azer AI-ra.

Kapcsolódó cikkek

architect

A Cloudflare WAF védi a WordPress alkalmazásokat két magas szintű biztonsági réstól

A Cloudflare két WAF-szabályt alkalmazott, a WordPress biztonsági csapat által feltárt, magas súlyú hibákra válaszul. Az új szabályok a Cloudflare összes ügyfelét, akik a sérült WordPress verziókat használnak, védik, de az ügyfeleknek továbbra is azonnal frissíteni kell a javított verzióra.

architect

Eclipse Dataspace komponensek az AWS-en: Költséghatékony stratégiák

Amikor Eclipse Dataspace Components (EDC) csatlakozókat AWS-en telepítesz, az egyik első kihívás az szükséges infrastruktúra költségének előre megjósolása és irányítása. Ha nincsenek világos mérőszámok, nehéz tájékozott döntéseket hozni a feladatméret, a környezet konfigurációja és a hosszú távú befektetés tekintetében. Az “Eclipse Dataspace Components (EDC)” blogsor első része a alapokat foglalta magában

architect

Eclipse Dataspace-komponensek az AWS-en: A termelési környezetben alkalmazott architektúrák

Az Eclipse Dataspace Components (EDC) csatlakoztatók működtatása a termelési környezetben az AWS-en, átgondolt architektúra-döntéseket igényel az izoláció, a felügyelt szolgáltatások és a biztonsági réteg tekintetében. Az “Eclipse Dataspace Components (EDC)” sorozat első részében a dátum tér architektúrájának alapjait és az International Data Space Association (IDSA) szabványai szerint az EDC-t ismertük. Ha még nem ismeritek az EDC-t, akkor ajánljuk, hogy azzal kezdjenek.