Határok nélküli Lakehouse: Hozza el az AWS, Databricks és Snowflake adatait az AI ügynökeinek
ARCHITECT KIEMELT ELEMZÉS

Határok nélküli Lakehouse: Hozza el az AWS, Databricks és Snowflake adatait az AI ügynökeinek

SZERZŐ

Will Ochandarena

FORRÁS

Cloud Blog

DATE

READ

6 perc olvasás

A Google határok nélküli Lakehouse-a az adatokat AI akciómotorra alakítja. Az Apache Iceberg alapjaira épül, és egy REST katalógus révén összekapcsolja az on-prem, multi-cloud és SaaS adatokat, így a Gemini ügynökök …

A mai adat-tóház már nem csupán adatrepositoriumnak számít, hanem egyre inkább cselekvési rendszer, amely aktívan végrehajtja a feladatokat folyamatosan működő, autonóm AI ügynökök segítségével. A statikus jelentésekre való várakozás helyett ezek az ügynökök folyamatos, valós idejű érvelési hurkokat futtatnak, figyelemmel kísérve az ellátási láncokat, jelzve az anomáliákat és végrehajtva az üzleti munkafolyamatokat. Ennek a modellnek a skálázásához az AI ügynököknek hozzáférésre van szükségük az egész adatvagyonukhoz és a megfelelő kontextusra a helyes adatok kiválasztásához és azok időben történő felhasználásához. Azonban a hagyományos adatarchitektúrák, magas költségeikkel, fragmentált biztonságukkal és gyenge irányításukkal ezt nem teszik könnyűvé. Ma a Next Tokyo rendezvényen bemutatjuk hatékonyabbá tett határok nélküli Tóházunkat. Az nyílt Apache Iceberg-re építve összekapcsolja helyi, többfelhős operatív rendszereit és SaaS alkalmazásfelhőit, így aktiválhatja és lekérdezheti adatait bárhol is éljenek, anélkül, hogy azokat el kellene mozdítani. Több katalógus egyesítése Iceberg REST-en A határok nélküli Tóház lehetővé teszi a Gemini Enterprise és a párbeszéd alapú ügynökök számára, hogy elemezzék és cselekedjenek az adatokon, függetlenül azok fizikai helyétől. Az Iceberg REST katalógusra építve lehetővé teszi, hogy azonnal felfedezze és lekérdezze a távoli adatokat, megszüntetve a drága költségeket és késéseket az adatcsatornák építése során. Ez a kapcsolat katalógusfederációval valósul meg (jelenleg előzetes verzió) az AWS Glue, Databricks Unity és Snowflake Horizon számára, biztosítva a védett, kétirányú hozzáférést a BigQuery, az Apache Spark kezelt szolgáltatása és bármely Iceberg-kompatibilis motoron keresztül. Ez a nyílt megközelítés a alkalmazásrétegre is kiterjed, nulla másolási adatintegrációkkal a nagy SaaS alkalmazásokhoz, mint a SAP, Salesforce és Workday. A BigQuery most már közvetlenül lekérdezheti az élő alkalmazásadatokat ezeken a platformokon bonyolult ETL csatornák nélkül, miközben futtathatja a BigQuery AI motorjait saját adataikon is, hogy könnyen egyesíthesse a pénzügyi, HR és ügyféladatokat. Ezek a képességek három jelentős előnyt kínálnak: Nulla másolás, többfelhős analitika: Azonnal fedezze fel és kérdezze le a vállalati adatokat platformok között anélkül, hogy fájlokat kellene másolnia, lehetővé téve különböző adatcsapatok számára, hogy ugyanazt az Apache Iceberg adatmásolatot elemezzék. Kétirányú interoperabilitás: Olvasson és írjon a környezetek között, külső táblákat lekérdezve a BigQueryből vagy kezelt Spark-ból, majd megosztva a Google AI által gazdagított, származtatott adatokat partner rendszereknek további intézkedésekhez. Egységes irányítás és hozzáférés-ellenőrzés: Az automatikusan beépített irányítás biztosítja a megbízható kontextust és a Gemini betekintéseket az ügynökeinek. Biztonságos hozzáférés-ellenőrzés a táblaszinten, bármilyen platformról indított lekérdezések esetén. A határok nélküli Tóház kibővül a Google Cloud adatbázis-portfoliójával, amely lehetővé teszi a tranzakciós rendszerek integrálását az adat-tóházakkal: a Spanner Omni lehetővé teszi, hogy bármilyen Google Cloud-on kívüli környezetben futtassa a rendkívül skálázható adatbázist, a Lakehouse Federation pedig az AlloyDB-hez lehetővé teszi, hogy a tranzakciós rendszerek közvetlenül lekérdezhessék a raktárakat. A költséges adatmozgás megszüntetésével csapataid biztonságosan és hatékonyan elemezhetik az élő operatív és történeti adatokat valós időben együtt. Most a tóházad valóban határok nélküli. Hozd el a Google AI-t közvetlenül az AWS és Azure adataidhoz A fejlett analitikák futtatása vagy ML modellek képzése a felhők között eddig egy határmenti adóval járt: magas kimeneti díjak, hálózati késleltetés és törékeny ETL csatornák. A határok nélküli Tóház ezt megoldja a Keresztfelhős Összekapcsolásokkal. Ezek a magán, dedikált linkek következetes sávszélességet és alacsonyabb késleltetést biztosítanak, mint a nyilvános internet, a hagyományos határmenti kapcsolatok költségeinek töredékéért. A határok nélküli Tóház támogatja a nulla változó kimeneti költségeket, amikor az adataidat az AWS-ből érheted el. A Partner Keresztfelhős Összekapcsolás árazásával kiszámítható havi költségeket kapsz egy SLA által támogatott kapcsolattal. Ez a kezelt, magán kapcsolat egyszerűsíti az 1G-től 100G-ig történő biztosítást, egy fix díjas, előfizetés alapú modellben. Ezenkívül az intelligens keresztfelhős gyorsítótárazás a határok nélküli Tóházban biztonságosan tárolja a távoli adatdarabokat ideiglenesen a Google Cloud-ban, megszüntetve a költséges, ismétlődő átkonvertálásokat az ad-hoc vagy BI lekérdezésekhez. Ezek a képességek a BigQuery vektorizált feldolgozásával, a BigQuery AI funkcióival többmódbeli elemzéshez, a Spark Lightning Engine futási idejével és a skálázható metadat tárolással együtt skálázhatók petabyte adatra anélkül, hogy teljesítményt veszítsenek, lehetővé téve a következőket: AI és gépi tanulás a helyszínen: Alkalmazz erőteljes AI modelleket és a Gemini-t közvetlenül az AWS adatain és Azure-on migráció nélkül. A metadatok és a kontextus közvetlen beszerzése garantálja a magas pontosságú alapozást és a gyorsabb piacra kerülést. Kerüld el az adatmásolás költségeit és késedelmeit: Kérdezd le közvetlenül a más felhőkben tárolt élő adatokat és hozd az adataidat közelebb az ügynökeidhez. Egységes analitikai élmény: Biztosíts következetes, hardver-optimalizált teljesítményt a BigQuery, Spark vagy nyílt forráskódú motorok között, azzal, hogy a többfelhős számítást a Google Cloud infrastruktúrájára központosítod. Az ügynökök bizalmi szakadékának áthidalása univerzális kontextussal Az illúziók elkerülése érdekében az AI ügynököknek több szükséges nyers technikai metadatokra van szükségük; mély üzleti kontextusra van szükségük. A határok nélküli Tóház a Knowledge Catalog-ra támaszkodik, amely a mindig működő ügynöki kontextus motorunk az üzleti kontextus egységes nézetének megteremtésére a felhők között, anélkül, hogy fizikailag elmozdítaná a fájlokat. Ezt támogatandó, a határok nélküli Tóház futásidejű katalógusa automatikusan szinkronizálódik az AWS Glue, Databricks Unity Catalog és Snowflake Horizon katalógusokkal, mind előzetes verzióban. A Knowledge Catalog ezután összegyűjti ezeket a forrásokat, aggregálja, kinyeri és indexeli a metadatát, átlátható üzleti terminológiává és kereshető oszlop szintű származási nyilvántartássá fordítva a nyers sémákat. Amint a sémák változnak, a Knowledge Catalog azonnal frissíti üzleti jelentésüket, biztosítva: Alacsonyabb költségek és túlhasználat: Minimalizáld a drága, időigényes adat-migrációs csatornákat, miközben összevont képet kapsz az egész többfelhős vagyonodról. Megbízható AI döntések: Nyújtsd az ügynökeidnek egy világos szemantikai réteget és az származás nyomon követését, hogy gyorsan felfedezhessék, bízhassanak és pontosan értelmezhesse az adatokat. Automatizált irányítás: A biztonság közvetlenül a metadat rétegbe van beágyazva, segítve ezzel az AI ügynököknek, hogy szigorúan tiszteletben tartsák a megfelelőségi kereteket és hozzáférési engedélyeket. Ügynökök építése és skálázása a Gemini Enterprise segítségével Az open-source Google Cloud Data Agent Kit párosításával a Párbeszédanalitikai API-val testreszabott adatügynököket építhetsz és publikálhatsz, amelyek közvetlenül a határok nélküli Tóházon működnek a Gemini Enterprise-ba. Ez lehetővé teszi az üzleti felhasználók számára, hogy természetes nyelven kommunikáljanak az adatukkal. Az Adat Ügynök Készlet egy teljes vonalú ügynök építési képességek gyűjteménye — a fejlesztők a preferált IDE-jükben (mint például a VS Code) elérhetik — hogy előkódolt analitikai készségeket és Model Context Protocol (MCP) eszközöket csomagolják. A határok nélküli Tóház segítségével az ügynökeid az egész adatvagyonodon működnek és segítenek: Integrált adat- és ügynökök ökoszisztéma: Az alapvető MCP eszközök biztosítják a biztonságos, közvetlen kapcsolatokat a BigQuery, a Managed Spark és a Cloud Storage-kal, megszüntetve a bonyolult pipeline-kód írásának szükségességét vagy a méretes táblázatsémák másolását a LLM parancsba. Önkiszolgáló analitika: Az üzleti felhasználók megkerülik a statikus irányítópultokat, azonnal lekérdezve és vizualizálva a többfelhős adatokat egyszerű nyelven a Gemini Enterprise felületen. Megalapozott, nagy pontosságú ügynöki eredmények: Az ügynökök a Knowledge Catalog tetején futnak, biztosítva, hogy a természetes nyelvből SQL-re fordítások a válogatott üzleti sémákon alapuljanak, magas szintű biztonsággal és szigorúan szabályozva. A határok nélküli Tóház és az ügynökök gazdasági aspektusai A határok nélküli Tóház újradefiniálja a vállalati AI gazdaságát, míg összetett megtakarításokat kínál az adatátvitel, számítás és token-fogyasztás terén. A Keresztfelhős Összekapcsolások és a nulla másolási megosztási lehetőségek kihagyják a törékeny adatcsatornákat és a kiszámíthatatlan kimeneti díjakat, hogy a távoli adatállományokat egy fix, előre meghatározott áron kérdezd le. A Knowledge Catalog kiszűri és biztosítja a pontos, minimális üzleti kontextust minden egyes kérelemhez, megelőzve a token bloat-ot és megszüntetve a felesleges érvelési hurkokat. A BigQuery AI megakadályozza a szökő ügynöki költségeket beépített token-ellenőrzéseknél, amelyek lehetővé teszik, hogy előzetesen megbecsüld a lekérdezés előtti token-használatot, szigorúan betartsd a határokat és kihasználj egy optimalizált módot, amely automatikusan kisebb, precíziós modelleket használ. Valójában az ügyfelek a BigQuery költséghatékony, beépített AI funkcióinak használatával 230-szoros csökkentést tapasztalnak a tokenfogyasztásban. Következő lépések A jövő a cselekvés rendszereinek jászla, és a határok nélküli Tóház lehetővé teszi az AI ügynökeid számára, hogy kérdezzék, érvényesítsenek és cselekedjenek az adataidon, bárhol is éljenek — biztonságosan, azonnal és költséghatékonyan. Az építés megkezdéséhez nézd meg a hivatalos Google Cloud Tóház Útmutatót és felfedezd a határok nélküli Tóház építése codelabbrát. Az ügyfeleknek óradíjas díjat kell fizetniük az összekapcsolási szolgáltatásért.