Szerviztől az innovációig: A Checkout Apache Airflow-ra való migrálása egy kezelési szolgáltatára

Adatmérnöki csapatok gyakran “második szinten” operációs valósággal találkoznak, miután adatplatformot építettek: a platform fenntartás folyamatos munkája. A Checkout.com adatplatform csapatának a Self-hosted Apache Airflow környezet kezelése más nagyvállalatnál időt foglalt, amellyt a csapat más területen szeretett volna hasznosítani, mivel a szerverkezelés, a frissítések és az incidencik kezelése elterelt. Az Apache Airflow-hoz tartozó Managed Service-re (Gen 3) való migrációval, Google Cloud által biztosított teljesen kezelt Airflow szolgáltatással, a Checkout.com megváltoztatta a megbízhatóságát és költségstruktúráját. Így építették egy skálázhatóbb, költséghatékonyabb és robusztus adat alapalapot. A kezdő pont: önkezelésű Airflow. A migráció előtt a Checkout.com önkezelésű infrastruktúrákon működtette az Airflow-t. Bár működött, az alapközleti erőforrások fenntartása jelentős figyelmet igényelt. A frissítések, a frissítések és a szerverkezelés rendszeres megszakításokat okozott. Az egy év során származó operatív adatok a vállalat által a következő kihívásokról támaszkodnak: Az operatív gördülékenység csökkentése: A self-kezelésben a Checkout.com-nak stabilitási problémái voltak, különösen a nagy terhelési időszakokban. A komplex függések kezelése: A csomagok frissítése és a kompatibilitás biztosítása folyamatos, manuális küzdelm volt. A Managed Airflow (Gen 3) segítségével a vállalat egyszerűsíthette ezt, a képződések szintjén kezelve a függőségeket, így a rutin környezeti frissítések során a tökéletes kompatibilitás garantált. A DAG szinkronizációs idő: A DAG-ok szinkronizálása a szkeletonhoz körülbelül hat percig tart, amely befolyásolta a fejlesztési sebességet. Manuális folyamatok: A skálázás manuális beavatást igényelt, és új csapatok felvétele a dbt-hez manuálisan létrehozott titkok és változók létrehozását igényelt. A megoldás: Managed Service for Apache Airflow (Gen 3) A Checkout.com csapatának migrált a Managed Airflow-ra az infrastruktúra feladatának átadásához és a Google Cloud által biztosított, teljesen kezelt skálázhatóság kihasználásához. A következők azonnal és méréselhetőek voltak három területen: megbízhatóság, költség és fejlesztői sebesség. A dinamikus skálázás működésben: A korábbi rugalmas konténer szolgáltatás konfigurációban a csapat a csúcsteljesítményhez szükséges maximum számú munkatársat szánta. Ez azt jelentette, hogy a csúcsteljesítményt naponta kellett fizetni, függetlenül a tényleges használattól. A Managed Airflow beépített dinamikus skálázást kínál, amely megszűnt a manuális erőforráskezelést. Az környezet automatikusan beállítja a munkatársak számát, amely a munkaterhelésre reagál. Amikor a feladatok megnőnek, a rendszer skálázik; amikor csökkenek, akkor csökkenti, hogy megspórolja az erőforrásokat. Ugyanilyen módon, a fix előnyökre való áttérés a dinamikus skálázásra hozta meg a havi költségek körülbelül 30%-os csökkentését. A megbízhatóság és a DAG izolálása: A megnövekedett stabilitás a Checkout.com migrájának elsődleges hajtóereje, mivel a múltban egy problémás DAG hatással volt az egész környezetére. A Managed Airflow számos kritikus architektúrai javítást hozott: DAG izoláció: Minden DAG egy saját futtatási környezetben fut. Ha egy DAG hibáz vagy túl nagy erőforrást fogyaszt, akkor nem befolyásolja az egész környezet. Kezelés: A Google Cloud kezeli a frissítéseket és a frissítéseket a tervezett időszakokban, amely megszűnt a manuális frissítési menedzsmentet. Jobb láthatóság: Az integráció a Google Cloud Monitoring és Cloud Logging-gal világos láthatóságot biztosít a feladatok végrehajtásáról. Az mérnökök most önállóan hibákat lehet megoldani, anélkül, hogy a platform csapatra kellene irányítani. Gyorsabb fejlesztői munkafolyamatok: A migráció is javította a Checkout.com adatmérnökeinek napi munkáját. Gyorsabb telepítések: A DAG-okhoz a Cloud Storage használata lehetővé tette a gyakorlatilag azonnali szinkronizálást. Egyszerűbb bevonás: A csapatok többé nem igényelték a platform támogatását a változók létrehozásához. A modern dbt végrehajtás: A vállalat egyik legfontosabb sikere a dbt futtatásának módjának megváltoztatása volt. Korábban azmérnökeinek manuálisan kellett telepíteni és kezelni a támogatott minden dbt verziójához a komplex virtuális környezeteket. A Managed Airflow (Gen 3) használatával, amely konténeres dbt futtatást használ, a függési blokádok megszűntek. Ez biztosítja a teljes függési izolációt, így a csapatok szükség esetén bármely szükséges dbt modellt beállíthatják, minimális beállításokkal és manuális infrastruktúra-overhead nélkül. Környezeti frissítések: A vállalat többé nem kell újra telepítenie az egész Airflow környezetet, hogy új szerepeket hozzáadjon vagy Python csomagokat frissítsen. AI-alapú hibaelhárítás a Gemini Cloud Assist segítségével: A self-kezelésben, egy hibás feladat egy szomorúságos kereséshez vezetett a fragmentált naplóhoz és a mérőszámokhoz. A Managed Airflow segítségével, a Checkout.com közvetlenül a Google Cloud konzolban a Checkout.com a Gemini-hez indíthat egy vizsgálatot a Checkout.com Airflow DAG UI-ján. A Gemini nem csak általános hibaüzeneteket ad, hanem egy pontszámot generál, amely eleve értékel a különböző hipotéziseket, amelyek mind a támogató, mind az ellentmondó bizonyítékokat tartalmazza, amely drasztikusan csökkenti a visszaállítás időtartamát. Végső következtetés: A Checkout.com számára a Managed Airflow (Gen 3) átállás egy stratégiai áttérés volt, amely lehetővé tette a mérnökeinek, hogy a valós értékre összpontosítsanak. A Managed Service for Apache Airflow segítségével, jelentős javulást értünk az effekti, a skálázhatóság és a megbízhatóság terén. Az automatizált skálázás, a gyors telepítések és az izolált futtatási környezetek megváltoztatták a működést. Keisi Mancellari, Data Platform Engineer, Checkout.com A stabil, skálázható és költséghatékonyságú platform segítségével a Checkout.com most képes a dat pipeline-jának jövőjére összpontosítani, magabiztosan, hogy a koordinációs szinteje készen van a következőre. További információk a Managed Service for Apache Airflow-ról és arról, hogyan segíthet a dat platform Önnek. Különös köszönet a következő szereplőknek a poszt megírásában: Serge Bouschet és Keisi Mancellari