A Google Workspace folyamatos megközelítése az indirekt parancsok felhasználásának elleni védelemhez

Az Adam Gavish által vezetett Google GenAI Security Team a közvetlen prompt injekció (IPI) fenyegetést egyre inkább figyel. Ez a technika lehetővé teszi a támadók számára, hogy befolyásolják egy LLM viselkedését, beépítve rosszindulatú utasításokat az LLM által használt adatokba vagy eszközökbe. Ez akkor is lehetséges, ha a felhasználótól nincs közvetlen bemenet. Az IPI nem egy olyan technikai probléma, amelyet “meg kell oldani” és el kell hagyni. A kifinomult LLM-ek, amelyek egyre nagyobb mértékben alkalmaznak agentikus automatizálást, valamint a széles körű tartalom, egy rendkívül dinamikus és fejlődő környezetet hoznak létre a támadások számára. Ezért a Google egy kifinomult és átfogó megközelítést alkalmaz ezekhez a támadásokhoz. Folyamatosan fejlesztjük az LLM-ek ellenállását az IPI támadások ellen, és új védelmi képességekkel rendelkező AI alkalmazásokat indítunk. A legújabb IPI támadások ellen hatékonyan védekezni kritikus a miszióhoz, amely a Workspace-t a Gemini-vel biztonságosan megvédni. A “Mitigating prompt injection attacks with a layered defense strategy” című korábbi blogban áttekintettük a védőmechanizmusaink réteg szerkezeteit. Ebben a blogban részletesebben beszélünk a folyamatos megközelítésről, amelynek célja ezeknek a védőmechanizmusoknak a fejlesztése és új támadások kezelése. Új támadások felfedezése Proaktív módon felfedezve és katalogizálva az új támadás vektorokat, azonosíthatjuk a sebezhetőségeket, és a támadások előtt bevezetheti a megfelelő védelmi megoldásokat. Humán Red-Teaming A Humán Red-Teaming a támadás szimulációk segítségével felfedezheti a biztonsági és biztonsági hiányosságokat. Speciális csapatok végzik el a támadásokat, amelyek a valós felhasználói profilokat alapozzák, hogy kiaknázhassák az esetleges gyengeségeket, koordinálva a termékcsapatokkal, hogy megoldhassák a felismert problémákat. Automatikus Red-Teaming Az Automatikus Red-Teaming dinamikus, gépi tanuláson alapuló kereteken keresztül történik, amely teszteli a környezeteket. Algoritmus alapján generálva és iterálva az támadás payload-okat, képesek vagy a kifinomult fenyegetések viselkedését nagy mértékben szimulálni. Ez lehetővé teszi, hogy komplex támadás útvonalakat feltérkézzünk, és ellenőrizzük a biztonsági szabályaink hatékonyságát sokkal szélesebb körben, mint amennyire egy manuális teszt képes lenne. Google AI Vulnerability Rewards Program (VRP) A Google AI Vulnerability Rewards Program (VRP) egy kritikus eszköz, amely lehetővé teszi a Google-t és a külső biztonsági kutatók közötti együttműködést, akik új támadásokat fedezték fel, amelyek a IPI-t használják. Ebben a VRP-ben, elismerjük és jutalmazzuk a kutatókat, akik elvégezték a kutatást. Rendszeresen, élő hackerting eseményeket is szervezünk, ahol az meghívott kutatóknak hozzáférést biztosítunk a pre-release funkciókhoz, aktívan felfedezve a különleges hiányosságokat. Ez a partnerség lehetővé teszi a Google-t, hogy gyorsan ellenőrizze, reprodukálja és orvosolja a külső által felfedett problémákat. Közösen nyilvánított AI támadások A Google, a közösségi média, sajtóanyagok, blogok és más forrásokból származó nyílt forrású intelligencia adatok segítségével nyomon követi azokat az IPI támadásokat, amelyek nyilvánosan megjelentek. A megismert támadásokat, reprodukáljuk, katalogizáljuk, hogy biztosítsuk, hogy a termékeink nem érintett. Vulnerability Catalog Azon újabb, felfedett sebezhetőségeket átfogó elemzési folyamaton, amely a Google Trust, Security & Safety csapatok végzik el. Minden új sebezhetőséget reprodukáljuk, ellenőrizzük, hogy nincs-e megegyező, és átmerítjük az támadási technikát / hatás kategóriába, és a megfelelő tulajdonosokhoz adjuk. Az új támadás felfedezési források és a vulnerability catalog folyamat, segíti a Google-t abban, hogy az Ilső támadásokat hatékonyan tudja követni. Szimulált adatok generálása Miután felfedezzük, katalogizáljuk és katalogizáljuk az új támadásokat, a Simula segítségével, szimulált adatokat generálunk, hogy kiegészítsuk ezeket az új támadásokat. Ez a folyamat elengedhetetlen, mert lehetővé teszi a csapat számára, hogy kiegészítő támadás variánsokat fejlesszen, és biztosítsa a teljes körű fedezést, valamint új képzési és ellenőrzési adatgyűjteményeket, hogy megkönnyítsa az új képzési és ellenőrzési folyamatokat. Ez a gyorsabb munkafolyam, 75%-kal növelte a szimulált adat generálást, támogatva a nagy mértékű védelem modell értékelését és visszabetretezését, valamint az adatgyűjtemény frissítését, amely a védelem hatékonyságának kiszámításához és jelentéséhez szolgál. Folyamatos védelem fejlesztése Folyamatosan frissítve és fejlesztve a védelemmechanizmusainkat, képesek vagy egy szélesebb körű támadás technikákat kezelni, ami hatékonyan csökkenti az összes támadás felületét. Minden védelem típusának frissítése, különböző feladatokat igényel, a konfigurációs frissítetől a prompt-ok beállításáig, valamint a gépi tanulási modellek újra betretezésig. Deterministic Defenses Deterministic defenses, beleértve a felhasználói megerősítést, a URL-szűrés és a eszköz lánc szabályait, a felhasználást, hogy gyorsan reagáljon az új vagy új támadásokra, amik a beállítási frissítésekre épülnek. Ezek a védelem központi Policy Engine-ben vannak, ahol a konfigurációk a szabályok, mint például az alapvető eszköz hívások, az URL-szűrés és az eszköz lánc. Az azonnali veszélyekre, ez a konfiguráció alapú rendszer, egy gyors megoldást, mint például a regex kísérletezés, amely gyorsan reagálhat, és egy rugalmas védelmi réteget, amely gyorsabb, mint a hagyományos ML/LLM modell frissítési ciklusai. ML-alapú védelem Miután a szimulált adatokat, amely az új támadásokat kiegészíti, generáljuk, a következő lépés az, hogy a gépi tanulási védelemünket újra betretezik, hogy kezeljük ezeket az új támadásokat. A fent leírt szimulált adatokat, külön képzési és ellenőrzési halmokba osztjuk, hogy biztosítsuk a teljesítményt a távoli példákon. Ez biztosítja a ismételhetőséget, az adat konszisztenst és a fix képzés/tesztelés, valamint egy 확장 가능한 architektúrát, amely támogatja a jövőbeli fejlesztéseket. LLM-alapú védelem A LLM-alapú védelem, az új szimulált adatok segítségével, prompt-ok beállításával, amelyek célja az optimalizálni ezeket a prompt-okat, amelyek célja a megegyezett védelmi hatékonysági mérőszámokon. A cél, hogy a modellek, amelyek ellenállóak maradjanak a folyamatos támadások ellen. Gemini Model Hardening A rendszer szintű guardrails és alkalmazási szintű védelem mellett, a “model hardening” prioritást élvez, amely a Gemini modell belső képességének javítását jelenti, hogy azonosítsa és elkerülje a káros utasításokat az adatokban. A szimulált adatgyűjtemények és az új támadás mintákkal, képes vagy a Gemini modell belső képességét, hogy elkerülje a káros beépített parancsokat, miközben követi a felhasználó szándékolt kérését. A modell hardening folyamaton keresztül, a Gemini, a detektálni és elkerülni a beépített utasításokat. Ezáltal, a Gemini, a detektálni és elkerülni a beépített utasításokat. A védelem hatékonyság A valós világban való hatások méréséhez, szimulált támadásokat végzünk a Workspace funkciók ellen. Ez a folyamat, a fent leírt szimulált támadás adatok segítségével, egy robusztus, végig futtatható értékelést hoz létre. A szimulációt, több Workspace alkalmazáson, mint például a Gmail és Docs, használjuk, egy szabványosított eszközzel, hogy biztosítsuk a megbízható eredményeket. A védelem hatékonyságának pontos meghatározása, egy védelem javítás (pl. egy frissített ML modell vagy egy új LLM prompt optimalizálás) után, az azonosításához, az azonosításához, a védelem hatékonyságának méréséhez. A végig futtatható teszt, a “before and after” adatok szükségesek, hogy megbizhatóan ellenőrizhetjük a védelem hatékonyságát, és a folyamatos fejlesztést. A következő lépések A Google-nál, az AI biztonságra való elkötelezettség, az, hogy minden nap biztonságosabb, a közvetlen prompt injekció folyamatos fejlődésével. A közvetlen prompt injekció, egy komplex biztonsági kihívás, amely, egy réteg alapú védelem és folyamatosan való kezelés igénye. Ahhoz, hogy elérjük, a világ legjobb biztonsági kutatások, automatizált folyamatok, és a fejlett ML/LLM alapú modellek. Ez a robusztus és iteratív keret, segít abban, hogy nem csak abban, hogy a legújabb támadásokat, hanem abban, hogy egy erős, biztonságos felhasználói élményt biztosítsunk, a felhasználók és ügyfelek számára.