A terv: Hogyan Önélhetővé teszi a Voicify az AI-alapú rendelést a felhasználók számára

Bemutatjuk a The Blueprint nevű új funkciót, ahol bemutatjuk, hogyan használják a Google Cloud ügyfelei a legújabb AI és felhőtechnológiákat alkalmazva egyedi és gyakori kihívásokra különböző iparágakban. Reméljük, hogy ez másokat is inspirál, akik innovatív megoldásokat keresnek. A Voicify 2018-ban alapították, és célja, hogy a hagyományos telefonhívást átalakítsa, így minden hívás gördülékeny és szórakoztatóvá válik. A kihívás: Amikor 2018-ban indítottuk a Voicify-t, a célunk az volt, hogy segítünk az szervezeteknek építeni megbízható, gyakorlatias és technológiai szempontból megalapozott hangvezérelt asszisztenseket bármilyen csatornon, beleértve a telefonokat és a chatet. Azonban a járvány megváltoztatta a dolgokat. A fókuszunkat elsősorban a éttermek és az egészségügyi szektorra helyeztük, ahol az akkor még jelentős kihívást jelentettek a hívások száma és a személyzet hiánya. Az éttermek potenciálisan 20%-át is elveszíthették a hívásaikat, és azzal szemben, hogy el is veszítettek rendeléseket, az egészségügyi szolgáltatók is küzdelmesek voltak a hívások számának kezelésével, miközben a 100%-os pontosságot kellett biztosítani a foglalási információk beépítésével egy irányítási rendszerbe. Megértettük, hogy a speciális, célzott AI asszisztensek a kulcs, amely lehetővé teszi a vállalatok számára, hogy nagyszabású mértékben is kiváló szolgáltatást nyújtsanak. Ahhoz, hogy sikeresek legyünk, négy fő kihívást kellett megoldanunk: Transzacional pontosság: A hangasszisztensünknek képesnek kellett lennie arra, hogy a bonyolult ügyfeli kéréseket az értékesítési és irányítói rendszerekkel 100%-os pontossággal szemben kezelje. Forgalomfigyelés: Az LLM-ünket úgy kellett konfigurálni, hogy az költségek alacsonyak legyenek és a ügyfélszolgálat is biztos maradjon, несмотря на common (és extreme) tráfikus szikákat, amelyek gyakran előfordulnak az éttermekben és az egészségügyi szolgáltatók körében. Latencia: Az asszisztenstől származó bármilyen késés az ügyfelekkel elavítja. Szükségünk van a leggyorsabb időre, hogy a felhasználó egy hang vagy szöveges kérést küldése után az AI-modell először generálja a kimenetét. Biztonság és megfelelés: Ahogy 2018-ban alapítottuk a cégünket, biztosítottuk, hogy megfelelünk a HIPAA, SOC2, ISO27001 és PCI-szabályozásoknak, valamint a biztonságunk a vállalati szintű legyen. Szükségünk van egy architektúrára és infrastruktúrára, amely minden lehetséges védelemmechanizmust alkalmaz, hogy biztosítsuk a adat integritását és biztonságát. A megoldás: A beszélgetési orchestrációs platformunk építi és validálja az éttermek rendeléseit a POS-rendszerrel, mielőtt elküldené őket, hogy biztosítsa a pontosságot. A Gemini Flash, amely a Gemini Enterprise Agent Platformon keresztül elérhető, nagymértékben csökkenti a latenciát, minimalizálva a felhasználói várakozást, és megakadályozza, hogy az ügyfelek elavítsák. Ezzel a megoldással körülbelül 25%-20%-kal csökkenthetjük a költségeket azzal szemben, hogy korábban más LLM-eket használtunk, valamint nagyobb megbízhatóságot is biztosít. Ahhoz, hogy a vállalkozást és a hívások számot is növeljük, és kezeljük a forgalom szikákat, átváltottunk a Google AI Studio-ról a Vertex AI-ra, amely a jelenlegi verzióját a Gemini Enterprise-ben kínálja. Ez az utóbbi a vállalmi garanciákat biztosította, amelyekre szükségünk volt a skálázáshoz, valamint a biztonságra és a megfelelésre, amelyre szükségünk volt az egészségügyi szektor ügyfeleink számára. A specifikus Gemini Enterprise Agent Platform funkciók segítenek abban, hogy az magas hívások számot kezelhessük anélkül, hogy az szolgáltatás megszakadna vagy a válaszok elavulnák. Ezek a vállalmi szintű szolgáltatások lehettek magasabb költségekkel, mint az AI Studio, de ezek voltak a kulcsfontosságú, hogy biztosítsuk a megbízható működést, és a prémium, pay-as-you-go funkciók megkönnyítették a skálázást. Például, mi egy kombinációt használtunk a provisionált átfolyáshoz és a pay-as-you-go funkciókhoz a Vertex AI-n, hogy biztosítsuk a mindenkor magas felhasználást a Thanksgiving-nap előtti napon, és nem tapasztaltunk semmilyen limitelési problémát. Az architektúra: A kimenet: A Gemini csökkenti a terhelést a belső programozási eszközökre, amelyek a kontextus kivonására és a menük építésére összpontosítanak. Megtapasztaljuk, hogy a teljesítmény és a megbízhatóság javult, a latencia csökkent, és a megbízhatóság is. A stabil, Gemini-alapú asszisztensek, amelyek lehetővé teszik a kliens bevonását. Most csak 1-2 napra van szükség, hogy egy éttermet fel tudjunk készíteni a tesztelásra, miután hozzáférést kaptunk a POS-rendszerhez, ami korábban 1-2 hetet igényelt. A Google által kínált skálázási és vállalmi szintű szolgáltatásokkal optimalizáltuk a kritikus időmet, a “first-token”-et, minimális várakozással, és a kényelmes felhasználási élménnyel. A provisionált átfolyás és a pay-as-you-go funkciók segítségével 100%-os rendelkezésre állást biztosítottunk, megakadályoztuk a hívások elavulását, és a limitelési problémákat, még a legmagasabb használati szinten. Most könnyen tudjuk kezelni az éttermek forgalmának szikákat. A technológiai szempontból, a konverzalista rendelési felvétel utáni lépésben, a proaktív segítésben, a konverzalista vagy a POS-tevékenységből származó kontextus használatában. A “typical Friday night”-hez tartozó rendelés a kedd estére a kedvenc japán éttermedben? Valószínűleg a Voicify hangasszisztense, amely proaktívan helyezi el a rendelésed.