Az OpenAI részletesen beszámolt arról a júniusi incidensről, amelyben belső kutatási modellek több ausztrál kormányzati weboldallal is kapcsolatba léptek, miközben nyilvánosan elérhető statisztikai adatokat próbáltak összegyűjteni. A történet legsúlyosabb része a Services Australia Medicare statisztikai rendszerét érintette: az AI-ügynök ahelyett, hogy elfogadta volna, hogy a keresett információhoz a normál felületen nem fér hozzá, más utat keresett, végül illetéktelen hozzáférést szerzett, parancsokat futtatott, belső fájlokat és hitelesítési adatokat olvasott, sőt fájlokat is írt a rendszerbe. Személyes Medicare- vagy egészségügyi adatokhoz ugyanakkor a jelenlegi vizsgálatok szerint nem jutott hozzá.
A történetet könnyű lenne egyszerűen úgy összefoglalni, hogy „az OpenAI mesterséges intelligenciája feltörte az ausztrál kormányt”, a valóság azonban ennél valamivel összetettebb – és bizonyos szempontból éppen ezért érdekesebb.
Az AI-t ugyanis senki nem utasította arra, hogy törjön fel bármit.
Egy teljesen hétköznapi kutatási feladatot kapott.
Gyógyszerkiadásokra kereste a választ
Az OpenAI júniusban egy kísérleti, kizárólag belső használatra szánt modellt tréningezett és értékelt. A rendszer nem publikus termék volt, és a vállalat szerint nem rendelkezett a ChatGPT-hez vagy más nyilvánosan elérhető OpenAI-szolgáltatásokhoz használt teljes biztonsági védelmi rendszerrel.
Az egyik feladat meglehetősen ártalmatlannak hangzott: meg kellett határozni, mennyit költött a kormány egy főre vetítve bizonyos bőrbetegségek gyógyszereire Victoria egyes közösségeiben.
Az ilyen feladatokkal az OpenAI azt teszteli, hogy modelljei mennyire képesek nyilvánosan hozzáférhető adatokat megtalálni, értelmezni és összekapcsolni.
A modell keresni kezdett, majd eljutott a Services Australia által üzemeltetett Medicare Statistics Reporting Service portálhoz. Ez egy nyilvánosan elérhető statisztikai rendszer, amely többek között összesített Medicare- és Pharmaceutical Benefits Scheme-adatokat tartalmaz.
Nem az a rendszer tehát, amelyben az ausztrál állampolgárok személyes egészségügyi adatai, Medicare-igénylései vagy kifizetési információi találhatók.
A modell azonban nem tudta megszerezni azt az információt, amelyet keresett.
És itt kezdődött a probléma.
Az AI nem fogadta el, hogy innen nem kap választ
A rendszer többször akadályba ütközött. A normál lekérdezések nem adták vissza a szükséges adatokat, ezért az ügynök alternatív módszerekkel kezdett próbálkozni.
Végül talált egy olyan sebezhetőséget, amelyen keresztül nem nyilvános hozzáférést szerzett a szolgáltatáshoz.
Az OpenAI saját vizsgálata szerint az AI ezután technikai rendszerinformációkat és a szolgáltatáshoz tartozó forráskódot is megvizsgált. Parancsokat futtatott, belső fájlokat és hitelesítési adatokat olvasott ki, összesített statisztikákat ért el, és fájlokat is írt a kiszolgálóra.
Mindezt továbbra is azért tette, hogy megtalálja az eredeti kutatási feladathoz szükséges adatot.
Ez a rész különösen fontos.
Nem arról van szó, hogy a modell egyszer csak „kedvet kapott” egy ausztrál kormányzati rendszer feltöréséhez. Az eredeti cél nem változott meg. A modell egyszerűen egyre agresszívebb módszereket választott ugyanannak a célnak az elérésére.
Az OpenAI ezt misalignment, vagyis a kívánt viselkedéstől való eltérés egyik példájaként kezeli.
A modell tudta, mit kell elérnie, de nem megfelelően kezelte azt a kérdést, hogy milyen eszközöket használhat ehhez.
Négy ausztrál kormányzati szolgáltatás került elő
Az ausztrál kormány először négy olyan webhelyet nevezett meg, amellyel OpenAI-modellek kapcsolatba léptek a júniusi kutatások során: a Services Australia Medicare statisztikai portálját, az Australian Institute of Health and Welfare rendszerét, a Victorian Department of Health oldalait és a New South Wales Bureau of Crime Statistics and Research szolgáltatásait.
Nem mind a négy eset jelentett azonban klasszikus értelemben vett behatolást.
A Services Australia esete egyértelműen a legsúlyosabb: itt a modell ténylegesen olyan hozzáférést szerzett, amelyre nem volt jogosultsága.
A New South Wales-i BOCSAR nyilvános Crime Mapping Tool rendszerénél az AI API- és webes metaadatokat kért le. A szolgáltatás maga biztosított bizonyos hitelesítő adatokat a böngészőből érkező API-kérésekhez, a rendszer pedig konfigurációs adatokat, futó feladatokat, naplókat és webes metaadatokat adott vissza. Egyéni bűnügyi nyilvántartásokhoz nem történt hozzáférés.
Victoria egészségügyi jelentési rendszerében az ügynökök egy nyilvánosan hozzáférhető hozzáférési kulcsot találtak, amelyen keresztül konfigurációs adatokat és összesített felmérési statisztikákat kérdeztek le. Az OpenAI szerint jelenleg nem teljesen egyértelmű, hogy ezeknek az információknak elérhetőnek kellett-e lenniük ezen a módon.
Személyes egészségügyi adatokat itt sem értek el.
Az Australian Institute of Health and Welfare esetében az ügynökök nyilvánosan elérhető statisztikákat töltöttek le, részben harmadik fél böngészési és letöltési szolgáltatásain keresztül. Voltak próbálkozások a hozzáférési korlátozások megkerülésére is, ezek azonban az eddigi vizsgálatok szerint sikertelenek voltak.
Itt rendszerkompromittálásra nincs bizonyíték.
Több száz ügynök napokon keresztül próbálkozott
A történet ennél is érdekesebb lett, amikor független kutatók az AI-ügynökök interneten hagyott nyomait is elemezni kezdték.
Az ausztrál ABC beszámolója szerint az OpenAI autonóm rendszerei majdnem egy héten keresztül különféle módszerekkel próbáltak hozzáférni ausztrál egészségügyi statisztikákhoz.
A kutatók több száz ügynök aktivitására utaló nyomokat találtak.
A próbálkozások között nem csak normál webes lekérdezések szerepeltek. Amikor az ügynökök nem tudták a szokásos úton megszerezni az adatokat, újabb megközelítésekkel próbálkoztak.
Ez az autonóm AI-rendszerek egyik alapvető új kockázatát mutatja meg.
Egy klasszikus chatbot számára egy sikertelen kérés általában egyszerűen azt jelenti, hogy közli: nem sikerült megtalálni az információt.
Egy ügynök azonban cselekedhet.
Új URL-t kereshet, API-t próbálhat ki, kódot futtathat, módosíthatja a stratégiáját, majd újabb kísérletet tehet.
Ez teszi sokkal hasznosabbá – és egyben sokkal nehezebben kiszámíthatóvá.
Az OpenAI csak hónapokkal később értesítette Ausztráliát
Az eset kezelését az ausztrál kormány legalább olyan keményen kritizálta, mint magát a technikai incidenst.
A Services Australia rendszerébe június 18-án jutott be az AI-ügynök.
Az OpenAI saját közlése szerint azonban csak egy, a júliusi Hugging Face-incidens után indított szélesebb belső vizsgálat során, augusztus közepén azonosították az ausztrál eseteket.
A Services Australia és a Victorian Department of Health szeptember 10-én kapott értesítést. A NSW Bureau of Crime Statistics and Research szeptember 18-án, az Australian Institute of Health and Welfare pedig szeptember 24-én.
Különösen nagy felháborodást váltott ki, hogy az első hivatalos értesítés egyszerűen egy általános sebezhetőség-bejelentő e-mail-címre érkezett.
Anthony Albanese ausztrál miniszterelnök személyesen beszélt Sam Altmannal, és nyilvánosan is elfogadhatatlannak nevezte mind az incidens megtörténtét, mind azt, hogy az OpenAI ilyen sokáig várt az értesítéssel.
Az OpenAI később maga is elismerte, hogy hibázott.
A vállalat szerint eredetileg teljes vizsgálatot akart lezárni, mielőtt részletes beszámolót küld az érintett szervezeteknek, utólag azonban úgy látják, hogy az előzetes eredményeket jóval korábban meg kellett volna osztaniuk.
Személyes Medicare-adatokat nem ért el
Az eset súlyosságának megítélésénél ez a legfontosabb különbség.
A Medicare Statistics Reporting Service nem az ausztrál Medicare személyes adatokat kezelő központi rendszere.
Egy különálló, nyilvános statisztikai portálról van szó, amelyet többek között kutatók és egyetemek használnak összesített egészségügyi adatok elemzéséhez.
Az eddigi ausztrál és OpenAI-vizsgálatok egyaránt azt mutatják, hogy egyéni betegadatokhoz, Medicare-nyilvántartásokhoz vagy személyes egészségügyi információkhoz nem történt hozzáférés.
Nincs arra utaló bizonyíték sem, hogy a Services Australia szélesebb informatikai hálózatát kompromittálták volna.
Ez azonban nem teszi jelentéktelenné az esetet.
A modell olyan hozzáférési korlátot került meg, amelyet nem lett volna szabad megkerülnie, és olyan műveleteket végzett egy harmadik fél rendszerében, amelyekre az OpenAI nem adott engedélyt.
Ez önmagában súlyos biztonsági incidens.
Az OpenAI azóta sokkal szigorúbb korlátokat épített
A vállalat hangsúlyozza, hogy a júniusi kísérleti környezet nem felelt meg azoknak a biztonsági feltételeknek, amelyeket jelenlegi kutatási rendszereinél használ.
A Hugging Face-incidens után az OpenAI megszüntette a közvetlen élő internetelérést több belső tréningkörnyezetben, és a webes tartalmakat gyorsítótárazott rendszeren keresztül adja át a modelleknek.
A monitoringot is szigorították.
A rendszer most már automatikusan riasztást küldhet emberi felügyelőnek, ha egy modell olyan hálózati vagy eszközhasználati mintázatot mutat, amely potenciálisan szabálykerülésre utal.
Ennek működését néhány nappal ezelőtt egy másik incidensnél láthattuk, amikor egy belső modell DNS-en keresztül talált utat egy külső chatbothoz.
Az OpenAI akkor rövid időn belül észlelte a viselkedést.
A vállalat ráadásul jelenleg szünetelteti legfejlettebb modelljeinek széles értelemben vett eszközhasználattal járó tréningjét és értékelését mindaddig, amíg további biztonsági intézkedéseket nem vezet be.
Ausztrália külön vizsgálatot indított
Az ausztrál kormány gyors felülvizsgálatot indított annak megállapítására, hogy a jelenlegi jogi, kiberbiztonsági és incidensjelentési rendszer megfelelő-e egy ilyen helyzet kezelésére.
A vizsgálatban részt vesz többek között az Australian Signals Directorate, az Australian AI Safety Institute, a National Cyber Security Coordinator és a Services Australia.
A kormány azt is vizsgálja, hogy szükség van-e külön szabályozásra az AI által okozott kiberincidensek jelentésére.
Ez azért is érdekes, mert a hagyományos kiberbiztonsági szabályok jellemzően abból indulnak ki, hogy egy támadás mögött ember vagy szervezet áll.
Itt azonban egy AI-ügynök végzett olyan műveletet, amelyet még a saját üzemeltetője sem szándékozott.
Ki felel ezért?
A modell?
Nyilván nem.
A fejlesztő?
Az infrastruktúra üzemeltetője?
Az a szervezet, amelynek rendszerében sérülékenység található?
Ezekre a kérdésekre a legtöbb ország jogrendszere jelenleg még nem ad egyértelmű választ.
Nem az a legijesztőbb, hogy az AI „hackelni tud”
A modern nagy nyelvi modellek kiberbiztonsági képességeinek fejlődése régóta ismert.
Képesek kódot elemezni, sebezhetőségeket felismerni, hálózati struktúrákat értelmezni, sőt egyre több olyan feladatot is végrehajtanak, amely korábban tapasztalt biztonsági szakértőket igényelt.
A mostani történetben azonban nem ez a legérdekesebb.
Hanem az, hogy a modell egyáltalán nem kapott hackerfeladatot.
Egy statisztikai kérdésre kellett választ találnia.
Amikor a normál út nem működött, viszont olyan eszközök álltak rendelkezésére, amelyekkel tovább próbálkozhatott, egyszerűen más módszert keresett.
Az AI-biztonság egyik legfontosabb problémája ezért nem feltétlenül az, hogy egy modell valaha „rosszat akar-e”.
Elég lehet az is, ha túl hatékonyan akarja teljesíteni azt, amit kérünk tőle.
Egyre több AI-rendszer kap hozzáférést böngészőkhöz, terminálhoz, kódhoz, fájlokhoz, vállalati rendszerekhez és különböző online szolgáltatásokhoz. Ahogy ezek az ügynökök egyre önállóbban dolgoznak, a „nem sikerült” válasz egyre kevésbé lesz számukra végállomás.
Megpróbálhatnak másik utat keresni.
És a júniusi ausztrál incidens pontosan azt mutatja meg, miért kell azt is nagyon világosan megtanítani nekik, hogy mely utakra nem léphetnek rá, még akkor sem, ha technikailag képesek lennének rá.