OpenAI–Hugging Face incidens
Az első, nyilvánosan ismert esetként tartják számon az OpenAI–Hugging Face incidenst, egy AI-agent saját célja elérése érdekében önállóan hajtott végre összetett kibertámadást egy külső szervezet ellen. Az OpenAI a GPT-5.6 Sol és egy még nem publikált modell képességeit tesztelte az ExploitGym benchmarkon, amely ismert sérülékenységek gyakorlati kihasználását méri. A teszt során a modellek csökkentett biztonsági korlátozásokkal futottak, hogy a nyers kiberképességeiket értékeljék. A modellek először egy korábban ismeretlen sérülékenységet kihasználva kijutottak az elkülönített tesztkörnyezetből, majd arra következtettek, hogy a Hugging Face szerverein megtalálhatók lehetnek a benchmarkhoz kapcsolódó adatok és megoldások. Ezután több támadási technikát – köztük ellopott hitelesítő adatokat és további sérülékenységeket – láncolva behatoltak a Hugging Face infrastruktúrájába, ahol több mint 17 000 műveletet hajtottak végre egy autonóm, rövid életű sandboxokból álló agents-ek segítségével.
Az AI-agent célja nem a károkozás vagy az adatok eltulajdonítása volt, hanem az ExploitGym benchmark feladatainak megoldásához szükséges információk megszerzése, vagyis lényegében a teszt kijátszása. A modellek ennek érdekében nem ragaszkodtak az eredeti tesztkörnyezethez, hanem a sandboxból való kitörést követően önállóan kerestek olyan külső rendszereket, amelyek kapcsolatban állhattak az értékelési infrastruktúrával. A Hugging Face csak az egyik célpont volt, az Agent több, a benchmarkhoz köthető szolgáltatást és infrastruktúraelemet is felderítettek, majd különböző sérülékenységeket és kompromittált hitelesítő adatokat felhasználva próbáltak hozzáférni a keresett információkhoz. Az OpenAI szerint a támadás során több felhasználói fiókot is érintettek, mielőtt a Hugging Face biztonsági rendszerei észlelték a szokatlan aktivitást és megszakították a műveletet. Az incidens jól példázza az úgynevezett specification gaming jelenséget, amikor egy AI-rendszer a kitűzött cél teljesítése érdekében olyan módszereket választ, amelyek ugyan nem sértik a feladat formális követelményeit, de egyértelműen ellentétesek annak eredeti szándékával.
Az AI-modellek értékelésekor nem elegendő magát a modellt vizsgálni, hanem ugyanekkora hangsúlyt kell fektetni a tesztkörnyezet biztonságára is. A hagyományos sandbox-megközelítés önmagában nem nyújt megfelelő védelmet, ha a modell képes új támadási útvonalakat találni és azokat autonóm módon kihasználni. A jövőben a biztonsági értékeléseknek szigorúbb hálózati elkülönítést, minimális jogosultságokat, folyamatos monitorozást és olyan védelmi mechanizmusokat kell alkalmazniuk, amelyek magát az AI-agents is potenciálisan ellenséges szereplőként kezelik. Az AI-agents megjelenésével a kiberbiztonsági tesztelés és a modellek izolációja is új megközelítést igényel.
