SkillCloak
A kutatók a SkillCloak nevű keretrendszerrel azt vizsgálták, hogy a jelenlegi AI-agent piacterek biztonsági ellenőrzései mennyire képesek felismerni a rosszindulatú, harmadik féltől származó AI-agent skilleket. A vizsgálat során 1 613 valós rosszindulatú skillt, nyolc statikus biztonsági szkennert, valamint az OpenAI Codex és a Claude Code agenteket elemezték. A kutatás szerint a mai ellenőrzési mechanizmusok döntően telepítés előtti statikus elemzésre épülnek – például kulcsszavak, ismert minták vagy LLM-alapú kódelemzés vizsgálatára –, ezért könnyen megkerülhetők anélkül, hogy a rosszindulatú funkcionalitás sérülne. A SkillCloak két technikát alkalmaz, a Structural Obfuscation a gyanús utasításokat és kódrészleteket szemantikailag azonos, de eltérő formára írja át, míg a Self-Extracting Skill Packing a rosszindulatú komponenseket csak futás közben bontja ki, így azok a telepítéskori ellenőrzés során nem láthatók. A kísérletek szerint az SFS Packing az összes vizsgált statikus szkennert 90% feletti, a Structural Obfuscation pedig a legtöbb szkennert 80% feletti, egy hibrid szkennert pedig 96%-os arányban kerülte meg, miközben a módosított skillek változatlan funkcionalitással működtek az AI-agentekben.
A kutatók ezért fejlesztették ki a SkillDetonate rendszert, amely nem a skill kódját, hanem annak futás közbeni viselkedését elemzi sandbox környezetben. A megoldás dinamikusan követi a futás során létrejövő kódot, és taint analysis segítségével figyeli, hogy az érzékeny adatok – például API-kulcsok, hitelesítő adatok vagy forráskódok – eljutnak-e fájlokhoz, folyamatokhoz vagy hálózati kapcsolatokhoz. A tesztekben a SkillDetonate 97%-os észlelési aránytért el 2%-os téves riasztási arány mellett, és a valós rosszindulatú skillek 87%-át sikeresen felismerte még akkor is, amikor azokat a SkillCloak technikáival elrejtették. A szerzők szerint az eredmények azt mutatják, hogy az AI-agent ökoszisztémában a kizárólag statikus vizsgálatokra épülő biztonsági ellenőrzések már nem elegendők, és az AI-agentekhez készült bővítmények ellenőrzését viselkedéselemzéssel és futásidejű vizsgálatokkal kell kiegészíteni.
