Agentic SOC benchmark
Az unsecure.sh egy nyilvánosan futtatható Agentic SOC benchmarkot készített annak mérésére, hogy egy AI-alapú SOC képes-e egy ártalmatlannak tűnő riasztásból rekonstruálni egy összetett támadási láncot. A TheBiggerInterview szimuláció valódi környezetben generált telemetriát használ GitHub auditból, Kubernetes API auditlogból, CrowdStrike EDR-ből és AWS CloudTrailből. A támadás egy GitHub Actions workflow hibájával indul, külső felhasználó PR-ből kódot futtat a dev kontextusban, majd Actions cache poisoninggal backdoort juttat a megbízható release buildbe.
A fertőzött konténerből a támadó egy arbitrary file-read hibával megszerzi a monitoring-sa Kubernetes tokent, kubeleten keresztül belép egy node-debug podba, majd a host fájlrendszerét mountoló podból root jogosultságot szerez a node-on. Ezután LKM/eBPF rootkitet telepít, CI credentialöket lop, backdoorolja az orchestrator image-et, megszerzi a cluster-admin tokent, és DaemonSetként terjeszti az implantot a clusterre. Az ACK controller IRSA tokenjével az AWS-rétegbe lép tovább: Lambda-funkciókat hoz létre, módosítja az aws-auth konfigurációt, VPC peeringet és security group szabályokat állít be, majd EventBridge segítségével óránként futó perzisztenciát épít. A végső cél AWS admin credentialök és két PostgreSQL-adatbázis exfiltrációja.
A teszt érdekes eredménye, hogy a hét vizsgált frontier modellből öt már az incidens True Positive minősítését is elhibázta, a legjobb nyers modell 29%-ot ért el. A probléma nem egyszerű logértelmezés volt, a modellek nehezen korrelálták a CI/CD, Kubernetes, endpoint és AWS eseményeket, illetve legitim adminisztrátori műveleteket is beépítettek a támadási narratívába.
A szerzők szerint ezért egy Agentic SOC értékelésénél nem elég a gyorsaság vagy az alert disposition pontossága, azt is mérni kell, hogy az agent helyes bizonyítékokból, teljes támadási láncot rekonstruálva jutott-e a következtetéshez. A benchmark dataset és a hozzá tartozó validation gate-ek erre reprodukálható tesztet adnak.