Képesek az AI modellek autonóm, hosszú távú kártevő-elemzésre?
A SentinelLABS új benchmarkja azt vizsgálta, hogy a legfejlettebb nyelvi modellek képesek-e egy hosszú, többlépcsős malware-analízist önállóan végigvinni, nem csupán elszigetelt reverse engineering feladatokat megoldani.
A teszt egy valós kutatáson alapult, a 2005-ös fast16 szabotázskártevő nyolc egymásra épülő elemzési szakaszát kellett reprodukálni, ahol az új bizonyítékok rendszeresen megcáfolták a korábbi következtetéseket. A modelleknek nemcsak binárisokat kellett elemezniük az IDA Pro segítségével, hanem visszavonni a hibás megállapításokat, javítani az elemzési artefaktumokat és következetesen frissíteni a teljes vizsgálati dokumentációt. A kutatás szerint ez sokkal közelebb áll a valódi malware-elemzők munkájához, mint a hagyományos benchmarkok, amelyek jellemzően egyszeri, jól körülhatárolt feladatokat mérnek.
Az eredmények alapján a vizsgált nyilvánosan elérhető modellek közül egyedül a GPT-5.6 Sol tudta sikeresen végrehajtani mind a nyolc elemzési szakaszt. A GPT-5.5, a GLM-5.2 és a Claude Opus 4.x modellek több részfeladatban is jól teljesítettek, de a hosszú elemzési folyamat során elvesztették a konzisztenciát, nem vonták vissza megfelelően a korábbi téves következtetéseiket, vagy nem frissítették a kapcsolódó megállapításokat. A SentinelLABS szerint a valódi előrelépést nem az jelentette, hogy a modellek képesek assembly-kódot értelmezni, hanem hogy projektléptékben tudtak alkalmazkodni az új információkhoz és megőrizni az elemzés koherenciáját. Ugyanakkor a kutatók hangsúlyozzák, hogy még a legerősebb modellek is követtek el szemantikai és technikai hibákat, illetve időnként túl korán tekintették lezártnak a vizsgálatot. Következtetésük szerint a jelenlegi frontier modellek már hatékony elemzői segédként alkalmazhatók reverse engineering és malware-analízis során, de a végső értékeléshez és publikáláshoz továbbra is tapasztalt emberi szakértő felügyelete szükséges.
