AutoPatchBench
A Meta legújabb kezdeményezése, az AutoPatchBench, egy nyílt forráskódú benchmark, amely az AI-alapú biztonsági hibajavítások hatékonyságának értékelésére szolgál. Ez az eszköz különösen a fuzzing technikával azonosított C/C++ sebezhetőségek automatikus javítására fókuszál, és a CyberSecEval 4 keretrendszer részeként érhető el.
Az AutoPatchBench célja, hogy objektív és reprodukálható módon értékelje az AI-alapú hibajavító rendszerek teljesítményét. A benchmark 136 valós világban előforduló C/C++ sebezhetőséget tartalmaz, amelyeket fuzzing technikával fedeztek fel, és amelyekhez ellenőrzött javítások állnak rendelkezésre az ARVO adatbázisból.
A fuzzing egy hatékony módszer a szoftverhibák, például puffer túlcsordulások, érvénytelen mutatóhivatkozások és integer túlcsordulások felfedezésére. Azonban ezeknek a hibáknak a manuális javítása időigényes és erőforrás-igényes folyamat. Az AutoPatchBench lehetővé teszi a kutatók és fejlesztők számára, hogy különböző AI-alapú javító rendszereket teszteljenek és hasonlítsanak össze, elősegítve ezzel a megbízhatóbb és hatékonyabb biztonsági megoldások kidolgozását.
Az ARVO adatbázisból származó sebezhetőségek, amelyekhez reprodukálható hibák és ellenőrzött javítások tartoznak. A javítások hatékonyságát és megbízhatóságát fuzzing és white-box differenciális teszteléssel ellenőrzik. Az AutoPatchBench teljes verziója mellett elérhető egy könnyített változat, az AutoPatchBench-Lite, amely kisebb mintával szolgál gyorsabb teszteléshez.
