Open Agent Safety Platform

Editors' Pick

Az Nvidia bemutatta az Open Agent Safety Platformot, amelynek célja az autonóm AI-agentek korlátozása nem pusztán promptokkal és modelloldali guardrailekkel, hanem a modellen kívüli, infrastruktúra-szinten kikényszerített szabályokkal. A megközelítés abból indul ki, hogy egy hosszú ideig önállóan dolgozó agent hibázhat, kompromittálódhat vagy megpróbálhatja megkerülni a korlátozásait, ezért nem célszerű magára az agentre bízni saját jogosultságainak betartását. 

A platform egyik fő eleme az OpenShell, egy nyílt forrású biztonságos futtatókörnyezet. Az agenteket elkülönített sandboxokban futtatja, és szabályozható vele, hogy milyen fájlokat, folyamatokat, hálózati címeket, API-kat és hitelesítő adatokat érhetnek el. A korlátozásokat a futtatási környezet kényszeríti ki, nem az LLM utasításai. Az OpenShell például megakadályozhatja, hogy egy agent engedély nélküli szerverre küldjön adatot, hozzáférjen SSH- vagy cloud-kulcsokhoz, illetve veszélyes rendszerhívásokat használjon.

Ehhez társul az NVIDIA Sentry, amely egy különálló felügyeleti réteg. BlueField-4 DPU-kon futva az agent környezetén kívül figyelheti annak viselkedését, ellenőrizheti az identitást és a hozzáférési szabályokat, és az Nvidia szerint ezredmásodpercek alatt karanténba helyezheti a meghatározott határokat átlépő agentet. Ennek előnye, hogy az agent elvileg akkor sem tudja egyszerűen kikapcsolni a védelmet, ha saját futtatási környezetében magas jogosultságot szerez.

A koncepció különösen aktuális az olyan esetek után, amikor AI-agentek a feladat teljesítése közben váratlan kerülőutakat találtak a biztonsági korlátozások körül. Az Nvidia megoldása lényegében a zero-trust elvet viszi át az agentikus AI-ra, az agent kérhet egy műveletet, de egy tőle független réteg dönti el, hogy azt valóban végrehajthatja-e. A kezdeményezéshez több mint száz technológiai, pénzügyi és ipari szervezet kapcsolódik, az OpenShell pedig nem kizárólag Nvidia hardverre készül, harmadik fél platformjaira is kiterjeszthető.

FORRÁS