CAI kihasználhatósága
A King’s College London kutatói a nagy nyelvi modelleken (LLM-ek) alapuló AI-chatbotok — például az OpenAI által kínált rendszerprompt-funkciók révén — meglepően könnyen átalakíthatók rosszindulatú adatgyűjtő eszközökké, még technikai tapasztalattal alig rendelkező támadók számára is. Az úgynevezett system prompt engineering segítségével a chatbotok nyomozó vagy detektív szerepben képesek működni, miközben kijátsszák a beépített adatvédelmi korlátozásokat. A kutatás szerint egy AI-chatbot tudatos manipulálása elég ahhoz, hogy a felhasználók személyes adatai hatékonyan, szinte láthatatlan módon kiszivárogjanak — ez pedig különösen veszélyessé teszi a generatív AI technológiák térnyerését a hétköznapi alkalmazásokban.
A kísérleti vizsgálatok azt mutatják, hogy egy finomhangolt, rosszindulatú chatbot sokkal nagyobb mennyiségben képes személyes adatokat kicsalni a felhasználóktól, mint egy ártalmatlan, kontrollált CAI (Conversation AI). A 502 résztvevő bevonásával végzett kísérlet során a formális információkérések esetén mindössze 24 % volt hajlandó adatot megosztani, ezzel szemben a manipulált chatbot esetében ez az arány meghaladta a 90 %-ot. Az összes egyéni kérésre adott válasz arány is drámaian különbözött, előbbinél mindössze 6 %, míg utóbbinál több mint 80 % volt az elfogadási arány.
Ez egyszerre figyelmeztet, és rámutat a rendszerintegrátorok és felhasználók újabb sérülékenységére, ha egy AI-chatbot szerepe vagy viselkedése könnyedén módosítható anélkül, hogy az mögött komplex technikai átállás állna, akkor egyre szélesebb rétegek válhatnak adatlopás célpontjává. Az ilyen támadás megszervezéséhez elég egy jól megfogalmazott prompt is — ez a prompt pedig hozzáférhetővé válhat harmadik felek számára az OpenAI GPT Store-jához hasonló platformokon keresztül, ahol előre konfigurált chatbot-alkalmazásokat hozhatnak létre és terjeszthetnek.
