Memory INJection Attack

Editors' Pick

A MINJA (Memory INJection Attack) egy új támadási forma, amelyet kutatók fejlesztettek ki a nagy nyelvi modellekre (LLM-ekre) épülő agentek memóriájának manipulálására. Ez a módszer lehetővé teszi, hogy egy rosszindulatú felhasználó a rendszerrel való egyszerű interakció révén káros adatokat injektáljon az agent memóriájába, befolyásolva ezzel a jövőbeli válaszokat és döntéseket.

A támadó speciálisan kialakított kérdéseket küld az LLM-alapú agentnek, amelyek tartalmaznak félrevezető információkat. Ezek az információk bekerülnek az ügynök memóriájába, és későbbi interakciók során téves válaszokhoz vezethetnek.​

Egy egészségügyi eljárás esetében a támadó olyan utasítást adhat, amely összekeveri két páciens adatait. Ennek eredményeként az ügynök a jövőben hibás információkat szolgáltathat a páciensekről, ami súlyos következményekkel járhat.

Az LLM-alapú agent-ekmemóriakezelési mechanizmusainak átgondolása és megerősítése szükséges a hasonló támadások elkerülése érdekében.​

FORRÁS