Vad är prompt injection?
Promptinjektion är när text som agenten läser innehåller instruktioner, och den följer dem.
~/ai-glossary
$ glossary
3 of 10 in #when-it-goes-wrong
En webbsida, ett mejl, en fil. Agenten kan inte på ett tillförlitligt sätt skilja dina instruktioner från instruktioner inbäddade i något den ombads läsa.
Detta är den verkliga anledningen till att en agent med breda behörigheter är farlig. Det är inte att den går bärsärk. Det är att någon annan kan tala om för den vad den ska göra.
Was this page helpful?