Czym jest prompt injection?
Wstrzykiwanie promptów ma miejsce, gdy tekst, który agent czyta, zawiera instrukcje, a on się do nich stosuje.
~/ai-glossary
$ glossary
3 of 10 in #when-it-goes-wrong
Strona internetowa, e-mail, plik. Agent nie jest w stanie wiarygodnie odróżnić Twoich instrukcji od instrukcji osadzonych w czymś, co został poproszony o przeczytanie.
Właśnie dlatego agent z szerokimi uprawnieniami jest niebezpieczny. Nie chodzi o to, że działa na własną rękę. Chodzi o to, że ktoś inny może mu powiedzieć, co ma robić.
Was this page helpful?