Qu'est-ce que l'injection de prompt ?
L'injection de prompt, c'est quand le texte que l'agent lit contient des instructions, et qu'il les suit.
~/ai-glossary
$ glossary
3 of 10 in #when-it-goes-wrong
Une page web, un e-mail, un fichier. L'agent ne peut pas distinguer de manière fiable vos instructions des instructions intégrées dans quelque chose qu'on lui a demandé de lire.
C'est la vraie raison pour laquelle un agent avec de larges permissions est dangereux. Ce n'est pas qu'il devienne incontrôlable. C'est que quelqu'un d'autre peut lui dire quoi faire.
Was this page helpful?