O que são tokens de cache?

Tokens de cache são a parte da sua entrada que já foi processada e não precisa ser paga novamente por completo.

Navid Moazzezby Navid MoazzezUpdated Sept. 12, 20261 min read
~/ai-glossary
$ glossary
12 of 14 in #the-basics

Suas regras e arquivos de contexto são idênticos no início de cada requisição em uma sessão. Enviá-los novamente é um desperdício, então eles são retidos e cobrados por uma fração do valor.

É por isso que uma conversa longa pode ficar mais barata por turno, em vez de piorar constantemente, e por que reordenar o que você envia pode quebrá-la silenciosamente.