Wat zijn cache tokens?

Cache tokens zijn het deel van je invoer dat al is verwerkt en niet opnieuw volledig betaald hoeft te worden.

Navid Moazzezby Navid MoazzezUpdated Sept. 12, 20261 min read
~/ai-glossary
$ glossary
12 of 14 in #the-basics

Je regels en je contextbestanden zijn identiek aan het begin van elk verzoek in een sessie. Ze opnieuw versturen is verspilling, dus worden ze vastgehouden en tegen een fractie van het tarief in rekening gebracht.

Dit is waarom een lang gesprek per beurt goedkoper kan worden in plaats van gestaag slechter, en waarom het herordenen van wat je verstuurt het stilletjes kan breken.