Wat zijn cache tokens?
Cache tokens zijn het deel van je invoer dat al is verwerkt en niet opnieuw volledig betaald hoeft te worden.
~/ai-glossary
$ glossary
12 of 14 in #the-basics
Je regels en je contextbestanden zijn identiek aan het begin van elk verzoek in een sessie. Ze opnieuw versturen is verspilling, dus worden ze vastgehouden en tegen een fractie van het tarief in rekening gebracht.
Dit is waarom een lang gesprek per beurt goedkoper kan worden in plaats van gestaag slechter, en waarom het herordenen van wat je verstuurt het stilletjes kan breken.
Was this page helpful?