Czym są tokeny cache?
Tokeny pamięci podręcznej to część Twojego wejścia, która została już przetworzona i nie musi być ponownie w pełni opłacana.
~/ai-glossary
$ glossary
12 of 14 in #the-basics
Twoje zasady i pliki kontekstowe są identyczne na początku każdego żądania w sesji. Wysyłanie ich ponownie jest marnotrawstwem, więc są przechowywane i naliczane po ułamkowej stawce.
Właśnie dlatego długa rozmowa może stać się tańsza za turę, zamiast stale drożeć, i dlaczego zmiana kolejności wysyłanych danych może po cichu ją zepsuć.
Was this page helpful?