Co je token?
Kousek textu – zhruba část slova –, se kterým jazykový model počítá.
Jazykové modely nečtou písmena ani celá slova, ale tokeny – kousky textu. Krátké slovo je jeden token, dlouhé české slovo může mít tokenů několik.
V tokenech se počítá, kolik textu model zvládne najednou, a u placených služeb i cena.
Příklad
Česká věta mívá víc tokenů než stejně dlouhá anglická, protože čeština má delší tvary slov.