Co je kontextové okno?
Kolik textu si AI v jednom rozhovoru „pamatuje“ najednou.
Kontextové okno je limit, kolik tokenů model vidí naráz – vaše zprávy, své odpovědi i vložené dokumenty. Co se do okna nevejde, jako by neexistovalo.
Proto u velmi dlouhých rozhovorů AI občas „zapomene“, co jste chtěli na začátku. Pomůže začít nový rozhovor a zadání shrnout.
Příklad
Vložíte stostránkový dokument a AI odpovídá jen podle jeho části.