Kontextfenster

Das Kontextfenster ist die maximale Textmenge, gemessen in Token, die ein Sprachmodell bei einer Anfrage gleichzeitig lesen kann, Eingabe und bisheriger Gesprächsverlauf eingerechnet. Ein Modell mit einem Kontextfenster von 128.000 Token kann etwa ein mittellanges Buch auf einmal verarbeiten, alles darüber hinaus wird abgeschnitten oder muss vorher zusammengefasst werden.

Ein größeres Kontextfenster erlaubt längere Dokumente und längere Gespräche, ohne dass frühere Informationen verloren gehen. Es löst aber nicht jedes Problem: Je mehr Text ein Modell gleichzeitig verarbeitet, desto schwerer fällt es ihm mitunter, Details aus der Mitte eines langen Dokuments zuverlässig wiederzugeben. Ein großzügig bemessenes Kontextfenster ersetzt deshalb keine saubere Dokumentenauswahl. Eine klare Struktur im Ausgangsdokument, etwa nachvollziehbare Überschriften und Abschnitte, bleibt deshalb auch bei einem großen Kontextfenster hilfreich.

Für betriebliche Anwendungen bestimmt das Kontextfenster mit, wie ein System aufgebaut wird: Passt ein komplettes Vertragswerk oder ein ganzes Aktenprotokoll nicht ins Fenster, muss die Anwendung vorher die relevanten Abschnitte auswählen, etwa über RAG, statt alles ungefiltert einzuspeisen.