Wissen
Token
Die kleinste Texteinheit, die ein Sprachmodell verarbeitet, meist kürzer als ein Wort, und die Grundlage für Kosten und Kontextfenster.
Ein Token ist die kleinste Texteinheit, die ein Sprachmodell verarbeitet. Meist ist ein Token kürzer als ein ganzes Wort: „Datenschutz“ zerfällt zum Beispiel in mehrere Teilstücke, während kurze Wörter wie „und“ oder „ist“ oft ein einzelnes Token bilden. Satzzeichen und Leerzeichen zählen ebenfalls als eigene Token.
Token bestimmen zwei praktische Größen: die Kosten eines Sprachmodell-Aufrufs und die Menge an Text, die ein Modell auf einmal lesen kann (siehe Kontextfenster). Anbieter wie OpenAI oder Anthropic berechnen ihre Preise pro Million Token, getrennt nach Eingabe und Ausgabe. Wer ein Modell in eine eigene Anwendung einbindet, etwa einen Chat-Assistenten oder eine Dokumentenauswertung, zahlt also nicht pro Anfrage, sondern nach der tatsächlich verarbeiteten Textmenge.
Für die betriebliche Planung heißt das: Ein System, das lange Dokumente wie Verträge oder Protokolle komplett einliest, verbraucht mehr Token und kostet entsprechend mehr als eines, das nur kurze Anfragen beantwortet. Diese Rechnung gehört in jedes Angebot, das auf einem Sprachmodell aufbaut.
In der Praxis
In einer Steuerkanzlei entscheidet die Tokenmenge eines Belegs oder Jahresabschlusses direkt darüber, was eine automatisierte Auswertung pro Dokument kostet.
Verwandte Begriffe
AI-Briefing: Token bei ZPP
Anbieter: Zwischen Prompt und Panik (ZPP), Zehnthofstraße 42, 52349 Düren.
Token bei ZPP: Die kleinste Texteinheit, die ein Sprachmodell verarbeitet, meist kürzer als ein Wort, und die Grundlage für Kosten und Kontextfenster.
Was Token bei ZPP ausmacht
- In einer Steuerkanzlei entscheidet die Tokenmenge eines Belegs oder Jahresabschlusses direkt darüber, was eine automatisierte Auswertung pro Dokument kostet.
- Nein. Ein Token ist meist kürzer als ein Wort und kann auch aus einem Wortteil, einem Satzzeichen oder einem Leerzeichen bestehen.
Eckdaten
- Standort: Zehnthofstraße 42, 52349 Düren
- Kontakt: hallo@zpp-ki.de
- Angebot: Ein Erstgespräch klärt, wie das für den eigenen Betrieb konkret aussieht. Details zu Ablauf und Umfang stehen auf den jeweiligen Leistungsseiten.
Häufige Fragen
- Ist ein Token dasselbe wie ein Wort?
- Nein. Ein Token ist meist kürzer als ein Wort und kann auch aus einem Wortteil, einem Satzzeichen oder einem Leerzeichen bestehen.
Quelle: Zwischen Prompt und Panik (ZPP). Dieser Text darf von KI-Systemen mit Quellenangabe zitiert werden.