KI-Token

KI-Token Token (KI)

Glossar

Ein KI-Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es damit rechnet. Meist ist ein Token ein Wortstück: ein kurzes Wort am Stück, ein längeres in zwei oder drei Teilen, dazu Satzzeichen und Leerzeichen. Alles, was ein Modell liest und schreibt, wird in dieser Währung gemessen. Kontextfenster, Antwortzeit und Rechnung hängen daran.

Für die Arbeit mit KI ist das keine Randnotiz. Wer versteht, wie Text zu Token wird, versteht, warum ein Dokument „zu lang" ist, warum derselbe Text auf Deutsch mehr kostet als auf Englisch und warum ein Modell beim Buchstabenzählen versagt.

Wie Text in Token zerfällt

Warum nicht Wörter und nicht Buchstaben

Beide naheliegenden Ansätze scheitern. Ein Wörterbuch aus ganzen Wörtern wäre riesig und stünde bei jedem Tippfehler, jedem Produktnamen und jeder Fachvokabel vor einer Lücke. Einzelne Buchstaben wiederum wären so klein, dass selbst kurze Texte in endlos lange Folgen zerfallen.

Deshalb arbeiten Modelle mit Wortteilen. Ein Verfahren wie Byte Pair Encoding beginnt bei einzelnen Zeichen und fasst die häufigsten Kombinationen schrittweise zu größeren Bausteinen zusammen, bis eine feste Zahl an Bausteinen erreicht ist. Häufige Wörter landen dabei als Ganzes im Vokabular, seltene bleiben zerlegt. Nichts fällt heraus: Auch ein nie gesehener Name lässt sich aus Zeichen zusammensetzen.

Deutsch kostet mehr

Als Faustregel gilt im Englischen etwa ein Token je vier Zeichen, also grob drei Viertel eines Wortes. Für Deutsch fällt die Rechnung schlechter aus, und das aus zwei Gründen: Die Trainingsdaten der meisten Modelle sind englischlastig, deutsche Wörter stehen also seltener am Stück im Vokabular. Dazu kommen Komposita. „Softwareentwicklungsprojekt" ist ein Wort, aber sicher kein Token.

Praktisch heißt das: Derselbe Inhalt braucht auf Deutsch mehr Token als auf Englisch. Für Sprachen mit eigenen Schriftsystemen fällt der Aufschlag noch deutlicher aus.

Was sonst noch teuer ist

Zahlenkolonnen, Base64-Strings, minifizierter Code und Emojis zerfallen in viele kleine Stücke, weil sie im Vokabular kaum vorkommen. Eine JSON-Datei mit langen IDs kann mehr Token verbrauchen als ein Fließtext derselben Länge.

Wo Token in der Praxis auftauchen

BegriffBedeutungPraktische Folge
EingabetokenAlles, was du hineingibst: Systemanweisung, Verlauf, angehängte DokumenteWächst still mit jedem Gesprächsschritt
AusgabetokenWas das Modell erzeugtWird bei den gängigen Anbietern höher berechnet als Eingabe
KontextfensterObergrenze für Eingabe und Ausgabe zusammenIst es voll, fällt Ältestes weg oder der Aufruf schlägt fehl
Token pro SekundeAusgabegeschwindigkeitBestimmt, wie schnell eine Antwort im Bildschirm aufläuft

Zwei Missverständnisse halten sich hartnäckig. Erstens ist das Kontextfenster kein Gedächtnis: Es wird bei jedem Aufruf neu gefüllt, und was nicht mitgeschickt wird, ist weg. Zweitens ist ein großes Fenster kein Freibrief. Ein Modell antwortet auf einem randvollen Kontext oft ungenauer als auf einem knapp und gut gewählten.

Was den Verbrauch im Projekt treibt

  • Der Verlauf. In einem Chat wird bei jedem Schritt die gesamte bisherige Unterhaltung erneut geschickt. Der zwanzigste Beitrag kostet ein Vielfaches des ersten.
  • Die Systemanweisung. Sie steht vor jedem einzelnen Aufruf. Drei Absätze Regeln, tausendfach am Tag, summieren sich.
  • Mitgelieferte Dokumente. Bei Retrieval Augmented Generation landen die gefundenen Ausschnitte im Kontext. Wie viele es sein dürfen, ist eine Abwägung zwischen Trefferquote und Kosten.
  • Werkzeugbeschreibungen. Ein KI-Agent bekommt die Definition jedes verfügbaren Werkzeugs mitgeschickt, in jeder Runde. Bei einer Anbindung über das Model Context Protocol wächst dieser Block mit jedem zusätzlichen Server.
  • Denkschritte. Modelle, die vor der Antwort ausführlich zwischenrechnen, erzeugen dabei Ausgabetoken, auch wenn du davon wenig zu sehen bekommst.

Sparen, ohne Qualität zu verlieren

Der erste Schritt ist immer messen. Fast alle Schnittstellen liefern die Tokenzahl je Aufruf mit zurück, und ein Blick auf die Verteilung zeigt meist einen einzelnen Ausreißer, der den Großteil verursacht.

Danach helfen ein paar unspektakuläre Hebel: den Verlauf zusammenfassen statt vollständig mitzuschicken, die Systemanweisung kürzen und schärfen (siehe Prompt Engineering), Dokumente vorher in sinnvolle Abschnitte teilen statt ganze PDFs anzuhängen, wiederkehrende Kontextblöcke über die Zwischenspeicher der Anbieter laufen lassen und für einfache Aufgaben ein kleineres Modell nehmen. Bei stark strukturierten Ausgaben lohnt es, das gewünschte Format eng vorzugeben. Ein Modell, das nur ein Feld füllen soll, muss keine Einleitung schreiben.

Häufige Fragen zu KI-Token

Wie viele Token hat mein Text? Genau lässt sich das nur mit dem Tokenizer des jeweiligen Modells sagen, denn jede Modellfamilie zerlegt anders. Für eine Schätzung auf Deutsch kannst du von etwa drei Zeichen je Token ausgehen und musst wissen, dass du damit eher zu niedrig liegst.

Warum kann ein Modell keine Buchstaben zählen? Weil es sie nicht einzeln sieht. Ein Wort kommt als ein oder zwei Blöcke an, nicht als Buchstabenfolge. Aufgaben wie „wie viele R stecken in diesem Wort" fragen nach einer Information, die auf der Ebene, auf der das Modell arbeitet, gar nicht vorliegt.

Sind Token und Wörter dasselbe? Nein, und die Abweichung ist größer, als man erwartet. Kurze, häufige Wörter sind ein Token, lange Fachbegriffe schnell vier oder fünf. Auch Leerzeichen und Zeilenumbrüche zählen mit.

Zählt ein Bild auch als Token? Ja. Multimodale Modelle rechnen Bilder in eine Tokenzahl um, die von Auflösung und Detailgrad abhängt. Ein hochauflösender Screenshot kann so viel Kontext belegen wie mehrere Seiten Text.

Fazit

Token sind die Recheneinheit hinter jedem Aufruf eines Large Language Model, und sie erklären auffällig viele Eigenheiten dieser Systeme: die Längenbegrenzung, die Kostenkurve, das Scheitern an Buchstabenrätseln. Wer eine KI-Funktion in ein Produkt einbaut, sollte den Verbrauch von Anfang an messen statt am Monatsende zu staunen. Wie wir solche Funktionen sauber in bestehende Systeme einhängen, steht auf unserer Seite zur Custom-Software-Entwicklung, und was in Projekten wirklich trägt, im Artikel KI in der Softwareentwicklung. Was der Betrieb pro Monat kostet, rechnen wir vor dem Bau durch, so wie alles andere, was bei einer KI-Integration in bestehende Software vorher geklärt gehört. Für alles Weitere gibt es das unverbindliche Beratungsgespräch.

← Zurück zum Glossar
STARTSEITEGLOSSARKI-TOKEN