Level 2: LLM Fundamentals — Briefing

Level 2: LLM Fundamentals — Tokens, Context Windows und Kosten verstehen

TL;DR

Tokens, Context Windows und Caching — verstehe was innerhalb des LLM passiert und warum Deine Kosten so sind wie sie sind. In diesem Level lernst Du, wie LLMs Text in Tokens zerlegen, wie Du Token-Verbrauch trackst und Kosten berechnest, warum Context Windows begrenzt sind und wie Prompt Caching Deine Kosten um bis zu 90% senken kann.

Skill Tree

Was Du Lernst

Was Tokens sind und wie Tokenisierung funktioniert — Subword Units, Token IDs, warum Deutsch mehr Tokens braucht als Englisch
Wie Du Token-Verbrauch trackst und Kosten berechnest — result.usage, Preis pro 1M Tokens, Kostenformeln
Warum Context Windows begrenzt sind — was alles reinzaehlt, was bei Ueberschreitung passiert, Strategien bei vollem Fenster
Wie Prompt Caching Kosten drastisch senken kann — Prefix Matching, Cache Tokens, Provider-Unterstuetzung

Warum Das Wichtig Ist

In Level 1 hast Du gelernt, wie Du mit dem AI SDK Text generierst. Aber Du hast result.usage nur als Zahl gesehen — ohne zu verstehen, was ein Token ist, warum die Zahlen so sind und wie Du sie kontrollierst.

Das konkrete Problem: Ohne Token-Verständnis kannst Du keine Kosten vorhersagen. Ohne Context-Window-Wissen fliegst Du mitten in der Konversation raus. Ohne Caching zahlst Du für denselben System Prompt jedes Mal den vollen Preis. Dieses Level gibt Dir die technischen Grundlagen, die Du für kosteneffiziente AI-Anwendungen brauchst.

Voraussetzungen

Level 1 abgeschlossen — generateText, streamText, result.usage müssen sitzen
Grundverstaendnis von API-Kosten — Du weisst, dass LLM-Calls Geld kosten
Projektverzeichnis: Arbeite im selben Projektverzeichnis wie Level 1 weiter — alle noetigen Packages (ai, @ai-sdk/anthropic, tsx) sind bereits installiert

Skip-Hinweis: Du weisst bereits, was Subword Tokenization ist, kennst den Unterschied zwischen Input- und Output-Tokens und hast mit Prompt Caching gearbeitet? Spring direkt zur Boss Fight und teste Dein Wissen.

Challenges

2.1 — Tokens Was Tokens sind, wie Tokenisierung funktioniert, Token-Counting

2.2 — Usage Tracking `result.usage`, Kostenberechnung, Extended Usage Details

2.3 — Context Window Context-Window-Groessen, was reinzaehlt, Strategien bei vollem Fenster

2.4 — Prompt Caching Cache-Mechanik, `cacheReadTokens`, Kosten-Reduktion

Boss Fight

Baue einen Token-Budget-Rechner: Ein Tool, das Tokens in System Prompt, User Message und erwartetem Output zaehlt, prüft ob alles ins Context Window passt, die erwarteten Kosten berechnet und die Cache-Hit-Rate über mehrere Calls trackt. Alle vier Bausteine dieses Levels in einem Projekt.