AI in the kitchen: from the first token to the bill

Bevor wir in die Küche gehen, brauchen wir einen Begriff: Token. Ein Sprachmodell verarbeitet Text in kleinen Einheiten. Ein Wort kann ein Token sein oder mehrere. In unserem Beispiel: Hallo eins, Tomate zwei, Tomatensalat vier. Die genaue Aufteilung hängt vom Tokenizer ab.

Zuerst zerlegt der Tokenizer unsere Eingabe samt Kontext und ordnet jedem Stück eine Nummer zu. In der Küche entspricht das dem Schneiden und Portionieren. Erst danach verarbeitet das Modell die vorbereitete Eingabe.

Jetzt gehen wir in die Küche. Der Text ist die Zutat, Tokens sind die vorbereiteten Stücke. Das Rezeptbuch steht für etwas anderes: die gelernten Modellgewichte.

Im Lager liegt das gespeicherte Modell. Im Computer ist das zum Beispiel die SSD. Zum Arbeiten laden wir es in schnellen Speicher. Das ist etwas anderes als die Vorbereitung unserer Anfrage.

Auf der Arbeitsfläche liegen Modellgewichte und Daten der Anfrage bereit. Der Platz ist begrenzt. Eine separate Grafikkarte hat dafür eigenen Speicher: den VRAM.

Die CPU ist unser vielseitiger Küchenchef. Sie organisiert den Ablauf und übernimmt auch selbst Aufgaben.

Die GPU ist das Küchenteam. Viele ähnliche Rechnungen laufen parallel. Genau diese Art von Rechenarbeit brauchen neuronale Netze.

Die NPU ist ein Spezialgerät für bestimmte KI-Rechnungen. Welche Einheiten tatsächlich arbeiten, hängt vom Gerät und der Software ab. Nicht jede Anfrage nutzt alle Stationen.

Die Stücke sind schon vorbereitet. Jetzt zählt der Transport. Speichergrösse bestimmt, wie viel auf die Arbeitsfläche passt. Bandbreite bestimmt, wie viele Daten pro Sekunde bei den Recheneinheiten ankommen.

Jetzt arbeitet die Küche zusammen. Unsere Eingabe kommt bereits als Tokens an. Das Modell verarbeitet deren numerische Darstellung mit seinen gelernten Gewichten. Das Tokenisieren haben wir vorher erledigt.

Das Modell erzeugt neue Tokens, eines nach dem anderen. Die Anwendung setzt diese Stücke wieder zu lesbarem Text zusammen. Deshalb wächst die Antwort vor unseren Augen.

Und jetzt die Rechnung. Input und Output können unterschiedlich viel kosten. Unsere Küchenpreise sind frei erfunden: ein Franken pro Input-Token, zwei pro Output-Token. Zwei hinein und vier heraus ergeben zehn Franken. Verdoppeln wir beide Mengen, sind es zwanzig. Die echte Rechnung hängt von der Token-Menge und dem Tarif des Modells ab.

Die Antwort ist fertig. Der Kontext hat sich verändert, die gelernten Modellgewichte sind aber gleich geblieben. Eine Antwort zu erzeugen ist noch kein neues Training. Und damit: Vielen Dank für eure Neugier!