{"id":65404,"date":"2025-06-17T12:55:54","date_gmt":"2025-06-17T10:55:54","guid":{"rendered":"https:\/\/www.herr-rau.de\/wordpress\/?p=65404"},"modified":"2025-06-19T08:28:56","modified_gmt":"2025-06-19T06:28:56","slug":"llm-grundlagen-teil-6-das-herz-der-aufmerksamkeit","status":"publish","type":"post","link":"https:\/\/www.herr-rau.de\/wordpress\/2025\/06\/llm-grundlagen-teil-6-das-herz-der-aufmerksamkeit.htm","title":{"rendered":"LLM Grundlagen, Teil 6: Das Herz der Aufmerksamkeit"},"content":{"rendered":"\n

Fortsetzung von hier.<\/a> Nix mehr mit Metaphorik, jetzt wird gerechnet. Gro\u00dfes Finale. Die Mathematik steckt in Punkt 3 und wird vielleicht von manchen \u00fcbersprungen werden, aber bitte wieder einsteigen sp\u00e4testens zum Ausprobieren mit Klicki-bunti in Punkt 6.<\/em><\/p>\n\n\n\n

1. Wo wir stehen geblieben sind<\/h2>\n\n\n\n

Ein Lesekopf, Head, ist das Herz des Aufmerksamkeits-Untermoduls eines Decoders. Wir besch\u00e4ftigen uns mit reinen Decoder-Strukturen, da ist das noch einfacher als bei einem Encoder-Decoder-Transformer.<\/p>\n\n\n\n

Der Lesekopf nimmt den Vektor eines Tokens und modifiziert ihn in Abh\u00e4ngigkeit von den 8.000 Nachbarvektoren im Kontext. Das war es eigentlich. Er modifiziert ihn so, dass danach mehr wichtige Information im Vektor f\u00fcr das entsprechende Token enthalten sind. Die Gr\u00f6\u00dfe des Vektors \u00e4ndert sich dabei nicht, wir gehen im Beispiel immer von 10.000 aus.<\/p>\n\n\n\n

Der Lesekopf gibt das Ergebnis weiter an ein Neuronales Netz, und das produziert dann den Output als Input f\u00fcr die n\u00e4chste Decoder-Schicht.<\/p>\n\n\n\n

2. Metaphorische Aufmerksamkeit<\/h2>\n\n\n\n

Ich zitiere mich:<\/p>\n\n\n\n

\n

Nehmen wir als Input: \u201eThe dogs bark loudly.\u201c (Es gibt technische Gr\u00fcnde f\u00fcr die Unnat\u00fcrlichkeit des Beispielsatzes.) Der Input sind ja eigentlich nicht diese Token, es geht hier nie um Token, sondern immer nur um deren Embedding, aber der Einfachkeit halber spreche ich hier ein Weilchen einfach von Token.<\/p>\n\n\n\n

In jedem Durchgang wird jedes Input-Token mit allen anderen Input-Token verglichen. Nehmen wir zum Beispiel das Token \u201ebark\u201c, das hier also mit \u201eThe\u201c, \u201edogs\u201c, \u201eloudly\u201c und \u201e.\u201c verglichen wird. Das Token \u201ebark\u201c sucht dabei besonders nach Token, die das Merkmal \u201eNomen im Plural\u201c und \u201eist ein Lebewesen\u201c tragen, oder auch \u201ees geht um B\u00e4ume\u201c, weil das ja auch \u201eBaumrinde\u201c bedeuten kann. Das ist wie bei diesem Kartenspiel, wo man die anderen fragt: \u201eHast du eine Herz Sieben?\u201c<\/p>\n\n\n\n

Beim \u201e.\u201c wird das \u201ebark\u201c nicht f\u00fcndig, bei \u201eThe\u201c nur ein wenig, aber als es zu \u201edogs\u201c kommt, schreit das sofort \u201ebiete Substantiv im Plural!\u201c und \u201ebiete Tier!\u201c Das ist das Zeichen f\u00fcr \u201ebark\u201c, dem Token \u201edogs\u201c besonders viel Aufmerksamkeit zu widmen.<\/p>\n\n\n\n

Wenn f\u00fcr jedes Token ein Aufmerksamkeitswert ermittelt ist, geht es ans Modifizieren: das Token \u201edogs\u201c darf dann bestimmte Werte auf das Embedding von \u201ebark\u201c \u00fcbertragen, etwa Werte f\u00fcr \u201ebin dein Subjekt\u201c und \u201ees geht um Hunde\u201c und \u201edu bist ein Verb und nicht etwa ein Substantiv\u201c.<\/p>\n\n\n\n

Beim n\u00e4chsten Durchgang wird wieder jedes Input-Token modifiziert. Diesmal sucht \u201ebark\u201c nicht mehr nach B\u00e4umen. Ganz am Ende steckt dann im Embedding des letzten Tokens \u201e.\u201c die Information \u201egerade eben haben Hunde laut gebellt\u201c, und auf Basis dieses Embeddings wird dann das n\u00e4chste Token vorausgesagt, m\u00f6glicherweise: \u201eThey\u201c.<\/p>\n<\/blockquote>\n\n\n\n

3. Mathematische Aufmerksamkeit<\/h2>\n\n\n\n

Eigentlich passiert im Decoder nur das:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Und das ist eigentlich ganz einfach. Der blaue Rahmen, das ist ein Decoder-Modul. Der gr\u00fcne Rahmen, das ist ein Attention-Submodul. Das ist der Lesekopf. Der nimmt einen Haufen Vektoren <\/em>entgegen. Im Beispiel ist der Kontext nur 5 Token gro\u00df, das ist ein kleiner Haufen: The, dogs, bark, loudly, . (Statt: 8.000 wie in echt.) Jeder Vektor besteht aus 4 Zahlen. (Statt 10.000 wie in echt.) Statt einen Haufen<\/em> sagt man technisch aus: eine Matrix. Man kann sich das wie eine kleine Tabelle vorstellen. Jede Zeile steht f\u00fcr ein Token-Embedding:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Die Zahlen habe ich mir einfach ausgedacht.<\/p>\n\n\n\n

F\u00fcr jeden dieser 5 Vektoren werden anhand von drei vorgefertigten Tabellen neue Vektoren erstellt. Das sind die drei vorgefertigten Tabellen; und weil das Embedding aus 4 Zahlen besteht, sind die Tabellen 4 x 4 gro\u00df:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Die Zahlen habe ich mir ausgedacht. Tats\u00e4chlich werden sie trainiert, und eben diese drei 10.000 x 10.000 gro\u00dfen Tabellen auf geeignete Werte hin zu trainieren, und das f\u00fcr 120 Decoder-Schichten, ist eine der Hauptarbeiten beim Trainieren des LLM. Das sind dann dann schon mal 36 Milliarden Parameter; GPT-4 soll 1800 Milliarden Parameter haben insgesamt; es kommen ja noch ein paar dazu sp\u00e4ter. Wie gut jedenfalls, dass das P in GPT f\u00fcr „pre-trained“ hei\u00dft, dann m\u00fcssen wir nur noch mit diesen fertigen Tabellen rechnen und sie nicht trainieren. Kostet immer noch genug Strom auch so.<\/p>\n\n\n\n

Diese Tabellen werden benutzt, um aus den 5 Eingangsvektoren jeweils einen Query-, einen Key- und einen Value-Vektor zu erzeugen. Sie sind hier wieder als Haufen<\/s> Tabelle<\/s> Matrix dargestellt:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Die markierten Zeilen sind jeweils die Q-, K- und V-Vektoren f\u00fcr das Token „bark“ von oben. Nur mit denen wird weitergerechnet, die alten Inputwerte k\u00f6nnen wir vergessen. Wie<\/em> diese Vektoren entstehen, zum, Beispiel der Q-Vektor f\u00fcr „bark“ ganz links: Die vierstellige Input-Zeile f\u00fcr pos2 wird multipliziert mit der gesamten Q-Tabelle, und das Ergebnis ist die vierstellige Query-Zeile f\u00fcr pos2. Wie kann man eine Zeile mit einer Tabelle multiplizieren, h\u00f6re ich die fragen, die damals im Mathematikunterricht beim Herrn Gerigk nicht aufgepasst haben: Ah, Matrizenmultiplikation, und mehr sage ich dazu nicht. Das ist jedenfalls keine besonders komplizierte Rechenaufgabe f\u00fcr einen Computer. <\/p>\n\n\n\n

Jetzt wird f\u00fcr jeder Q-Vektor mit jedem K-Vektor multipliziert. Wenn man einen Vektor mit einem anderen Vektor multipliziert (Herr Gerigk!) kommt eine simple Zahl heraus. Wenn ich also 5 Q-Vektoren jeweils mit 5 K-Vektoren multipiziere, kriege ich 25 Zahlen, und zwar diese hier:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

(Tats\u00e4chlich rechnet man, also in Libre Office Calc zum Beispiel, nicht 25 mal den einen mal den anderen Vektor, sondern man multipliziert die ganze Tabelle<\/s> Matrix mit der ganzen anderen Tabelle<\/s> Matrix, und da ist sie dann noch noch einmal, unsere Matritzenmultiplikation.)<\/p>\n\n\n\n

Die gelbe Zeile in der Ergebnismatrix, die jetzt nicht mehr vier, sondern f\u00fcnf Spalten breit ist, gibt an, wie viel Aufmerksamkeit von pos2 aus auf alle anderen 5 Positionen, sich selber eingeschlossen, zu richten ist: Von pos2 auf pos0 am wenigsten, von pos2 auf pos1 bis pos4 dreimal so viel, von pos2 auf pos4 doppelt so viel.<\/p>\n\n\n\n

Diese Zahlen werden aus technischen Gr\u00fcnden noch ein bisschen ver\u00e4ndert und sozusagen vergleichbarer gemacht, das hei\u00dft hier: Skalierung und Softmax. Diese Attention-Tabelle wird dann mit der Values-Tabelle, die ganz oben erstellt worden ist, multipliziert, und damit hat das Attention-Submodul im Decoder seine Aufgabe erledigt:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Warum werden diese Matrizen multipliziert? Wenn man sich jeweils einzelne Vektoren anschaut, wird es ein bisschen klarer: <\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n