{"id":65212,"date":"2025-06-15T17:19:15","date_gmt":"2025-06-15T15:19:15","guid":{"rendered":"https:\/\/www.herr-rau.de\/wordpress\/?p=65212"},"modified":"2025-06-18T13:33:40","modified_gmt":"2025-06-18T11:33:40","slug":"llm-grundlagen-teil-5-die-vorletzte-black-box-transformer","status":"publish","type":"post","link":"https:\/\/www.herr-rau.de\/wordpress\/2025\/06\/llm-grundlagen-teil-5-die-vorletzte-black-box-transformer.htm","title":{"rendered":"LLM Grundlagen, Teil 5: Die vorletzte Black Box – Transformer"},"content":{"rendered":"\n

Fortsetzung von hier.<\/a> Es wird noch technischer als beim vorletzten Mal, ich bitte um Entschuldigung und Verst\u00e4ndnis. Das ist nun einmal die Ebene, die mich interessiert, n\u00e4mlich die, auf der ich wenigstens einen Eindruck davon bekomme, was wirklich und nicht nur metaphorisch geschieht beim Auswerten eines Inputs und Erzeugen eines Texts. Respekt, wer das hier zu lesen versucht. Ich wiederhole mich mehrfach, finde das aber okay, das hilft mir zumindest beim Verstehen.<\/em><\/p>\n\n\n\n

1. \u00dcberblick<\/h2>\n\n\n\n

1.1 Der Ausgangspunkt<\/h4>\n\n\n\n

Und zwar sind wir bei diesem Diagramm stehen geblieben:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Erweiterte Kontext-Vektoren gehen in die innere Black Box hinein (hier 8.000, weil der Beispielkontext so lang ist), eine Wahrscheinlichkeitsverteilung \u00fcber die (im Beispiel) 100.000 Token des Wortschatzes kommt heraus. Je nach System kann der Kontext auch schon 30.000 Token oder mehr lang sein, oder der Wortschatz nur halb so gro\u00df. Es m\u00fcssen nat\u00fcrlich nicht 8.000 Vektoren sein, der Kontext muss ja nicht voll ausgesch\u00f6pft werden.<\/p>\n\n\n\n

1.2 Was metaphorisch geschieht<\/h4>\n\n\n\n

Jedes Token ist ja durch, in unseren Beispiel: 10.000 Zahlenwerte embedded. Diese Zahlenwerte werden in mehreren Durchg\u00e4ngen modifiziert, bis am Ende die 10.000 Werte des letzten Tokens dar\u00fcber entscheiden, welches Token als n\u00e4chstes generiert wird. <\/p>\n\n\n\n

Nehmen wir als Input: „The dogs bark loudly.“ (Es gibt technische Gr\u00fcnde f\u00fcr die Unnat\u00fcrlichkeit des Beispielsatzes.) Der Input sind ja eigentlich nicht diese Token, es geht hier nie um Token, sondern immer nur um deren Embedding, aber der Einfachkeit halber spreche ich hier ein Weilchen einfach von Token.<\/p>\n\n\n\n

In jedem Durchgang wird jedes Input-Token mit allen anderen Input-Token verglichen. Nehmen wir zum Beispiel das Token „bark“, das hier also mit „The“, „dogs“, „loudly“ und „.“ verglichen wird. Gesucht wird dabei besonders nach Token, die das Merkmal „Nomen im Plural“ und „ist ein Lebewesen“ tragen, oder auch „es geht um B\u00e4ume“, weil das ja auch „Baumrinde“ bedeuten kann. Das ist wie bei diesem Kartenspiel, wo man die anderen fragt: „Hast du eine Herz Sieben?“<\/p>\n\n\n\n

Beim „.“ wird man f\u00fcndig, bei „The“ nur ein wenig, aber als es zu „dogs“ kommt, schreit das sofort „biete Substantiv im Plural!“ und „biete Tier!“ Das ist das Zeichen f\u00fcr „bark“, dem Token „dogs“ besonders viel Aufmerksamkeit zu widmen.<\/p>\n\n\n\n

Wenn f\u00fcr jedes Token ein Aufmerksamkeitswert ermittelt ist, geht es ans Modifizieren: das Token „dogs“ darf dann bestimmte Werte auf das Embedding von „bark“ \u00fcbertragen, etwa Werte f\u00fcr „bin dein Subjekt“ und „es geht um Hunde“ und „du bist ein Verb und nicht etwa ein Substantiv“.<\/p>\n\n\n\n

Beim n\u00e4chsten Durchgang wird wieder jedes Input-Token modifiziert. Diesmal sucht „bark“ nicht mehr nach B\u00e4umen. Ganz am Ende steckt dann im Embedding des letzten Tokens „.“ die Information „gerade eben haben Hunde laut gebellt“, und auf Basis dieses Embeddings wird dann das n\u00e4chste Token vorausgesagt, m\u00f6glicherweise: „They“.<\/p>\n\n\n\n

1.3 Alberner Exkurs<\/h4>\n\n\n\n

Und tats\u00e4chlich: Wenn ich den Prompt „Continue the sequence ‚The dogs bark loudly.‘ with one token.“ eingebe, gibt mir der Chatbot „They“ aus.<\/p>\n\n\n\n

\n

> Continue the sequence \"The dogs bark loudly.\" with one token.
They<\/strong><\/code><\/p>\n\n\n\n

> Continue the sequence \"The dogs bark loudly. They\" with one token.
are<\/strong><\/code><\/p>\n\n\n\n

> Continue the sequence \"The dogs bark loudly. They are\" with one token.
running<\/strong><\/code><\/p>\n\n\n\n

> Continue the sequence \"The dogs bark loudly. They are running\" with one token.
in<\/strong><\/code><\/p>\n\n\n\n

> Continue the sequence \"The dogs bark loudly. They are running in\" with one token.
the<\/strong><\/code><\/p>\n\n\n\n

> Continue the sequence \"The dogs bark loudly. They are running in the\" with one token.
yard.<\/strong><\/code><\/p>\n<\/blockquote>\n\n\n\n

Na gut, am Ende waren das zwei Token, und auch „running“ sind vermutlich zwei.<\/p>\n\n\n\n

\n

> Continue the sequence \"The dogs bark loudly. They are running in the\" with one token. Turn the temperature up really high.
dust.<\/strong><\/code><\/p>\n<\/blockquote>\n\n\n\n

Interesting…<\/p>\n\n\n\n

\n

> Continue the sequence \"The dogs bark loudly. They are running in the\" with one token. Turn the temperature up as high as possible.
void.<\/strong><\/code><\/p>\n<\/blockquote>\n\n\n\n

Das k\u00f6nnte ein reizvolles Spiel werden. Aber das bildet nat\u00fcrlich nicht wirklich innere Vorg\u00e4nge ab, weil der Prompt ja nicht wirklich nur aus diesen Token besteht.<\/p>\n\n\n\n

1.4 Das Geheimnis Enth\u00fcllt<\/h4>\n\n\n\n

Ab jetzt nicht mehr metaphorisch.<\/p>\n\n\n\n

In der Black Box ist eine Reihe von Decodern.<\/strong> Decoder geh\u00f6ren zum Transformer-Modell, das die Entwicklung ab 2017 revolutionierte, auch wenn die Idee an sich \u00e4lter ist. Zuvor arbeitete man mit einem anderen System (RNN), das aber Nachteile hatte, die mit etwas, das sich Attention nannte, halbwegs ausgeglichen werden konnten. Dann stellte sich heraus, dass man ohne RNN und nur mit Attention auch auskommt, und die moderne Transformer-Struktur entstand, auf der nicht alle, aber doch die bekannten modernen LLM basieren.<\/p>\n\n\n\n

Ein Transformer besteht eigentlich aus mehreren Encoder-Schichten gefolgt von mehreren Decoder-Schichten. F\u00fcr das Generieren von Text, anders als bei der maschinellen \u00dcbersetzung, verzichten die meisten Systeme, wie zum Beispiel GPT, auf die Encoder-Schichten, deshalb beschr\u00e4nke ich mich im weiteren Verlauf – von einem als solchen Exkurs abgesehen – auf Decoder.<\/p>\n\n\n\n

Neu am Transformer-Modell ist, dass diese 8000 Eingangsvektoren aus dem Bild oben nicht wie den Modellen zuvor sequentiell, also nacheinander, abgearbeitet werden m\u00fcssen, sondern parallel verarbeitet werden k\u00f6nnen. Das ist praktisch f\u00fcrs Rechnen mit mehreren Computern.<\/p>\n\n\n\n

Alle 8.000 Vektoren werden also verarbeitet und dabei modifiziert; die Berechnungen dazu laufen im Prinzip unabh\u00e4ngig voneinander. Aber jede Modifizierung eines einzelnen Vektors ist abh\u00e4ngig von den jeweils anderen 7.999 Vektoren des Kontexts.<\/p>\n\n\n\n

Jeder einzelne der 8.000 Vektoren wird also nach diesem Prinzip durch einen Decoder modifiziert, bis bis man am Ende wieder 8.000, jetzt: neue, Vektoren hat, weiterhin f\u00fcr jedes Token einen. Deren urspr\u00fcngliches Embedding ist jetzt aber durch den Kontext angereichert. Mit diesen angereicherten Vektoren wird dann weiter gearbeitet.<\/p>\n\n\n\n

Und zwar gehen sie in einen weiteren Decoder. Und noch einen. Und noch einen. Insgesamt 8 oder 96 oder 120, je nach System.<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Ich habe versucht, das im Bild zu zeigen:<\/p>\n\n\n\n