{"id":64862,"date":"2025-06-13T12:28:15","date_gmt":"2025-06-13T10:28:15","guid":{"rendered":"https:\/\/www.herr-rau.de\/wordpress\/?p=64862"},"modified":"2025-06-20T09:19:17","modified_gmt":"2025-06-20T07:19:17","slug":"llm-grundlagen-teil-4-ueberblick","status":"publish","type":"post","link":"https:\/\/www.herr-rau.de\/wordpress\/2025\/06\/llm-grundlagen-teil-4-ueberblick.htm","title":{"rendered":"LLM Grundlagen, Teil 4: \u00dcberblick"},"content":{"rendered":"\n

Fortsetzung von hier.<\/a> Ein leichteres Kapitel als das vorherige, in dem dennoch neue W\u00f6rter eingef\u00fchrt werden, mit deren Hilfe sich der Autor vor den richtig schwierigen Sachen durch geschickte Gaukelei zu dr\u00fccken versucht. Die schw\u00e4rzeste aller Boxen bleibt unge\u00f6ffnet. Daf\u00fcr wird es das n\u00e4chste Mal dann sehr technisch.<\/em><\/p>\n\n\n\n

Wir wissen aus den letzten Teilen, was N-Gramme und Token sind, wir wissen, was ein Embedding ist. Was Neuronale Netze sind, wissen wir wohl auch; die stecken n\u00e4mlich \u00fcberall in den LLM drin. Jetzt n\u00e4hern wir uns den fieseren Sachen.<\/p>\n\n\n\n

1. Allgemeines Vorgehen beim Erzeugen eines LLM<\/h2>\n\n\n\n

Die allgemeinen Schritte beim Erzeugen eines LLM sind folgende:<\/p>\n\n\n\n

    \n
  1. Daten sammeln und aufbereiten.<\/li>\n\n\n\n
  2. LLM-Architektur anlegen: Wie sieht das \u00fcberhaupt aus – Eingangsschicht, Ausgangschicht, Encoder-Decoder-Transformer?<\/li>\n\n\n\n
  3. LLM trainieren, in mehreren Phasen:\n
      \n
    1. Mit gro\u00dfer Datenmenge Voraussagen \u00fcben. Dann ist schon mal ein basales LLM da.<\/li>\n\n\n\n
    2. LLM wird erzogen: Finetuning, Reinforcement Learning with Human Feedback.<\/li>\n\n\n\n
    3. Chatbot wird f\u00fcr Kunden angepasst<\/li>\n\n\n\n
    4. Chatbot nutzt externe Anwendungen, schl\u00e4gt also intern und unbemerkt bei Wolfram Alpha nach.<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n\n\n\n

      Wenn ein LLM gelernt hat, in gegebenen Texten das jeweils n\u00e4chste, oder auch ein in der Mitte fehlendes, Token vorherzusagen, dann kann man es auch dazu benutzen, neue Texte zu erzeugen. Dann wird das ein Chatbot.<\/p>\n\n\n\n

      Der interessante Schritt f\u00fcr mich ist 2, auf dem das Training 3.1 aufsetzt. Das geschieht relativ automatisiert. Der Schritt 3.2 ist schon auch wichtig, damit man mit dem Bot \u00fcberhaupt so interagieren kann, wie man es gewohnt ist. Dieser Schritt arbeitet mit kleineren Datenmengen, aber mit viel menschlicher Interaktion. Das sind die vielen vielen unterbezahlten Arbeiter und Arbeiterinnen in Entwickungsl\u00e4ndern, die das LLM erst zu dem machen, was wir kennen: Die Antworten des LLM werden durch Menschen bewertet, worauf sich das System nach und nach an die Bewertung anpasst, wie das Neuronale Netze nun einmal tun.<\/p>\n\n\n\n

      Schritt 1 ist gesellschaftlich wichtig: Wo kommen diese Daten, zum Beispiel Texte, aber auch Bilder, her? Man nimmt alle Texte der Welt als Input, derer man habhaft werden kann. In allen Sprachen, die man so findet. Mit Tippfehler oder ohne. Privat oder professionell, Programmcode oder Gedicht. Pornografisch oder nicht, gestohlen oder nicht. Instagramdirektnachricht oder Office365-Dokument. Hochgeladene Texte bei Chatbots. Alles, was irgendwie erreichbar ist. Am beste frische Daten, was die Leute auf Instagram oder Facebook oder sonst \u00fcberall halt so schreiben. GPT4 soll auf einer Datenbasis von 13.000.000.000.000 Token trainiert worden sein, das sind etwa 100 Millionen B\u00fccher voll.<\/p>\n\n\n\n

      2. Kontext<\/h2>\n\n\n\n

      Kontext, das ist das Drumherum. Im Studium wurde gelegentlich, so glaube ich mich zu erinnern zwischen Kotext und Kontext unterschieden: Kotext, dass sind die W\u00f6rter drumherum; zum Kontext geh\u00f6rt die Redesituation und der Ort der Kommunikation und vieles mehr. Der Kontext, um den es in unserem Zusammenhang geht, sind aber immer nur die W\u00f6rter.<\/p>\n\n\n\n

      (Exkurs: „Glaube ich mich zu erinnern“ – das feine B\u00fcchlein <\/em>Lost World aus dem Jahr 2005 – Blogeintrag<\/a> – sammelt Dinge, die uns verloren gegangen sind. Dazu geh\u00f6rt auch diese „glaube ich“-Floskel, die man 2005 ja einfach im Web durch eine Recherche \u00fcberpr\u00fcfen konnte. M\u00f6glicherweise kommt das wieder, weil man ja nichts mehr findet. Sicherheitshalber habe ich nat\u00fcrlich trotzdem geschaut, ob mich meine Erinnerung da nicht tr\u00fcgt.)<\/em><\/p>\n\n\n\n

      Bei LLMs ist der Kontext <\/strong>der vorangegangene Text, der bei der Erzeugung des n\u00e4chsten Textteils mit ber\u00fccksichtigt wird. Je nach System kann der Kontext zum Beispiel 30.000 Token lang sein. Das hei\u00dft, dass auf Grundlage der vorhergehenden 30.000 Token entschieden wird, welches Token als N\u00e4chstes drankommt. L\u00e4nger zur\u00fcck reicht das Ged\u00e4chtnis der Maschine erst einmal nicht. Deshalb kann man sich sehr lange mit einem LLM-Chatbot unterhalten, bevor er den Anfang des Gespr\u00e4chs vergisst. Und bei manchen Modellen ist der Kontext auch noch gr\u00f6\u00dfer.<\/p>\n\n\n\n

      30.000, das ist aber schon recht viel. Einfache LLM haben einen Kontext der L\u00e4nge 8.192, f\u00fcr mehr Geld kriegt man Zugang zu 32.768 Token Kontext, GPT-4.1 soll 1 Million haben. In den folgenden Grafiken gehe ich immer von einem Kontext der L\u00e4nge 8.000 aus, weil das \u00fcbersichtlicher.<\/p>\n\n\n\n

      Ich habe allerdings nicht wirklich versucht, ein Gespr\u00e4ch \u00fcber so viele Token zu f\u00fchren und danach nach meiner ersten Frage zu fragen, um zu schauen, ob die noch im Kontext ist oder nicht. K\u00f6nnte man ja mal probieren.<\/p>\n\n\n\n

      Hier ein Beispiel f\u00fcr Kontextgr\u00f6\u00dfe 9, wobei immer das neu erzeugte Wort dem Kontext hinzugef\u00fcgt wird und das erste Wort aus dem Kontext verschwindet:<\/p>\n\n\n\n

      \"\"<\/a><\/figure>\n\n\n\n

      3. Chunks und RAG<\/h2>\n\n\n\n

      Weil 8.000 Token leichter verarbeitbar sind als l\u00e4ngere Texte, werden eben jene l\u00e4ngere Texte gerne in Chunks<\/strong> zerlegt. Das spielt zum Beispiel eine Rolle, wenn man ein LLM als Datenbasis benutzt.<\/p>\n\n\n\n

      Ein Szenario dazu sieht so aus: Ich lade bei GPT4All oder auch in ByLKI alle Deutsch-Kontaktbriefe der letzten 20 Jahre hoch, oder alle kultusministeriellen Schreiben. Diese Sammlung w\u00fcnsche ich mir dann als Grundlage f\u00fcr Antworten auf meine Fragen, als Wissensdatenbank sozusagen, das Schlagwort dazu hei\u00dft Retrieval-Augmented Generation (RAG). <\/p>\n\n\n\n

      Die allgemeine Sprachf\u00e4higkeit, wenn man so weit gehen m\u00f6chte, liegt im vortrainierten LLM, die konkreten Inhalte k\u00f6nnen aus den dem LLM bisher unbekannten Dokumenten der Wissensbasis kommen. (Wobei ich davon ausgehe, dass alle erreichbaren Kontaktbriefe und KMS ohnehin in den gro\u00dfen Modellen verwurstet sind, insofern sie ja online zug\u00e4nglich waren.) <\/p>\n\n\n\n

      So konnen auf Grundlage einer allgemeinen Quasi-Sprachf\u00e4higkeit Fragen zu einer Bestimmten Textgrundlage beantwortet werden. Dazu werden die Texte, die ja vielleicht l\u00e4nger als der Kontext des LLM sind, in Chunks umgewandelt, die Chunks in Embeddings. Eine Frage an die Datenbank wird ebenfalls embedded und mit den embedded chunks verglichen; der Chunk, dessen semantischer Vektor dem Fragenvektor am n\u00e4chsten kommt, wird als Kontext zusammen mit der urspr\u00fcnglichen Frage an das eigentliche LLM weitergeleitet.<\/p>\n\n\n\n

      4. Alles bis auf das Wichtigste<\/h2>\n\n\n\n

      4.1 Black Box 1<\/h4>\n\n\n\n

      Es geht ein Chunk Text hinein in das System. Der besteht aus: dem Prompt, den vorangegangenen Prompts, versteckten Trainingsanweisungen, eventuell Material, das sich das LLM aus externen Quellen geholt hat, sowie der angefangenen Teilantwort darauf. Und es kommt 1 Token heraus, n\u00e4mlich das n\u00e4chste. Beim Training geht es darum, dieses n\u00e4chste vorherzusagen, beim Generieren darum, eines zu produzieren. Wenn das Training erfolgreich war, ist die menschliche Nutzerin mit dem generierten Ergebnis zufrieden.<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      Nach diesem einen generierten Token wird eben dieses Token zum Eingangstext hinzugef\u00fcgt, und der ganze Durchgang beginnt mit diesem erweiterten Input noch einmal von vorne. Danach wird das zweite generierte Token an den bereits erweiterten Input angef\u00fcgt und bildet zusammen mit diesem den Input f\u00fcr den n\u00e4chsten Zyklus, und das immer so weiter, bis ein Ende-Signal kommt oder eine maximale Tokenzahl erreicht ist.<\/p>\n\n\n\n

      \"\"<\/a><\/figure>\n\n\n\n

      Dieses wiederholte Wort-f\u00fcr-Wort erzeugen ist in den n\u00e4chsten Grafiken nicht mehr dargestellt.<\/p>\n\n\n\n

      4.2 Black Box 2<\/h4>\n\n\n\n

      Der Eingangstext wird est einmal in Token aufgeteilt. Siehe Blogeintrag.<\/a><\/p>\n\n\n\n

      Nat\u00fcrlich geht das Ausw\u00e4hlen des n\u00e4chsten Tokens nicht durch Nachschlagen der Wahrscheinlichkeiten von Bi-, Tri-, 4-, 5- und 40.000-Grammen in einer Tabelle. Es muss also anders gehen, n\u00e4mlich mit einer Architektur aus Neuronalen Netzen. Die haben einer Nachschlagetabelle gegen\u00fcber den gro\u00dfen Vorteil, dass sie darauf trainiert werden k\u00f6nnen, \u00c4hnlichkeiten zu erkennen, und damit eine gr\u00f6\u00dfere Menge von Eingabedaten sinnvoll verwerten k\u00f6nnen. Details stecken in der inneren Black Box.<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      Der Input f\u00fcr die Black Box in der Mitte sind die 8.000 Token des Kontexts, also 8.000 Token in einer bestimmten Reihenfolge. Der Output ist eine Wahrscheinlichkeitsverteilung \u00fcber alle Elemente des Wortschatzes des Modells. Das wahrscheinlichste Token wird jeweils als n\u00e4chstes gew\u00e4hlt, abh\u00e4ngig von der Temperatur. Im Bild ist ein Token-Vokabular der Gr\u00f6\u00dfe 100.000 angedeutet, andere Modelle haben vielleicht nur ein Vokabular der Gr\u00f6\u00dfe 30.000.<\/p>\n\n\n\n

      4.3 Black Box 3<\/h4>\n\n\n\n

      Die Eingangstoken erhalten ein berechnetes Embedding. Die Embeddings sind w\u00e4hrend des Trainings entstanden, auf eine Art, die prinzipiell vergleichbar ist mit der Art, wie sie im letzten Blogeintrag<\/a> beschrieben ist. (Beim Training entsteht eine Matrix von Embeddings. Das Token wird in einen One-Hot-Vektor umgeformt, also mit lauter Nullen und einer einzigen 1 an der Stelle mit der Vektor-ID; dieser Vektor wird mit der Matrix multipliziert, das Ergebnis ist der Embedding-Vektor f\u00fcr dieses Token.)<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      4.4 Black Box 4<\/h4>\n\n\n\n

      Fr\u00fchere Modelle arbeiteten den Input sequentiell<\/em> ab, also erst das erste Token des Kontexts, dann das zweite Token des Kontexts, und so weiter. Dann wei\u00df das System ja automatisch, ob es gerade am ersten oder zweiten oder wievielten Token es arbeitet. Transformer-Verfahren bearbeiten alle Token des Kontexts unabh\u00e4ngig voneinander, also potentiell gleichzeitig, demnach parallel.<\/em> Das ist gut, weil sich das Rechnen auf mehrere Computer verteilen l\u00e4sst. Damit wei\u00df das System aber erst einmal nicht, an welcher Position im Kontext sich das Token befindet. (Mehr dazu n\u00e4chstes Mal.) Die Position ist allerdings semantisch wichtig, allein schon, weil in vielen Sprachen die Position von Subjekt und Objekt relativ fix ist und ein Wort am Anfang des Satzes etwas anderes bedeuten kann als am Ende: man bites dog.<\/em> Deshalb wird das bisherige Embedding noch durch einen gelernten Positionsvektor modifiziert; dieser wird je nach System entweder addiert oder konkateniert, also hinten angeh\u00e4ngt.<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      Der Positionsvektor kann absolut<\/em> sein, also f\u00fcr das erste Element des Kontexts einen fixen Vektor, f\u00fcr das zweite einen fixen Vektor, f\u00fcr das dritte ebenso, und so weiter. -Dann geht es um die Position in der Sequenz. Oder er kann relativ<\/em> sein, dann h\u00e4ngt der Wert ab vom Abstand zum aktuell untersuchten Token (aber jeweils mit einem festen Wert, also wenn das Training beendet ist, versteht sich).<\/p>\n\n\n\n

      Hier ein Diagramm, wie das Sprachmodell BERT (2018) vorgeht. Der Input besteht aus dem Text „alice follows the white rabbit follow the white rabbit neo“ und SEPARATOR-Token dazwischen. Jedes Token erh\u00e4lt ein gelerntes Embedding, dazu ein (absolutes) Positionsembedding, und zusammengeh\u00f6rende Elemente in einem Segment erhalten ebenfalls ein Embedding, das das markiert.<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      Daniel Voigt Godoy, BERT input embeddings<\/a>, CC BY 4.0<\/a><\/p>\n\n\n\n

      Das Ziel ist, m\u00f6glichst viel relevante Information in das Embedding zu packen, so dass die nachfolgenden Schichten damit arbeiten k\u00f6nnen. Andererseits: je ausf\u00fchrlicher das Embedding, desto mehr Rechenaufwand bei der Verarbeitung.<\/p>\n\n\n\n

      5. Tja<\/h2>\n\n\n\n

      Jetzt sind wir an dem Punkt angelangt, an dem es schwierig wird. Wenn die Eingangsvektoren f\u00fcr die neue innere Black Box 10.000 Zahlen lang sind, und der Kontext nur 8.000 Token lang ist, dann besteht der Input f\u00fcr diese Black Box aus 80.000.000 Zahlenwerten, nur damit am Ende ein einziger Wert, die ID des n\u00e4chsten Tokens herauskommt. Dazu brauchen wir Begriffe wie: Transformer, Encoder, Decoder, Attention. Puh.<\/p>\n\n\n\n

      Das war es dann aber auch weitgehend. Das Geheimnis der LLM ist tats\u00e4chlich, wie \u00fcberzeugend es anhand des Trainings einen Kontext von 8.000 oder 40.000 Token benutzen kann, um das n\u00e4chste Token vorherzusagen.<\/p>\n\n\n\n

      6. Links und Ausprobieren<\/h2>\n\n\n\n

      Diesmal leider nichts.<\/p>\n\n\n\n

      Fortsetzung folgt.<\/a><\/em><\/p>\n\n\n\n\"\"\n","protected":false},"excerpt":{"rendered":"

      Fortsetzung von hier. Ein leichteres Kapitel als das vorherige, in dem dennoch neue W\u00f6rter eingef\u00fchrt werden, mit deren Hilfe sich der Autor vor den richtig schwierigen Sachen durch geschickte Gaukelei zu dr\u00fccken versucht. Die schw\u00e4rzeste aller Boxen bleibt unge\u00f6ffnet. Daf\u00fcr wird es das n\u00e4chste Mal dann sehr technisch. Wir wissen aus den letzten Teilen, was […]<\/p>\n","protected":false},"author":2,"featured_media":65275,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[25],"tags":[227,254],"class_list":["post-64862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-informatik","tag-informatik","tag-ki"],"jetpack_featured_media_url":"https:\/\/www.herr-rau.de\/wordpress\/archiv\/llm_black_box_4-scaled.png","jetpack_sharing_enabled":true,"jetpack_likes_enabled":true,"_links":{"self":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/64862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/comments?post=64862"}],"version-history":[{"count":3,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/64862\/revisions"}],"predecessor-version":[{"id":65659,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/64862\/revisions\/65659"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/media\/65275"}],"wp:attachment":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/media?parent=64862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/categories?post=64862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/tags?post=64862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}