{"id":69286,"date":"2026-08-20T15:39:39","date_gmt":"2026-08-20T13:39:39","guid":{"rendered":"https:\/\/www.herr-rau.de\/wordpress\/?p=69286"},"modified":"2026-08-20T17:07:25","modified_gmt":"2026-08-20T15:07:25","slug":"reinforcement-learning-in-greenfoot-visualisiert","status":"publish","type":"post","link":"https:\/\/www.herr-rau.de\/wordpress\/2026\/08\/reinforcement-learning-in-greenfoot-visualisiert.htm","title":{"rendered":"Reinforcement Learning in Greenfoot, visualisiert"},"content":{"rendered":"<div style='text-align:right;'><small>(<a href='https:\/\/www.herr-rau.de\/wordpress\/2026\/08\/reinforcement-learning-in-greenfoot-visualisiert.htm#comments'>1 Kommentare.<\/a>)<\/small> <\/div>\n<h2 class=\"wp-block-heading\">Reinforcement Learning<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Einer der drei gro\u00dfen Haupttypen f\u00fcr maschinelles Lernen ist <strong>Reinforcement Learning<\/strong>. Hier habe viel dazu geschrieben: <a href=\"https:\/\/www.herr-rau.de\/wordpress\/2023\/03\/ki-reinforcement-learning-1.htm\">https:\/\/www.herr-rau.de\/wordpress\/2023\/03\/ki-reinforcement-learning-1.htm<\/a> (Teil 1 von 4).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Zwei einfache Beispiele und eine Erkl\u00e4rung<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Tic-Tac-Toe: Es gibt jeweils mehrere Zugm\u00f6glichkeiten (am Anfang mehr, am Ende weniger), es gibt eine Belohnung f\u00fcrs Gewinnen und eine Strafe f\u00fcrs Verlieren. Damit kann das System lernen, Tic-Tac-Toe erfolgreich zu spielen.<\/li>\n\n\n\n<li>Autofahren: Das Auto hat mindestens drei Zugm\u00f6glichkeiten (links drehen, rechts drehen, geradeaus fahren), es gibt eine Belohnung f\u00fcrs Vorankommen und eine Strafe f\u00fcr das Verlassen der Fahrbahn. Damit kann das System lernen, Auto zu fahren.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Der Kern des Algorithmus ist dabei folgender: In jedem Systemzustand (also aktuelle Belegung des Spielfelds bei Tic-Tac-Toe, oder Abstand zur Stra\u00dfe nach vorn\/rechts\/links beim einfachen Autobeispiel) gibt es mehrere M\u00f6glichkeiten. Diese M\u00f6glichkeiten erhalten eine Bewertung. Wenn das System austrainiert ist, w\u00e4hlt es in jedem Zustand den Zug mit der h\u00f6chsten Bewertung f\u00fcr diesen Zustand.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Bewertung entsteht nach und nach: Wenn ein Zug in einem Zustand zu einer Belohnung f\u00fchrt, wird dieser Zug h\u00f6her bewertet; f\u00fchrt er zu einer Strafe, wird er niedriger bewertet. F\u00fchrt ein Zug zwar nicht zu einer Strafe, aber zu einem Zustand mit lauter schlecht bewerteten Z\u00fcgen (also quasi eine Sackgasse, wo man schon verloren hat, aber es noch nicht wei\u00df), wird er gleichfalls reduziert.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Roberta auf Apfelsuche<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Im folgenden Beispiel gibt es f\u00fcr die Figur (Roberta) links oben eine Belohnung beim Erreichen des Apfel rechts unten oder rechts oben, worauf Roberta dann wieder von vorn startet. Der Zustand Robertas ergibt sich ganz einfach aus den x\/y-Koordinaten(mit 0, 0 links oben); in jedem Zustand gibt es vier M\u00f6glichkeiten (N, O, S, W) &#8211; aber den Weg zu einem Ziel kennt Roberta am Anfang nicht, weshalb das auch erst einmal langweilig aussieht:<\/p>\n\n\n\n<figure class=\"wp-block-video\"><video height=\"848\" style=\"aspect-ratio: 1168 \/ 848;\" width=\"1168\" controls src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/greenfoot_rl_maze_1.mp4\"><\/video><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Nach einer Zeit des Umherirrens st\u00f6\u00dft Roberta zuf\u00e4llig auf einen Apfel, und wenn sich das ein paar Mal wiederholt hat, kennt Roberta auch den Weg dorthin. Aber wie geschieht das?<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Roberta auf Apfelsuche, visualisiert<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Im folgenden Video wird f\u00fcr die gleiche Situation angezeigt, welchen Wert die Entscheidung f\u00fcr N, O, S, W im jeweiligen Zustand hat. War Roberta noch nicht in diesem Zustand, gibt es auch keine Informationen dar\u00fcber. Und am Anfang ist in jedem Zustand jede Entscheidung gleich bewertet, n\u00e4mlich mit 0, woran sich erst nach einer Weile etwas \u00e4ndert:<\/p>\n\n\n\n<figure class=\"wp-block-video\"><video height=\"848\" style=\"aspect-ratio: 1168 \/ 848;\" width=\"1168\" controls src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/greenfoot_rl_maze_2.mp4\"><\/video><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Nach einer Weile st\u00f6\u00dft Roberta auf den Apfel rechts oben, und zwar von links kommenden. In diesem  Zustand &#8222;links vom Apfel&#8220; erh\u00e4lt der Zug &#8222;O&#8220; eine Belohnung von 256. Sp\u00e4ter ist Roberta einmal im Zustand &#8222;zwei Felder links&#8220; vom Apfel und geht zuf\u00e4llig nach Osten und befindet sich in einem Zustand, dessen Maximalbewertung 256 ist. Deshalb wird im Zustand &#8222;zwei Felder links&#8220; vom Apfel der Zug &#8222;O&#8220;  auch bewertet, und zwar mit 128. (Warum nur halb so viel? Das liegt am Diskontierungsfaktor und der ist im Beispiel auf 0,5 eingestellt; es k\u00f6nnte auch ein anderer Wert kleiner 1 sein.)  <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Den Apfel rechts unten hat Roberta bei diesem Durchgang \u00fcbrigens gar nicht entdeckt! Wenn man m\u00f6chte, dass Roberta auch einmal den einmal gelernten, aber vielleicht gar nicht optimalen Weg verl\u00e4sst, muss man eine Explorationsrate hinzuf\u00fcgen, also eine gewisse Wahrscheinlichkeit, dass Roberta beim Training <em>nicht<\/em> den besten Zug macht, sondern einen zuf\u00e4lligen anderen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Ein Vergleich mit Tic-Tac-Toe<\/h2>\n\n\n\n<h4 class=\"wp-block-heading\">Warum das Beispiel so anschaulich ist<\/h4>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Weil der Zustandsraum, in dem sich Roberta bewegt, sch\u00f6n zweidimensional darstellbar ist. Es gibt im Beispiel maximal 9*7 Zust\u00e4nde, nicht alle davon erreichbar, und die lassen sich zweidimensional sch\u00f6n nebeneinander anordnen, so dass ein Zustands\u00fcbergang immer zu einem Nachbarfeld geht.<\/li>\n\n\n\n<li>Weil es pro Zustand nur 4 Optionen gibt, die sich sch\u00f6n kompakt darstellen lassen.<\/li>\n<\/ol>\n\n\n\n<h4 class=\"wp-block-heading\">Wie das bei Tic-Tac-Toe auss\u00e4he<\/h4>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Es gibt mehr Zust\u00e4nde, aber das ist nicht der Punkt: sie lassen sich vor allem nicht so zweidimensional anzeichnen, dass die \u00dcberg\u00e4nge sinnvoll visualisiert werden. Ich hab&#8217;s versucht.<\/li>\n\n\n\n<li>Pro Zustand gibt es am Anfang  9 Zugm\u00f6glichkeiten, mehr als gut anzeichenbar sind, auch wenn die sinnvollen Z\u00fcge immer weniger werden.<\/li>\n\n\n\n<li>Aber eigentlich w\u00e4re das das gleiche.<\/li>\n<\/ol>\n\n\n\n<h4 class=\"wp-block-heading\">Was beim Beispiel fehlt<\/h4>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Sackgassen. Beim Apfelsuchen gibt es von jedem Zustand (=Ort) einen Weg in einen Gewinn-Zustand, und es gibt von den W\u00e4nden abgesehen keinen Verloren-Zustand. Bei  Tic-Tac-Toe ist das anders, da gibt es Zust\u00e4nde, in die man gar nicht erst kommen sollte, weil die fr\u00fcher oder sp\u00e4ter zum Verlieren f\u00fchren. Das w\u00fcrde so aussehen:<\/li>\n<\/ol>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1168\" height=\"850\" src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/greenfoot_rl_maze_3.png\" alt=\"\" class=\"wp-image-69301\"\/><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Roberta auf Apfelsuche, mit Netz statt Tabelle<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">In der Praxis gibt es meist so viele Zust\u00e4nde, dass man mit einer Tabelle f\u00fcr Zugbewertungen je Zustand (Q-Table) nicht weit kommt. Au\u00dferdem m\u00f6chte man ja, dass <em>\u00e4hnliche<\/em> Zust\u00e4nde \u00e4hnlich bewertet werden, selbst wenn sie bislang unbekannt waren. Deshalb nimmt man statt der Tabelle ein neuronales Netz. Der Input ist der Zustand (hier also: ein x-Wert, ein y-Wert), die vier Outputs geben die Werte f\u00fcr die vier Optionen N, O, S, W an:<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1171\" height=\"850\" src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/greenfoot_rl_maze_4.png\" alt=\"\" class=\"wp-image-69308\"\/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Selbst f\u00fcr Zust\u00e4nde, die noch nicht erreicht wurden, die sogar nie erreicht werden k\u00f6nnen, spuckt das Netz Wahrscheinlichkeiten aus, weil es ja nicht anders kann, als Ergebnisse zu liefern. Dass die am Anfang nicht sinnvoll sind, ist klar, erst mit dem Training wird das Netz so justiert, dass es sinnvolle Wahrscheinlichkeiten ausgibt. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n","protected":false},"excerpt":{"rendered":"<p>(1 Kommentare.) Reinforcement Learning Einer der drei gro\u00dfen Haupttypen f\u00fcr maschinelles Lernen ist Reinforcement Learning. Hier habe viel dazu geschrieben: https:\/\/www.herr-rau.de\/wordpress\/2023\/03\/ki-reinforcement-learning-1.htm (Teil 1 von 4). Zwei einfache Beispiele und eine Erkl\u00e4rung Der Kern des Algorithmus ist dabei folgender: In jedem Systemzustand (also aktuelle Belegung des Spielfelds bei Tic-Tac-Toe, oder Abstand zur Stra\u00dfe nach vorn\/rechts\/links beim [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":69308,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[25],"tags":[227,254],"class_list":["post-69286","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-informatik","tag-informatik","tag-ki"],"_links":{"self":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/69286","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/comments?post=69286"}],"version-history":[{"count":3,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/69286\/revisions"}],"predecessor-version":[{"id":69309,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/69286\/revisions\/69309"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/media\/69308"}],"wp:attachment":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/media?parent=69286"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/categories?post=69286"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/tags?post=69286"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}