{"id":23735,"date":"2023-03-04T08:20:41","date_gmt":"2023-03-04T07:20:41","guid":{"rendered":"https:\/\/www.herr-rau.de\/wordpress\/?p=23735"},"modified":"2023-03-18T08:16:14","modified_gmt":"2023-03-18T07:16:14","slug":"ki-reinforcement-learning-1","status":"publish","type":"post","link":"https:\/\/www.herr-rau.de\/wordpress\/2023\/03\/ki-reinforcement-learning-1.htm","title":{"rendered":"KI: Reinforcement Learning 1"},"content":{"rendered":"
(2 Kommentare.<\/a>)<\/small> <\/div>\n

(Das ist kurzes Vorgepl\u00e4nkel, das immer l\u00e4nger und deshalb ausgelagert wurde. In der Fortsetzung geht es dann um die konkrete Umsetzung.)<\/em><\/p>\n\n\n\n

\u00dcber Algorithmen und K\u00fcnstliche Intelligenz<\/h3>\n\n\n\n

Fr\u00fcher war das beim Programmieren in der Theorie so: Man sucht eine L\u00f6sung f\u00fcr ein wiederkehrendes Problem. Dazu vereinfacht man das Problem und \u00fcberlegt sich eine relativ abstrakt gehaltene L\u00f6sung, einen Algorithmus. Der ist sozusage die Vorlage f\u00fcr ein Computerprogramm, ein Modell des Computerprogramms. Diesen setzt man dann in ein tats\u00e4chliches Programm in einer konkreten Programmiersprache um, und wenn alles gut gegangen ist, hilft das Ergebnis beim L\u00f6sen des Problems.<\/p>\n\n\n\n

Dann wurde Algorithmus ein magisches und Teufelswort. „Computer says no“ ist eine sch\u00f6ne wiederkehrende Floskel aus der ansonsten von mir nicht gesch\u00e4tzten englischen Comedyserie Little Britain, mechanisch und tonlos vorzubringen: kann man nichts machen, der Computer hat entschieden, dass etwas nicht geht, und das hat man nicht zu hinterfragen oder anzuzweifeln; man w\u00fcrde die Erkl\u00e4rung ja ohnehin nicht verstehen. „F\u00fcnzig Jahre Black Box“ schrieb Kathrin Passig schon im Jahr 2017 (Text zu finden auf ihrer Seite<\/a>), Black Box hei\u00dft: das Ding macht etwas und wir schauen nicht rein, damals schon nicht, weil unverst\u00e4ndlich.<\/p>\n\n\n\n

Und jetzt haben wir KI, k\u00fcnstliche Intelligenz, also schwache KI. Das hei\u00dft, wir beginnen wieder mit einem Problem, aber wir lassen den Zwischenschritt aus, uns einen abstrakten Algorithmus zu \u00fcberlegen, sondern \u00fcberlassen es dem Computer, selber die L\u00f6sung zu finden und umzusetzen. Am Ende hat man, wenn alles gut geht, ein Computerprogramm, das einem beim L\u00f6sen des Problems hilft. Ist dieses Computerprogramm ein Algorithmus? Wahrscheinlich ist das eine m\u00fc\u00dfige Frage: Es ist auf jeden Fall die Umsetzung<\/em> eines Algorithmus, der au\u00dferhalb dieser Umsetzung nirgendwo schriftlich oder \u00fcbersichtlich festgehalten ist, schon mal, weil er sehr kompliziert ist. Soll man dann sagen: „Der Computer hat einen Algorithmus gefunden“ oder „sich f\u00fcr einen entschieden,“ oder soll man das dann nicht mehr Algorithmus nennen?<\/p>\n\n\n\n

Was ist K\u00fcnstliche Intelligenz? Ein Computerprogramm, also die Umsetzung eines Algorithmus, das etwas kann, von dem man denkt, dass ein Computerprogramm das nicht k\u00f6nnen w\u00fcrde, sondern nur ein intelligenter Mensch. Die Grenze verschiebt sich demnach immer weiter: sobald ein Programm etwas kann, h\u00f6rt das auf, KI zu sein, und wird Algorithmus. Siehe diesen sch\u00f6nen Thread: https:\/\/threadreaderapp.com\/thread\/1236094885905788928.html<\/a> Aber nat\u00fcrlich sagt man KI dazu, und zumindest im Sinn von Machine Learning<\/em> ist das auch etwas, was einigerma\u00dfen zusammenh\u00e4ngt, n\u00e4mlich eine bestimmte Art des Vorgehens. <\/p>\n\n\n\n

Das folgende Diagramm ist \u00fcbrigens umstritten. Machine Learning ist vielleicht doch etwas anderes, da streitet man sich noch ein wenig.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Machine Learning<\/h3>\n\n\n\n

Das ist das Teilgebiet der schwachen KI, von dem man in den letzten Jahren so viel h\u00f6rt, erste Erfolge ab den 1990ern. Gemeint sind damit, jedenfalls soweit ich das verstehe, jeweils Algorithmen oder deren Umsetzung, die von Computern selbst erstellt werden, und zwar auf der Basis von vielen Datens\u00e4tzen oder Durchg\u00e4ngen. Da gibt es wiederum mehrere Varianten.<\/p>\n\n\n\n

Oberbegriff: Supervised Learning<\/h4>\n\n\n\n

Dazu geh\u00f6rt zum Beispiel das mit den Neuronalen Netzen, hier der Anfang einer Artikelreihe<\/a> in meinem Blog dazu. Supervised Learning hei\u00dft, dass man den Computer mit einer Reihe von Aufgaben und Musterl\u00f6sungen dazu<\/em> so weit trainiert, dass er diese Aufgaben erledigen kann, in der Hoffnung, dass er \u00e4hnliche Aufgaben danach \u00e4hnlich gut l\u00f6sen kann. Typische Beispiele: das Netz soll Datens\u00e4tze in Kategorien einteilen, also Bilder von Hunden und Bilder von Katzen unterscheiden, oder Schafe\/keine Schafe, Verkehrszeichen oder Handschrift erkennen. Man gibt Bilder vor, f\u00fcr die man die L\u00f6sung kennt, und trainiert damit das Netz. Ob es funktioniert, \u00fcberpr\u00fcft man mit weiteren Bildern, die man in der Hinterhand behalten hat und f\u00fcr die man die L\u00f6sung ebenfalls kennt. Und dann hofft man, das auch Bilder, f\u00fcr die man die L\u00f6sung nicht kennt, also neue Bilder, richtig zugeordnet werden. Das funktioniert nicht nur mit Bildern, sondern auch mit anderen Datens\u00e4tzen.<\/p>\n\n\n\n

Oberbegriff: Unsupervised Learning<\/h4>\n\n\n\n

Das hei\u00dft, dass man keine Musterl\u00f6sungen vorgibt. Mehr dazu vielleicht sp\u00e4ter.<\/p>\n\n\n\n

Oberbegriff: Reinforement Learning<\/h4>\n\n\n\n

Um das soll es in den folgenden Beitr\u00e4gen gehen. Dabei wird bestimmtes, erw\u00fcnschtes Verhalten nach und nach belohnt und unerw\u00fcnschtest herabgesetzt, so dass die KI am Ende das erw\u00fcnschte Verhalten zeigt. Ich bin kein Experte, in den n\u00e4chsten Eintr\u00e4gen fasse ich f\u00fcr mich zusammen, was ich glaube verstanden zu haben, und freue mich auf Korrekturen.<\/p>\n\n\n\n

(Fortsetzung folgt.<\/a>)<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

(2 Kommentare.) (Das ist kurzes Vorgepl\u00e4nkel, das immer l\u00e4nger und deshalb ausgelagert wurde. In der Fortsetzung geht es dann um die konkrete Umsetzung.) \u00dcber Algorithmen und K\u00fcnstliche Intelligenz Fr\u00fcher war das beim Programmieren in der Theorie so: Man sucht eine L\u00f6sung f\u00fcr ein wiederkehrendes Problem. Dazu vereinfacht man das Problem und \u00fcberlegt sich eine relativ […]<\/p>\n","protected":false},"author":2,"featured_media":23929,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[25],"tags":[227,254],"class_list":["post-23735","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-informatik","tag-informatik","tag-ki"],"jetpack_featured_media_url":"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_ueberblick.png","jetpack_sharing_enabled":true,"jetpack_likes_enabled":true,"_links":{"self":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/23735","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/comments?post=23735"}],"version-history":[{"count":3,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/23735\/revisions"}],"predecessor-version":[{"id":28114,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/23735\/revisions\/28114"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/media\/23929"}],"wp:attachment":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/media?parent=23735"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/categories?post=23735"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/tags?post=23735"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}