KI: Reinforcement Learning 1

(2 Kommentare.)

(Das ist kurzes Vorgeplänkel, das immer länger und deshalb ausgelagert wurde. In der Fortsetzung geht es dann um die konkrete Umsetzung.)

Über Algorithmen und Künstliche Intelligenz

Früher war das beim Programmieren in der Theorie so: Man sucht eine Lösung für ein wiederkehrendes Problem. Dazu vereinfacht man das Problem und überlegt sich eine relativ abstrakt gehaltene Lösung, einen Algorithmus. Der ist sozusage die Vorlage für ein Computerprogramm, ein Modell des Computerprogramms. Diesen setzt man dann in ein tatsächliches Programm in einer konkreten Programmiersprache um, und wenn alles gut gegangen ist, hilft das Ergebnis beim Lösen des Problems.

Dann wurde Algorithmus ein magisches und Teufelswort. „Computer says no“ ist eine schöne wiederkehrende Floskel aus der ansonsten von mir nicht geschätzten englischen Comedyserie Little Britain, mechanisch und tonlos vorzubringen: kann man nichts machen, der Computer hat entschieden, dass etwas nicht geht, und das hat man nicht zu hinterfragen oder anzuzweifeln; man würde die Erklärung ja ohnehin nicht verstehen. „Fünzig Jahre Black Box“ schrieb Kathrin Passig schon im Jahr 2017 (Text zu finden auf ihrer Seite), Black Box heißt: das Ding macht etwas und wir schauen nicht rein, damals schon nicht, weil unverständlich.

Und jetzt haben wir KI, künstliche Intelligenz, also schwache KI. Das heißt, wir beginnen wieder mit einem Problem, aber wir lassen den Zwischenschritt aus, uns einen abstrakten Algorithmus zu überlegen, sondern überlassen es dem Computer, selber die Lösung zu finden und umzusetzen. Am Ende hat man, wenn alles gut geht, ein Computerprogramm, das einem beim Lösen des Problems hilft. Ist dieses Computerprogramm ein Algorithmus? Wahrscheinlich ist das eine müßige Frage: Es ist auf jeden Fall die Umsetzung eines Algorithmus, der außerhalb dieser Umsetzung nirgendwo schriftlich oder übersichtlich festgehalten ist, schon mal, weil er sehr kompliziert ist. Soll man dann sagen: „Der Computer hat einen Algorithmus gefunden“ oder „sich für einen entschieden,“ oder soll man das dann nicht mehr Algorithmus nennen?

Was ist Künstliche Intelligenz? Ein Computerprogramm, also die Umsetzung eines Algorithmus, das etwas kann, von dem man denkt, dass ein Computerprogramm das nicht können würde, sondern nur ein intelligenter Mensch. Die Grenze verschiebt sich demnach immer weiter: sobald ein Programm etwas kann, hört das auf, KI zu sein, und wird Algorithmus. Siehe diesen schönen Thread: https://threadreaderapp.com/thread/1236094885905788928.html Aber natürlich sagt man KI dazu, und zumindest im Sinn von Machine Learning ist das auch etwas, was einigermaßen zusammenhängt, nämlich eine bestimmte Art des Vorgehens.

Das folgende Diagramm ist übrigens umstritten. Machine Learning ist vielleicht doch etwas anderes, da streitet man sich noch ein wenig.

Machine Learning

Das ist das Teilgebiet der schwachen KI, von dem man in den letzten Jahren so viel hört, erste Erfolge ab den 1990ern. Gemeint sind damit, jedenfalls soweit ich das verstehe, jeweils Algorithmen oder deren Umsetzung, die von Computern selbst erstellt werden, und zwar auf der Basis von vielen Datensätzen oder Durchgängen. Da gibt es wiederum mehrere Varianten.

Oberbegriff: Supervised Learning

Dazu gehört zum Beispiel das mit den Neuronalen Netzen, hier der Anfang einer Artikelreihe in meinem Blog dazu. Supervised Learning heißt, dass man den Computer mit einer Reihe von Aufgaben und Musterlösungen dazu so weit trainiert, dass er diese Aufgaben erledigen kann, in der Hoffnung, dass er ähnliche Aufgaben danach ähnlich gut lösen kann. Typische Beispiele: das Netz soll Datensätze in Kategorien einteilen, also Bilder von Hunden und Bilder von Katzen unterscheiden, oder Schafe/keine Schafe, Verkehrszeichen oder Handschrift erkennen. Man gibt Bilder vor, für die man die Lösung kennt, und trainiert damit das Netz. Ob es funktioniert, überprüft man mit weiteren Bildern, die man in der Hinterhand behalten hat und für die man die Lösung ebenfalls kennt. Und dann hofft man, das auch Bilder, für die man die Lösung nicht kennt, also neue Bilder, richtig zugeordnet werden. Das funktioniert nicht nur mit Bildern, sondern auch mit anderen Datensätzen.

Oberbegriff: Unsupervised Learning

Das heißt, dass man keine Musterlösungen vorgibt. Mehr dazu vielleicht später.

Oberbegriff: Reinforement Learning

Um das soll es in den folgenden Beiträgen gehen. Dabei wird bestimmtes, erwünschtes Verhalten nach und nach belohnt und unerwünschtest herabgesetzt, so dass die KI am Ende das erwünschte Verhalten zeigt. Ich bin kein Experte, in den nächsten Einträgen fasse ich für mich zusammen, was ich glaube verstanden zu haben, und freue mich auf Korrekturen.

(Fortsetzung folgt.)


Beitrag veröffentlicht am

in

Kommentare: 2

Schlagwörter:

Kommentare

2 Antworten zu „KI: Reinforcement Learning 1“

  1. […] (Fortsetzung von hier.) […]

  2. […] Lesen in Arbeit aus, aber die Teile die ich durch habe, waren spannend. KI: Reinforcement Learning: Teil 1, und Teil 2, und Teil 3. More to come wahrscheinlich mit […]

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert