{"id":16617,"date":"2020-08-22T15:41:56","date_gmt":"2020-08-22T13:41:56","guid":{"rendered":"https:\/\/www.herr-rau.de\/wordpress\/?p=16617"},"modified":"2023-07-26T12:25:37","modified_gmt":"2023-07-26T10:25:37","slug":"ki-fast-alles-was-ich-darueber-weiss-teil-1","status":"publish","type":"post","link":"https:\/\/www.herr-rau.de\/wordpress\/2020\/08\/ki-fast-alles-was-ich-darueber-weiss-teil-1.htm","title":{"rendered":"KI: Fast alles, was ich dar\u00fcber wei\u00df (Teil 1)"},"content":{"rendered":"<div style='text-align:right;'><small>(<a href='https:\/\/www.herr-rau.de\/wordpress\/2020\/08\/ki-fast-alles-was-ich-darueber-weiss-teil-1.htm#comments'>7 Kommentare.<\/a>)<\/small> <\/div>\n<h2 class=\"wp-block-heading\">1. Starke und schwache KI<\/h2>\n\n\n\n<p>K\u00fcnstliche Intelligenz gibt es in zwei (zumindest zur Zeit) verschiedenen Auspr\u00e4gungen: Starke KI und schwache KI.<\/p>\n\n\n\n<p><strong>Starke KI<\/strong> ist das, was man aus der Science Fiction kennt: Intelligente Computer, die die Herrschaft \u00fcber die Welt oder das Raumschiff an sich rei\u00dfen m\u00f6chten, mit charmantem oder fiesem Charakter, oder die sich gro\u00dfm\u00fctig f\u00fcr den Menschen opfern und fr\u00fcher oder sp\u00e4ter die gleichen Rechte wie Menschen zugestanden kriegen. Das soll ein Computer richtig <em>verstehen,<\/em> was um ihn und in ihm vorgeht. Darum dreht sich die \u00f6ffentliche Diskussion zur Zeit gar nicht.<\/p>\n\n\n\n<p><strong>Schwache KI<\/strong> ist all das, von dem man zur Zeit h\u00f6rt: Selbstfahrende Autos; Computer, die besser Schach oder Go spielen als Menschen, Computer, die Gesichter erkennen k\u00f6nnen, Computerspiele spielen oder Texte automatisch \u00fcbersetzen k\u00f6nnen, oder die Gesichter in ganzen Filmen durch andere Gesichter ersetzen k\u00f6nnen, mit Bewegung und allem. Schwach deshalb, weil die Computer diese Leistungen vollbringen, ohne dabei wirklich zu verstehen, was sie da machen. (Ja, schon gut, philosophische Sache, woher man das wei\u00df, dass sie das nicht verstehen. Man wei\u00df es.) Trotzdem sind diese Leistungen beeindruckend.<\/p>\n\n\n\n<p>Diese KIs k\u00f6nnen Texte \u00fcbersetzen und Texte produzieren. Texte produzieren ist leicht: Man nehme einen vorhanden Textkorpus, lasse den Rechner den ein bisschen analysieren, und auf dieser Basis kann der Rechner dann eigene Texte erstellen. Wenn man sich dabei so wenig M\u00fche gibt <a href=\"https:\/\/www.herr-rau.de\/wordpress\/2019\/06\/markow-ketten-und-textgenerierung.htm\">wie ich mit einfachen Markow-Ketten<\/a>, dann kommen dabei allerdings nur ziemliche Unsinnstexte heraus. Wenn man sich mehr M\u00fche gibt und brandheue KI-L\u00f6sungen verwendet, gibt es <em>sehr<\/em> viel \u00fcberzeugendere Texte &#8211; auch wenn der Computer immer noch nicht <em>versteht,<\/em> was er da schreibt.<\/p>\n\n\n\n<div class=\"wp-block-group has-pale-cyan-blue-background-color has-background is-layout-flow wp-block-group-is-layout-flow\">\n<h3 class=\"wp-block-heading\">Exkurs: Winograd-S\u00e4tze<\/h3>\n\n\n\n<p>(<a href=\"https:\/\/en.wikipedia.org\/wiki\/Winograd_Schema_Challenge\">Wikipedia dazu.<\/a>) Das sind S\u00e4tze, die als eine Art Weiterentwicklung oder Erg\u00e4nzung des Turing-Tests gedacht sind. Sie sind alle nach einem strikten Schema aufgebaut. Hier ein Beispiel:<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p>The trophy does not fit in the suitcase because it is too small\/large.<\/p>\n<\/blockquote>\n\n\n\n<p>Jeden Satz gibt es in zwei Varianten, die sich nur durch ein Wort unterscheiden (&#8222;small\/large&#8220;). Dabei \u00e4ndert sich die Bedeutung des Pronomens (&#8222;it&#8220;) mit der Auswahl des einen oder anderen Wortes: In &#8222;The trophy does not fit in the suitcase because it is too small&#8220; bezieht sich das Pronomen auf &#8222;suitcase&#8220;, in &#8222;The trophy does not fit in the suitcase because it is too large&#8220; bezieht es sich auf &#8222;trophy&#8220;. Solche S\u00e4tze gibt es viele. Wenn man wissen will, ob ein Mensch oder eine Maschine den einen oder anderen Satz richtig verstanden hat, fragt man nach dem Bezug des Pronomens.<\/p>\n\n\n\n<p><em>Eine<\/em> schnelle M\u00f6glichkeit, das zu testen, besteht darin, die S\u00e4tze \u00fcbersetzen zu lassen. Im Franz\u00f6sischen oder Deutschen gibt es die Kategorie Genus, so dass in dem Beispielsatz oben das &#8222;it&#8220; entweder &#8222;sie&#8220; steht (die Troph\u00e4e\/die Auszeichnung&#8220; oder &#8222;er&#8220; (der Koffer). Nat\u00fcrlich geht das nicht mit allen Winograd-S\u00e4tzen, aber zumindest mit manchen: In <a href=\"https:\/\/cs.nyu.edu\/faculty\/davise\/papers\/WSTranslation.html\">Winograd Schemas and Machine Translation: Some Examples<\/a> (Januar 2020) wird f\u00fcr 37 Satzpaare \u00fcberpr\u00fcft, wie korrekt Google Translate und DeepL sie \u00fcbersetzen. <\/p>\n\n\n\n<p>Bezug nehmen auf fr\u00fchere Untersuchungen steht als Fazit: &#8222;Bottom line: As of January 2020, Winograd Schemas are very hard for machine translation programs, but the programs are beginning to make some inroads on them.&#8220; (Und auch wenn diese S\u00e4tze richtig \u00fcbersetzt werden, ist das kein Beweis daf\u00fcr, dass sie verstanden werden; es funktioniert nur in die eine Richtung.)<\/p>\n<\/div>\n\n\n\n<h2 class=\"wp-block-heading\">2. KI als Algorithmen<\/h2>\n\n\n\n<p>Tats\u00e4chlich hei\u00dft KI (also die schwache, um die es gerade geht) auch nichts anderes als Algorithmus. Michael Brenner hat da mal einen sch\u00f6nen Twitter-Thread dazu geschrieben:<\/p>\n\n\n\n<blockquote class=\"twitter-tweet\"><p lang=\"de\" dir=\"ltr\">Zum Begriff &quot;K\u00fcnstliche Intelligenz&quot;: (Thread)<br><br>KI ist keine Technologie, sondern die Bezeichnung f\u00fcr ein Teilgebiet der Informatik.<\/p>&mdash; Michael Brenner @michaelbrenner@bildung.social (@embee0) <a href=\"https:\/\/twitter.com\/embee0\/status\/1236094885905788928?ref_src=twsrc%5Etfw\">March 7, 2020<\/a><\/blockquote> <script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script> \n\n\n\n<p><a href=\"https:\/\/threadreaderapp.com\/thread\/1236094885905788928.html\">Hier als zusammenh\u00e4ngender Text lesbar (&#8222;unrolled&#8220;). <\/a><\/p>\n\n\n\n<p>Was ich daraus mitgenommen habe, und \u00fcberspitzt formuliert: K\u00fcnstliche Intelligenz betrifft Aufgaben, die ein Computer nicht l\u00f6sen kann, weil man dazu echte Intelligenz braucht. Wenn ein Computer sie dann doch l\u00f6sen kann, sind sie auch keine KI mehr, weil ein Computer sie ja gel\u00f6st hat.<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p>Wenn ein Computer etwas kann, dann sieht man die Mechanik hinter diesem Verhalten, den Algorithmus. Dadurch verschwindet der Mythos des &#8222;requiring intelligence&#8220;. Also ist es pl\u00f6tzlich &#8222;nur noch&#8220; Informatik und keine KI mehr.<\/p>\n<\/blockquote>\n\n\n\n<p>Anders gesagt, auch aus dem Thread: &#8222;As soon as it works, no one calls it AI anymore.&#8220; (John McCarthy)<\/p>\n\n\n\n<p>Das Teilgebiet der KI, das ich oben mit schwacher KI meinte, hei\u00dft <strong>Machine Learning.<\/strong> Da gibt es viele verschiedene Ans\u00e4tze, nur einer davon ist der mit neuronalen Netzen. Allen Ans\u00e4tzen ist gemeinsam (Vorsicht: ich bin Laie), dass es quasi bei jedem Algorithmus sehr viele Drehregler gibt, also Dutzende oder Millionen oder Milliarden. Damit der Algorithmus richtig funktioniert, muss man all diese Drehregler richtig einstellen. Leider wei\u00df man nat\u00fcrlich am Anfang nicht, welche Einstellung die jeweils richtige ist. Also setzt man dem Machine-Learning-System eine gro\u00dfe Menge an Probe-Datens\u00e4tzen vor, anhand derer mehr oder weniger automatisch nach und nach die richtigen Einstellungen f\u00fcr die Drehregler getroffen werden. Das ist das Lernen am Maschinellen Lernen. Wenn das System richtig trainiert\/eingestellt ist, dann kann es auch mit unbekannten, aber verwandten Datens\u00e4tzen arbeiten.<\/p>\n\n\n\n<p>(Man unterscheidet dabei<em> supervised learning, unsupervised learning, reinforcment learning<\/em>, aber darauf gehe ich vielleicht ein anderes Mal ein. Meine Beispiele hier werden wohl meist aus dem <em>supervised learning<\/em> kommen, also wenn man solange anhand von Daten \u00fcbt, bei denen die L\u00f6sung schon bekannt ist, bis der Algorithmus bei diesen Daten alles richtig macht &#8211; in der Hoffnung, dass das bei neuen Daten dann auch der Fall sein wird.)<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">3. Typische und einfache Aufgaben<\/h2>\n\n\n\n<p>So eine KI sollte erkennen k\u00f6nnen, ob auf einem Foto ein Hund ist oder eine Katze oder keines von beiden. Oder ein Bus! Manchmal st\u00f6\u00dft man im Web auf Seiten, die sich etwa vor dem Herunterladen vergewissern wollen, ob da wirklich ein Mensch sitzt oder doch eine automatische Abfrage. Dann kriegt man vielleicht so eine Aufgabe gestellt:<\/p>\n\n\n\n<figure class=\"wp-block-image aligncenter size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"253\" height=\"367\" src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_captcha_bus_klein.png\" alt=\"\" class=\"wp-image-16636\" srcset=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_captcha_bus_klein.png 253w, https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_captcha_bus_klein-207x300.png 207w, https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_captcha_bus_klein-103x150.png 103w\" sizes=\"auto, (max-width: 253px) 100vw, 253px\" \/><\/figure>\n\n\n\n<p>Dem intelligente menschlichen Benutzer f\u00e4llt es leicht, die Busse auf den Bildern zu erkennen. (Also, theoretisch. Praktisch scheitere ich immer wieder an diesen Aufgaben.) Diese reCaptcha genannten Systeme haben zweierlei Aufgabe: a) sie \u00fcberpr\u00fcfen, ob da ein Mensch sitzt, und b) sie f\u00fcttern das System mit Input: Die menschlichen Eingaben werden auch, oder manchmal, dazu genutzt, das KI-System dahinter lernen zu lassen.<\/p>\n\n\n\n<p>Allerdings hat dieses Lernen auch seine T\u00fccken. Wenn ein System lernen soll, Rotkehlchen und Gartenrotschw\u00e4nze zu unterscheiden, und in allen \u00dcbungs-Datens\u00e4tzen schauen die Rotkehlchen nach links und die Gartenrotschw\u00e4nze nach rechts schauen, dann unterscheidet das System nach dem Trainieren vielleicht tats\u00e4chlich alle \u00dcbungs-Datens\u00e4tze korrekt, aber in der Praxis zeigt sich, dass es gelernt hat, nach links und nach rechts schauende V\u00f6gel zu unterscheiden. In <a href=\"https:\/\/aiweirdness.com\/post\/171451900302\/do-neural-nets-dream-of-electric-sheep\">Do neural nets dream of electric sheep?<\/a> wird eine Situation beschrieben, wo eine KI Schafe erkennen sollte, tats\u00e4chlich aber gelernt hat, Gras zu erkennen.<\/p>\n\n\n\n<p>Eine weitere Aufgabe ist die, Handschriften zu entziffern. Darauf komme ich sp\u00e4ter zur\u00fcck. <\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Eine kleine Beispielaufgabe<\/h3>\n\n\n\n<p>In einer Firma arbeiten 1000 Menschen. Zu jedem Menschen gibt es einen Datensatz mit ganz vielen Daten: K\u00f6rpergr\u00f6\u00dfe und Haarfarbe und Schulbildung und Lieblingsfarbe und so weiter. Au\u00dfer wei\u00df die Personalabteilung von jedem Menschen, ob er gut arbeitet oder schlecht. Wenn sich jetzt eine neue Mitarbeiterin  bewirbt, w\u00e4re es nicht sch\u00f6n, voraussagen zu k\u00f6nnen, ob sie gut arbeiten wird oder schlecht? Kann man vielleicht anhand der vielen Daten, die \u00fcber eine Person gespeichert sind, herausfinden, wie gut sie arbeiten wird?<\/p>\n\n\n\n<p>(Das Problem ist nat\u00fcrlich bedenklich. \u00c4hnlich auch: Kann ich aus Geschlecht und den Zeugnisnoten eines Sch\u00fclers oder einer Sch\u00fclerin voraussagen, welche Charakteristik ich ins Jahreszeugnis eintragen soll? &#8222;Die freundliche, etwas zur\u00fcckhaltende Sch\u00fclerin&#8230;&#8220; Note 1 in Sport, sonst immer 3-4, eine 5 in Kunst: ist damit nicht schon alles gesagt \u00fcber die Charakteristik? Also, in Wirklichkeit hoffentlich nicht, aber es t\u00e4te mich schon reizen, das mal herauszufinden. Gerne auch dann best\u00e4tigt, dass es eben nicht geht.)<\/p>\n\n\n\n<p>Ich m\u00f6chte das Problem noch weiter vereinfachen, um es anschaulicher machen zu k\u00f6nnen: Sagen wir, die Datens\u00e4tze f\u00fcr die Angestellten bestehen nur aus zwei Kriterien: K\u00f6rpergr\u00f6\u00dfe und und Lautst\u00e4rke. In Wirklichkeit ist die Leistungsf\u00e4higkeit von Menschen, was auch immer man darunter versteht, nicht sehr von diesen Faktoren abh\u00e4ngig, deswegen w\u00fcrde die Verteilung etwa so aussehen:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"282\" height=\"256\" src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_kleinundlaut1.png\" alt=\"\" class=\"wp-image-16641\" srcset=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_kleinundlaut1.png 282w, https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_kleinundlaut1-150x136.png 150w\" sizes=\"auto, (max-width: 282px) 100vw, 282px\" \/><\/figure>\n\n\n\n<p>Dabei bedeutet ein wei\u00dfes K\u00e4stchen, das jemand mit dieser Gr\u00f6\u00dfe und jener Lautst\u00e4rke sehr leistungsf\u00e4hig ist, schwarz bedeutet, dass nicht leistungsf\u00e4hig, grau irgendwo dazwischen.  Das ist ziemlich zuf\u00e4llig verteilt und auch ein Computer w\u00fcrde da kein nennenswertes Muster erkennen.<\/p>\n\n\n\n<p>Wir tun jetzt aber mal so, als w\u00e4re das anders. Als g\u00e4be es eine einfache Korrelation zwischen Gr\u00f6\u00dfe, Lautst\u00e4rke und Leistung. Nat\u00fcrlich w\u00fcrde man diese Korrelation auch als Mensch sehr schnell erkennen. Aber in Wirklichkeit gibt es ja nicht nur diese zwei Faktoren, sondern hunderte weitere, und da erkennt man als Mensch das Muster nicht. Man kann aber eine Maschine anhand der 1000 vorhandenen Datens\u00e4tze trainieren, dieses Muster zu erkennen und auf weitere, neue Datens\u00e4tze anzuwenden:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"282\" height=\"256\" src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_kleinundlaut2.png\" alt=\"\" class=\"wp-image-16649\" srcset=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_kleinundlaut2.png 282w, https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_kleinundlaut2-150x136.png 150w\" sizes=\"auto, (max-width: 282px) 100vw, 282px\" \/><\/figure>\n\n\n\n<p>Wenn ich den Datensatz eines neues Mitarbeiters in den Algorithmus eingebe (hunderte Daten, hier vereinfacht: Gr\u00f6\u00dfe und Lautst\u00e4rke), der sehr klein und sehr laut ist, dann sagt mir der Algorithmus, dass der leistungsf\u00e4hig sein wird, zeichnet ihn also schwarz ein, und zwar links oben. Gro\u00df und laut dagegen, also rechts oben: eh, grau, weil nur ein Kriterium erf\u00fcllt. Gro\u00df und still, rechts unten, ganz schwarz &#8211; das Gegenteil von dem, was die Firma will. In der Grafik oben habe ich einfach 500 neue Mitarbeiter und Mitarbeiterinnen unterschiedlicher Gr\u00f6\u00dfe und Lautst\u00e4rke generiert und die Einsch\u00e4tzungen des Algorithmus grafisch dargestellt. Man erkennt dabei eine Linie, die die wei\u00dfen und die schwarzen Einsch\u00e4tzungen voneinander trennt.<\/p>\n\n\n\n<p><strong>Der n\u00e4chste Schritt: <\/strong>Angestellte kriegen ein drittes Kriterium in den Datensatz, neben Gr\u00f6\u00dfe, Lautst\u00e4rke jetzt auch noch Klugheit. Wieder tun wir so, als w\u00fcssten wir zwar, welche Angestellten leistungsf\u00e4hig sind, aber nicht, warum. (Dabei lautet die geheime Regel, die der Algorithmus erst sichtbar machen soll: Erfolgreiche Angestellte d\u00fcrfen nicht zu gro\u00df sein, m\u00fcssen laut sein, und d\u00fcrfen <em>nicht <\/em>besonders klug sein.) Wir f\u00fcttern wieder unseren Algorithmus mit den 1000 Datens\u00e4tzen, f\u00fcr die wir die L\u00f6sung kennen, bis der Algorithmus bei diesen 1000 das richtige Ergebnis ausspuckt &#8211; in der Hoffnung, dass er das auch bei neuen, zuk\u00fcnftigen Eingaben machen wird. Grafisch dargestellt sieht das so aus:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"282\" height=\"256\" src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_kleinundlaut3.png\" alt=\"\" class=\"wp-image-16651\" srcset=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_kleinundlaut3.png 282w, https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_kleinundlaut3-150x136.png 150w\" sizes=\"auto, (max-width: 282px) 100vw, 282px\" \/><\/figure>\n\n\n\n<p>Das ist jetzt fast so \u00e4hnlich wie zuvor, aber irgendwie etwas weniger sauber. Was macht ein grauer Punkt links oben etwa? Das liegt daran, dass es jetzt drei Kriterien gibt, die zweidimensionale Grafik aber nur die ersten beiden davon darstellt. Trennte vorhin eine Linie im zweidimensionalen Raum den schwarzen vom wei\u00dfen Bereich, so ist es jetzt eine Ebene, die im dreidimensionalen Raum, einem W\u00fcrfel etwa, die Bereiche trennt: Alle wei\u00dfen Punkte sind in einer Ecke des W\u00fcrfels auf der einen Seite der Ebene, alle schwarzen auf der anderen Seite. Das l\u00e4sst sich aber nur schlecht darstellen.<\/p>\n\n\n\n<div class=\"wp-block-group has-light-green-cyan-background-color has-background is-layout-flow wp-block-group-is-layout-flow\">\n<h3 class=\"wp-block-heading\">Exkurs: Robert Gernhardt<\/h3>\n\n\n\n<p>Mein etwas konstruiertes Beispiels um kleine, laute und dumme Menschen dient nat\u00fcrlich dazu, auf das sch\u00f6ne kurze Gedicht &#8222;Trost und Rat&#8220; von Robert Gernhardt hinzuweisen. <a href=\"https:\/\/www.lyrikline.org\/de\/gedichte\/trost-und-rat-1376\">Hier kann man es lesen<\/a> und auch eine Aufnahme von Gernhardt h\u00f6ren.<\/p>\n\n\n\n<p>Ich zeige das Gedicht gerne in der Schule, weil es a) sch\u00f6n und b) metrisch interessant ist. An sich troch\u00e4ische Vierheber, es beginnt: &#8222;Ja wer wird denn gleich verzweifeln, \/ weil er klein und laut und dumm ist?&#8220; und steigert sich dann dazu, stolz mit dem affirmativen, die Klein-, Laut- und Dummheit bejahenden Schlussvers zu sagen:<\/p>\n\n\n\n<p>&#8222;ich war klein u n d laut u n d dumm.&#8220;<\/p>\n\n\n\n<p>Das zweimalige &#8222;und&#8220; ist gesperrt gedruckt, Signal f\u00fcr die Betonung, und auch vom Sinn her geht es ja genau darum, die beiden &#8222;und&#8220; zu betonen. Aber an sich ist das Metrum immer noch troch\u00e4isch &#8211; ein sch\u00f6nes Beispiel f\u00fcr Synkope auch in der Lyrik.<\/p>\n<\/div>\n\n\n\n<p>Kurze Vorschau: Was ist, wenn der Algorithmus Leute erkennen soll, die entweder klein oder laut sind, aber auf keinen Fall beides? Das geht nat\u00fcrlich auch. Aber der ganz einfache Algorithmus, den ich n\u00e4chstes Mal vorstelle, kann das nicht, da muss eine etwas erweiterte Form ran, \u00e4hnlich wie f\u00fcr dias jetzt folgende Beispiel.)<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Eine weniger kleine Aufgabe<\/h3>\n\n\n\n<p>Nehmen wir folgenden Datensatz, bestehend aus 784 Daten:<\/p>\n\n\n\n<pre class=\"wp-block-preformatted\">0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,84,185,159, 151,60,36,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,222,254,254,254,254,241, 198,198,198,198,198,198,198,198,170,52,0,0,0,0,0,0,0,0,0,0,0,0,67,114,72, 114,163,227,254,225,254,254,254,250,229,254,254,140,0,0,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,17,66,14,67,67,67,59,21,236,254,106,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,83,253,209,18,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,22, 233,255,83,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,129,254,238,44,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,59,249,254,62,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,133,254,187,5,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,9, 205,248,58,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,126,254,182,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,75,251,240,57,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,19,221,254,166,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,203, 254,219,35,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,38,254,254,77,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,31,224,254,115,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,133,254,254,52,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,61, 242,254,254,52,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,121,254,254,219,40, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,121,254,207,18,0,0,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0<\/pre>\n\n\n\n<p>Die 784 Zahlen k\u00f6nnten f\u00fcr 784 Merkmale der Firmen-Angestellten stehen. Zum Beispiel. Dem Algorithmus ist das egal, f\u00fcr ihn sind das nur Zahlen. Wenn man die 784 Zahlen in einer 28&#215;28-Matrix anordnet, sehen sie so aus:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"561\" height=\"337\" src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest2.png\" alt=\"\" class=\"wp-image-16656\" srcset=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest2.png 561w, https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest2-300x180.png 300w, https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest2-150x90.png 150w\" sizes=\"auto, (max-width: 561px) 100vw, 561px\" \/><\/figure>\n\n\n\n<p>Und wenn man den Zahlen Farbwerte zuweist (0 wei\u00df, 255 schwarz), dann kann man sich das als Bild zeigen lassen:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"231\" height=\"218\" src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest1.png\" alt=\"\" class=\"wp-image-16657\" srcset=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest1.png 231w, https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest1-150x142.png 150w\" sizes=\"auto, (max-width: 231px) 100vw, 231px\" \/><\/figure>\n\n\n\n<p>Ah! Denn die 784 Zahlen stammen letztlich von einer digitalisierten handschriftlichen &#8222;7&#8220;. Handschriften zu erkennen ist eine typische Mustererkennungsaufgabe f\u00fcr KI. Bei den Angestellten der Firma gab es nur zwei oder drei Eingabewerte, hier sind es 784, aber im Prinzip ist es das gleiche. Wir als Mensch k\u00f6nnten nie aufschreiben, welche Eigenschaften diese 784 Werte exakt haben m\u00fcssen, um am Ende als &#8222;7&#8220; interpretiert zu werden. Aber wir sehen sofort, dass diese 784 Werte eine &#8222;7&#8220; sind &#8211; jedenfalls wenn wir die Werte in geeignete, also grafischer, Form vorgesetzt bekommen. Mit den Zahlen allein k\u00f6nnten wir auch nicht viel anfangen. Ein Algorithmus braucht aber irgendwo ganz fest aufgeschrieben, welche 784 Wertkombinationen f\u00fcr eine &#8222;7&#8220; stehen, und welche f\u00fcr andere Ziffern, und welche wahrscheinlich gar nicht f\u00fcr Ziffern stehen.<\/p>\n\n\n\n<p>Zum Herumspielen damit gibt es die MNIST-Datenbank (<a href=\"https:\/\/en.wikipedia.org\/wiki\/MNIST_database\">Wikipedia<\/a>), eine Sammlung von handschriftlichen Ziffern in maschinenfreundlicher Form. Die Sammlung besteht aus 60000 Datens\u00e4tzen zum \u00dcben und 10000 Datens\u00e4tzen zum \u00dcberpr\u00fcfen. Anhand der \u00dcbungss\u00e4tze wird, uh, ge\u00fcbt, und wenn der Algorithmus\/das KI-System mit diesen 60000 umgehen kann, kann man mit den 10000 zus\u00e4tzlichen Datens\u00e4tzen \u00fcberpr\u00fcfen, ob das auch mit bislang unbekannten Datens\u00e4tzen geht.<\/p>\n\n\n\n<p>(Warum diese Trennung? Es besteht ja die Gefahr, dass man den Algorithmus darauf trainiert, exakt die 60000 Ziffernbeispiel zu erkennen, dass er aber versagt bei anderen. Und das Ziel ist ja, dass er <em>beliebige<\/em> eingescannte Ziffern erkennt. Auch daf\u00fcr gibt es vielleicht im n\u00e4chsten Beitrag Beispiele. Und nat\u00fcrlich muss man bei der Auswahl auch aufpassen, dass man nicht nur Rechtsh\u00e4nder hat, nicht nur Privatschulsch\u00f6nschreibende, M\u00e4nner und Frauen, und so weiter.)  <\/p>\n\n\n\n<p>Manche Leute, die sich auskennen, halten diese Sammlung aus verschiedenen Gr\u00fcnden f\u00fcr ernsthafte Forschung ungeeignet. Aber sie ist verbreitet, und mir geht es ja nur ums Spielen. Allerdings ist die Sammlung in ihrer urspr\u00fcnglichen Form unhandlich, deshalb ist es sch\u00f6n, dass <a href=\"https:\/\/pjreddie.com\/projects\/mnist-in-csv\/\">Joseph Redmon sich die M\u00fche gemacht hat,<\/a> zwei (gro\u00dfe) csv-Dateien mit dem MNIST-Datens\u00e4tzen zu erstellen und zum Herunterladen anzubieten.<\/p>\n\n\n\n<p>Das Programm, das ich mir geschrieben habe, und mit dem ich ein bisschen KI spiele, spuckt mir nach noch gar nicht mal so ausf\u00fchrlichem Training mit 10000 \u00dcbungsziffern f\u00fcr die oben gezeigte 7 (die erste Ziffer des Testsatzes) folgendes Ergebnis aus:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>Ziffer:  0    | 1    | 2    | 3    | 4    | 5    | 6    | 7    | 8    | 9\nAusgabe: 0.07 | 0.00 | 0.04 | 0.10 | 0.00 | 0.00 | 0.00 | 0.47 | 0.10 | 0.13\n--&gt; vermutung: 7\n--&gt; tatsaechlich: 7<\/code><\/pre>\n\n\n\n<p>Das hei\u00dft, am ehesten h\u00e4lt das System die Eingangsdaten f\u00fcr eine &#8222;7&#8220;, und ist sich dabei immerhin zu 47% sicher; ansonsten gibt es keine aussichtsreichen Kandidaten. Brav. <\/p>\n\n\n\n<p>Die erste falsch identifizierte Ziffer ist die hier, die neunte des Testsatzes:<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"231\" height=\"218\" src=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest3.png\" alt=\"\" class=\"wp-image-16672\" srcset=\"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest3.png 231w, https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest3-150x142.png 150w\" sizes=\"auto, (max-width: 231px) 100vw, 231px\" \/><\/figure>\n\n\n\n<pre class=\"wp-block-code\"><code>Ziffer:  0    | 1    | 2    | 3    | 4    | 5    | 6    | 7    | 8    | 9\nAusgabe: 0.06 | 0.04 | 0.09 | 0.01 | 0.00 | 0.04 | 0.60 | 0.04 | 0.02 | 0.00\n--&gt; vermutung: 6\n--&gt; tatsaechlich: 5<\/code><\/pre>\n\n\n\n<p>Das hei\u00dft, mit 60% hat das System die Eingangsdaten als &#8222;6&#8220; identifiziert, ansonsten gibt es keine aussichtsreichen Kandidaten. Zugegeben, die Ziffer sieht schon halbwegs wie eine &#8222;6&#8220; aus, dennoch h\u00e4tte ich mich gefreut, wenn mein System der &#8222;5&#8220; wenigstens eine gr\u00f6\u00dfere Wahrscheinlichkeit zugeordnet h\u00e4tte. Nun ja, vielleicht h\u00e4tte ich noch mehr \u00fcben sollen, mit noch mehr Datens\u00e4tzen. Aber das braucht alles Rechenzeit. <em>Wenn<\/em> man dann mal die richtigen Einstellungen f\u00fcr den Algorithmus hat (ein kleines neuronales Netz \u00fcbrigens), dann geht das Rechnen und Entscheiden f\u00fcr beliebige neue Eingaben schnell. Aber auf die richtigen Einstellungen zu kommen, das ist eben aufw\u00e4ndig.<\/p>\n\n\n\n<p><a href=\"https:\/\/www.herr-rau.de\/wordpress\/2020\/08\/ki-fast-alles-was-ich-darueber-weiss-teil-2-neuronen.htm\">Aber dazu mehr in der Fortsetzung,<\/a> wo es ums Technische geht. (Auch nicht sehr: Perzeptron, einfache neuronale Netze mit einer versteckten Ebene, ein paar Beispielaufgaben, die mir gelungen sind oder an denen ich gescheitert bin.) Dort dann auch Links.<\/p>\n\n\n\n<p><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/vg08.met.vgwort.de\/na\/937fd7bc8aea44d4adeb7c8061d9c89c\" alt=\"\" width=\"1\" height=\"1\"><\/p>\n","protected":false},"excerpt":{"rendered":"<p>(7 Kommentare.) 1. Starke und schwache KI K\u00fcnstliche Intelligenz gibt es in zwei (zumindest zur Zeit) verschiedenen Auspr\u00e4gungen: Starke KI und schwache KI. Starke KI ist das, was man aus der Science Fiction kennt: Intelligente Computer, die die Herrschaft \u00fcber die Welt oder das Raumschiff an sich rei\u00dfen m\u00f6chten, mit charmantem oder fiesem Charakter, oder [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":16656,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[25],"tags":[227,254],"class_list":["post-16617","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-informatik","tag-informatik","tag-ki"],"jetpack_featured_media_url":"https:\/\/www.herr-rau.de\/wordpress\/archiv\/ki_mnisttest2.png","jetpack_sharing_enabled":true,"jetpack_likes_enabled":true,"_links":{"self":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/16617","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/comments?post=16617"}],"version-history":[{"count":3,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/16617\/revisions"}],"predecessor-version":[{"id":59772,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/posts\/16617\/revisions\/59772"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/media\/16656"}],"wp:attachment":[{"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/media?parent=16617"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/categories?post=16617"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.herr-rau.de\/wordpress\/wp-json\/wp\/v2\/tags?post=16617"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}