{"id":16720,"date":"2020-08-31T07:44:40","date_gmt":"2020-08-31T05:44:40","guid":{"rendered":"https:\/\/www.herr-rau.de\/wordpress\/?p=16720"},"modified":"2025-07-24T17:12:42","modified_gmt":"2025-07-24T15:12:42","slug":"ki-fast-alles-was-ich-darueber-weiss-teil-3","status":"publish","type":"post","link":"https:\/\/www.herr-rau.de\/wordpress\/2020\/08\/ki-fast-alles-was-ich-darueber-weiss-teil-3.htm","title":{"rendered":"KI: Fast alles, was ich dar\u00fcber wei\u00df (Teil 3: Neuronale Netze)"},"content":{"rendered":"
(3 Kommentare.<\/a>)<\/small> <\/div>\n

Letztes Mal<\/a> ging es um Neuronen und einfache Perzeptrone. Die Weiterentwicklung davon hei\u00dft k\u00fcnstliches neuronales Netz. Das hei\u00dft so, weil es aus nachgebauten Neuronen bestehen und an echte biologische neuronale Netze angelehnt ist, sie aber keinesfalls tats\u00e4chlich nachbaut. <\/p>\n\n\n\n

Wie ein neuronales Netz aufgebaut ist (der langweilige Teil)<\/h2>\n\n\n\n

Hier ist ein einfaches neuronales Netz (Es gibt auch Varianten davon, bei denen die Neuronen anders verbunden sind.) Es besteht aus f\u00fcnf Neuronen:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Es gibt links drei Eingangswerte. Das hei\u00dft, es gehen drei Zahlen in unser System hinein. Es k\u00f6nnten auch mehr oder weniger sein. Manchmal liest man auch „Eingangsneuronen“, obwohl diese Neuronen dann eigentlich nichts tun, au\u00dfer einen Wert weiterzuleiten. Wenn man so z\u00e4hlte, h\u00e4tte man acht Neuronen.<\/p>\n\n\n\n

In der Mitte ist eine versteckte Neuronenschicht, „hidden layer“. Sie besteht in diesem Fall aus drei Neuronen, es k\u00f6nnten auch mehr oder weniger sein. <\/p>\n\n\n\n

Und rechts ist die Schicht an Ausgangsneuronen, in diesem Fall sind es zwei. Das hei\u00dft, es kommen zwei Zahlen aus unserem System heraus. Es k\u00f6nnten auch mehr oder weniger sein. An deren Ausg\u00e4ngen liest man das gesuchte Ergebnis ab. (Manchmal will man ja mehr als eine ja\/nein-Antwort, deshalb mehrere Ausgangsneuronen.)<\/p>\n\n\n\n

Jedes Neuron hat f\u00fcr jeden Eingangswert wieder eine eigene Gewichtung, und einen eigenen Schwellenwert\/Bias. (Schwellenwert und Bias: eigentlich das gleiche, aber mit unterschiedlichem Vorzeichen.) Der Eingangswert wird mit der Gewichtung multipliziert, alle Produkte werden addiert, und der eventuell vorhandene Bias-Wert wird addiert – und vom Ergebnis h\u00e4ngt ab, was das Neuron dann ausgibt. Jedes Neuron hat nur einen Ausgangswert, der aber an mehrere andere Neuronen der n\u00e4chsten Schicht weitergeben werden kann.<\/p>\n\n\n\n

Ich habe geschrieben „vom Ergebnis h\u00e4ngt ab, was das Neuron dann ausgibt“ – das entscheidet die Aktivierungsfunktion<\/strong>. Im Perzeptron war das eine ganz einfache Funktion: Ist das Rechenergebnis >=0, wird 1 weitergegeben (bzw. 0.99), sonst 0 (bzw. 0.01). Diese Funktion hei\u00dft auch hard limit<\/em> und hat eine ganze Reihe weiterer Namen.<\/a> Es gibt auch andere Aktivierungsfunktionen, bei neuronalen Netzen nimmt man h\u00e4ufig<\/s> nahm man fr\u00fcher, aber auch nicht immer, eine Sigmoidfunktion<\/a>: Bei einem \u00e4u\u00dferst, sehr oder halbwegs kleinen Eingangswert kommt ein Ausgangswert nahe 0 heraus; bei einem \u00e4u\u00dferst, sehr oder halbwegs gro\u00dfen Eingangswert kommt ein Ausgangswert nahe 1 heraus, bei mittleren Eingangswerten um die 0.5. Hier zwei Sigmoid-Varianten in Form der logistischen Funktion zum Veranschaulichen:<\/p>\n\n\n\n

\"\"
MartinThoma<\/a>, Creative Commons Attribution 3.0 Unported<\/a> (Link<\/a>)<\/figcaption><\/figure>\n\n\n\n

<\/p>\n\n\n\n

Fu\u00dfnote 1: Wenn es mehr als eine versteckte Schicht in der Mitte gibt, spricht man von deep learning, glaube ich. Gro\u00dfe neuronale Netze f\u00fcr schwierige Aufgaben bestehen aus Milliarden von Neuronen in vielen Schichten.<\/em><\/p>\n\n\n\n

Fu\u00dfnote 2: Manchmal sieht man das Bias als eigenes Neuron. dargestellt, als zus\u00e4tzlichen Eingangswert je Neuron. Dann sieht man gleich, dass jedes Neuron einen eigenen Wert daf\u00fcr haben kann. Manchmal sieht man auch das Bias als ein Neuron <\/em>je Schicht dargestellt, dann kriegt das innerhalb jedes Neurons noch eine eigene Gewichtung – was im Endeffekt das gleiche hei\u00dft, n\u00e4mlich dass je Neuron effektiv ein eigener Biaswert vorliegt. <\/em><\/p>\n\n\n\n

Fu\u00dfnote 3: In dem Beispiel oben ist jedes Neuron bzw. jeder Eingangswert mit allen Neuronen der folgenden Schicht und nur mit denen verbunden. Es gibt auch kompliziertere Versionen.<\/em><\/p>\n\n\n\n

Was man mit einem neuronalen Netz machen kann (etwas interessanter)<\/h2>\n\n\n\n

Ein neuronales Netz ist auch nur eine Art Funktion. <\/strong>Es gehen ein Haufen Zahlen rein, und ein Haufen Zahlen kommt raus. Weil wir aber gelernt haben, dass bei einer Funktion immer nur 1 Ergebnis herauskommt, schreiben wir statt Haufen lieber Vektor: es geht 1 Vektor rein und es kommt 1 Vektor heraus. Vektor ist Fachsprache f\u00fcr Haufen, wenn der Haufen eine Reihenfolge hat. Wobei Elemente im Haufen auch mehrfach auftauchen k\u00f6nnen, also bleiben wir lieber bei Vektor. <\/p>\n\n\n\n

1. Arbeiten mit Mustern, die f\u00fcr den Menschen einfach zu erkennen, aber schwer zu erkl\u00e4ren sind<\/h3>\n\n\n\n

Ein Mensch sieht schnell, ob auf einem Bild eine Katze oder ein Hund abgebildet ist. Aber f\u00fcr einen Computer nachvollziehbar zu erkl\u00e4ren, warum das eine eine Katze ist und das andere nicht, das ist schwer. <\/p>\n\n\n\n

Ein Mensch sieht auch schnell, dass die folgenden Muster, bestehend aus 784 Zahlenwerten, alle der Ziffer 7 entsprechen. Aber einen Algorithmus zu formulieren, die einen Rechner entscheiden l\u00e4sst, welches Muster nun eine 7 ist und welches nicht, das ist schwer.<\/p>\n\n\n\n

\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n<\/figure>\n\n\n\n

Ein neuronales Netz kann man mit vielen Ziffern f\u00fcttern, so dass sich der Algorithmus von selbst einstellt. Danach kann der Algorithmus, also das Netz, auch andere Ziffern als die zur \u00dcbung verwendeten richtig erkennen.<\/p>\n\n\n\n

Dazu w\u00fcrde man ein Netz mit 784 Eingangswerten und 10 Ausgangswerten verwenden: Der erste Ausgangswert gibt die Wahrscheinlichkeit an, dass es eine 0 ist, der zweite f\u00fcr die 1, und so weiter; der letzte f\u00fcr die 9. F\u00fcr den letzten Haufen<\/s> Vektor von 784 Eingangswerten spuckt mein nur wenig trainiertes \u00dcbungsnetz aus:<\/p>\n\n\n\n

Ausgabe: 0    | 1    | 2    | 3    | 4    | 5    | 6    | 7    | 8    | 9\nAusgabe: 0.12 | 0.06 | 0.08 | 0.06 | 0.10 | 0.06 | 0.06 | 0.62 | 0.11 | 0.17<\/code><\/pre>\n\n\n\n
Also mit 62% eine 7 und keine anderen ernsthaften Kandidaten. (Es gab im Netz 1 verstecktes Layer mit 100 Knoten zwischen Ein- und Ausgang. Keine Ahnung, ob das f\u00fcr die Aufgabe angemessen ist.)<\/p>\n\n\n\n
Zu dieser Art Aufgabe geh\u00f6rt auch maschinelles \u00dcbersetzen: Es gibt einen Eingangstext und einen Ausgangstext, und ein kundiger Mensch kann leicht beurteilen, ob die \u00dcbersetzung gut ist – aber wie<\/em> man \u00fcbersetzt, das l\u00e4sst sich kaum beschreiben. Aber der DeepL-Translator<\/a> kann das trotzdem. (Deep<\/em> wegen deep learning<\/em>, \u00fcbrigens.) Die Aufgabe ist allerdings sehr viel schwieriger als das Erkennen von Ziffern.<\/p>\n\n\n\n
Zu dieser Art Aufgabe geh\u00f6ren auch Deepfakes. Dabei wird in einem Film zum Beispiel das Gesicht von Schauspieler A gegen das Gesicht von Schauspieler B ausgetauscht, oder Text und Mimik von Gesicht A wird auf Gesicht B \u00fcbertragen. F\u00fcr den Menschen leicht zu beurteilen, aber unm\u00f6glich in Regeln zu fassen:<\/p>\n\n\n\n
\n