Kinect mit Scratch

By | 7.4.2017

Auf dem ILTB 2017 in Passau habe ich auch einen Vortrag darüber gehört, was man mit einer Kinect machen kann. Das ist ein Zubehör der Xbox-Spielekonsole: Eine Kamera, die auf den Fernseher gestellt wird und die menschlichen Spieler davor erkennt, so dass man die Spiele mit Gesten und Bewegugn steuern kann. (Das geht mit einer Infrarotkamera, die erkennen lässt, wie nah die erfassten Bildpunkte an der Kamera sind. Aus dem so entstandenen 3D-Bild wird errechnet, wo sich Kopf, Arme, Hände, Augen und so weiter von einer je nach Kinect-Modell unterschiedlichen Anzahl von Personen befinden.)

Bisher wusste ich nur, dass man die Kinect zweckentfremden kann zum 3D-Scannen, indem man die Kamera um ein Objekt bewegt. Dann hat man eine Vorlage für den 3D-Drucker. Für mich interessanter ist aber, dass es für die beiden Kinect-Modelle Schnittstellen gibt zu Scratch, Processing und Java.

Scratch ist dabei die einfachste Möglichkeit. Mit dieser Programmierumgebung arbeiten bei uns die Siebtklässler, es nutzt die Möglichkeiten der Kinect nur teilweise aus, ist aber sofort bedienbar, wenn man die Treiber installiert und ein Schnittstellen-Programm laufen lässt.

Hier ein mitgeliefertes Demoprojekt, das das Gerüst zur erkannten Person in Echtzeit zeichnet:

Screenshot Scratch mit Kinectsteuerung

Bereits fertige Projekte lassen sich leicht anpassen. Hier ein Flugspiel eines Schülers, das ursprünglich mit Tasten gesteuert wird. Hier die Variante: Der Vogel fliegt nach oben, wenn beide Hände höher als der Kopf des Spielers sind, und nach unten, wenn beide Hände tiefert sind. Sonst geradeaus. Das geht übrigens mit der Zeit ganz schön in die Arme:

Screenshot Scratch mit Kinectsteuerung

(Andere Steuerungen waren zu schwierig beim Spiel. Ich habe probeweise eine Flattersteuerung programmiert: Man sinkt automatisch immer nach unten, aber wenn man immer abwechselnd die Hände über und unter dem Kopf hat, und das nicht zu schnell hintereinander, dann steigt man nach oben. Alternativ kann man die Entfernung der Hände zum Kopf einbeziehen, damit man sich wirklich strecken muss.)

4 thoughts on “Kinect mit Scratch

  1. Matthias

    Sehr schön, dass es nun endlich auch mit Scratch geht. Wobei mich die Umsetzung in Greenfoot doch eher anspricht, weil ich da (gefühlt) mehr Kontrolle über die Kinect habe und mir beliebige Erweiterungen dazuprogrammieren kann.

  2. Aginor

    Super Idee! Und mit Sicherheit lustig anzusehen für etwaige Zuschauer wenn man spielt. :D

    Überhaupt ist das Kinect ein ganz schön nettes Stück Hardware und Software.
    An der Flattersteuerung hätten Sportlehrer bestimmt Freude. Wenn plötzlich die Nerds alle mit super Arm- und Schultermuskulatur auftauchen. :D

    Ich frage mich ob man damit nicht sogar ein simples (2D) motion capture schreiben könnte, also ein kleines Programm um die Bewegungssequenzen aufzuzeichnen um dann eine Figur zu animieren. Könnte ja eine simple Figur sein, aus sechs Graphiken zusammengesetzt (Kopf, 2xArme, 2xBeine, Körper), die man dann durch drehen und verschieben animiert. Gäbe dann evtl. Animationen im South Park Stil oder so.

    Oh btw:
    Habe so am Rande von einer Bekannten mitbekommen dass an der Schule auf die ihre Tochter bald gehen wird (in BaWü) die Sache mit der Gemeinschaftsschule anfängt (lang nicht die erste, glaube gibt schon seit 2013 welche, also neu nur an dieser Stelle), und habe mir das System mal grob erklären lassen. Fand es ganz interessant und sehe darin einige Chancen, wie ich mit einigem Erstaunen feststellen musste (stehe Gesamtschulen eigentlich eher kritisch gegenüber). Wie es in der Praxis laufen wird, werden wir dann sehen, aber das Systen wirkt zumindest auf den ersten Blick wesentlich durchdachter als ich erwartet hatte.
    Gibt es das bei Ihnen in Bayern eigentlich auch bzw. ist es geplant? Mich würde auch Ihre Meinung zu dem System (falls Sie es kennen) sehr interessieren. Ist ja schon recht anders.

    Gruß
    Aginor

  3. Herr Rau Post author

    Greenfoot: Gut zu wissen, dass auch das geht. Ich arbeite selten mit Greenfoot, aber vielleicht ergibt sich mal etwas.

    Motion Capture: Schöne Idee, und sicher gar nicht so schwer umzusetzen. Das schlage ich mal meine SuS vor.

    Gesamtschulen/Gemeinschaftsschulen: Die kurze Antwort lautet, dass es die in Bayern nicht gibt. Die lange Antwort: Bis Mitte der 1990er gab es einige davon als Schulversuch; auf einer war ich im Referendariat, aber da war der Schulversuch schon aufgehoben und die Schule ein reguläres Gymnasium. Es gibt – aus dieser Zeit, soweit ich weiß – noch eine Handvoll Schulen in Bayern als Integrierte oder Kooperative Gesamtschule, auch in München. Aber von denen weiß ich nur, dass es sie gibt, und nicht mal richtig, wie sie organisiert sind. Geplant ist, soweit ich das weiß, nichts Weiteres in der Art – die Bildungspolitik hat gerade mit G8/9 genug zu tun.

    Ich glaube, man kann Gesamtschulen gut oder schlecht machen, ebenso getrennte Schularten.

  4. Beelzebub Bruck

    Hihi: LiveKinetic aus Informatikersicht…

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.