Hi Michu.
sehr schönes Projekt! - leider sieht man auf diesem kurzen Video nicht wirklich, wie die Gestenerkennung funktioniert, also da in dem einen Beispiel wohl gerade gar nicht...? ("Misunderstanding?") 
witziger Weise sind ein Kumpel und ich gerade an einem ähnlichen Projekt dran, meine Kugelmatrix mit ner Kinect zu steuern - bei uns aber etwas anderes Konzept, wir werten nicht Gesten aus, sondern steuern die Parameter einer Animation (und Sound) über die Höhe der Arme, Beine, etc.
wenn's interessiert, hier ein bisschen was dazu...