Les projets créatifs du Amsterdam Kinect Hackathon

Nous vous avions annoncé il y a quelques semaines, la participation de nos développeurs les plus chevronnés sur Kinect, au Hackathon. Celui-ci s’est déroulé à Amsterdam les 5 et 6 septembre derniers. De notre séjour dans la capitale hollandaise, nous avons rapporté un compte rendu des projets qui y ont été réalisé durant ces 24 heures de folie !

My first little ToyStory 3D de la Team Hoog+Diep, gagnante du concours, permet d’enregistrer des séquences vidéo d’animations où les acteurs sont des jouets manipulés par une personne (comme le font les enfants). L’application est ensuite capable d’effacer de la scène la personne qui manipule les objets, afin de ne laisser visibles que les objets en mouvements (avec le son enregistré).

L’application Clara conçue par l’équipe AK utilise la Kinect v2 pour l’analyse en temps réel de visiteurs dans un magasin de prêt-à-porter et devant la vitrine (2ème prix). Par l’analyse des gestes et de l’orientation de la tête, il est possible de détecter les préférences du client entre deux produits qui lui sont présentés.

L’application d’aide au diagnostic de maladies cérébrales par l’équipe Motognosis permet la détection de maladies ayant un impact sur la motricité des personnes. Par un ensemble de jeux simples où le patient doit pointer des zones / objets avec ses membres, il est possible par des études statistiques de déterminer des troubles (tremblements anormaux des mains, durée du déplacement…). De même, cette application peut aider ces personnes à s’entraîner à apprivoiser ou contrôler leurs problèmes moteurs.

L’équipe ‘Sign Language Interpreter’ a conçu une application pour s’exercer à la langue des signes avec des gestes à reproduire ou des mots à signer. Un mode traducteur par synthèse vocale est également disponible : l’application détecte les gestes de la personne et les prononce à haute voix. L’application utilise le Gesture Builder (toutefois les gestes ayant des formes trop proches sont parfois difficiles à discerner).
Ce jeu de courses à cheval conçu par l’équipe Fireball propose aux joueurs une course immersive à travers le désert. Les apprentis cowboys qui veulent faire avancer leur cheval doivent mimer leurs gestes comme ils le feraient sur une monture pour attraper le bétail au lasso…
L’application pour s’entraîner à un rendez-vous fonctionne en pilotant un avatar 3D et en effectuant des gestes et actions demandés par un autre personnage 3D situé en face du joueur (par exemple, servir un verre…).

L’équipe Defy Graphics a conçu un jeu de danse qui reproduit ce qui se passe sur une piste de danse. L’idée est de pouvoir contrôler des animations 3D ou des jeux simples par les mouvements coordonnés d’un groupe / foule. Par exemple dans une soirée, sur le rythme de la musique…
L’application de pilotage d’engins radiocommandés permet de piloter une voiture radiocommandée avec une Kinect. Le scénario présenté applique ce principe à des équipes d’urgence et d’intervention en milieux dangereux ou sensibles afin de collecter des informations en toute sécurité.

Gesture Enabled Netsupport Webservice (équipe Netsupport) propose aux utilisateurs de contrôler des cartes Bing et Google dans le navigateur à l’aide de gestes détectés par Kinect. L’application se constitue de javascript qui reçoit les évènements Kinect depuis un serveur local (auquel est branché le capteur). Il est ainsi possible d’accéder à plusieurs fonctionnalités comme de zoomer sur une carte, etc.

L’équipe Semper Five a proposé un jeu pour former les lettres de l’alphabet avec son corps qui utilise le Gesture Builder pour la détection des postures (une ou plusieurs personnes en collaboratif ou l’une contre l’autre).

L’équipe Metrilus a développé une application permettant de scanner un document en le tenant devant la Kinect qui en prend une photo (déclenchement à la voix). Le capteur détecte la position de la feuille dans l’image et l’extrait afin de ne garder que celle-ci et donc le résultat du scan.

L’application de Détection des vaisseaux sanguins repère par traitement du signal infrarouge, les veines et vaisseaux sanguins qui sont invisibles à l’œil nu. Ils sont ensuite projetés sur la personne en « réalité augmentée ». On peut imaginer par exemple une utilisation pour les élèves médecins ou infirmiers, pour la détection de veines dans le cadre de piqûres ou de prises de sang.

L’application « Air guitar / batterie » par l’équipe Connector de jouer les stars du rock en mimant en groupe les gestes des musiciens et de contrôler virtuellement les différents instruments (guitare, batterie).

L’application « Adopt a geek » par KiMeet permet de rechercher l’âme sœur en la décrivant par des gestes (hauteur par rapport à soi, forme du profil, critères sélectionnés dans une liste). Les mouvements détectés par la Kinect permettent de faire bouger des sliders à l’écran et du drag & drop d’objets.

Le jeu imaginé par l’équipe LustLab consiste à influer sur le déplacement de particules en mouvement avec une partie de son corps afin que ces particules touchent un objectif (un diamant placé dans l’écran). La zone du corps est modifiée à chaque fois que l’objectif est atteint (ce peut être le ventre, la tête,  un genou, une main…). Il est possible de jouer à plusieurs en même temps (mode collaboratif) sachant parce contre que l’on risque de se gêner…

Retrouvez également le résumé exhaustif de tous les projets sur blog.msdn.com.