Les projets créatifs du Amsterdam Kinect Hackathon

Nous vous avions annoncé il y a quelques semaines, la participation de nos développeurs les plus chevronnés sur Kinect, au Hackathon. Celui-ci s’est déroulé à Amsterdam les 5 et 6 septembre derniers. De notre séjour dans la capitale hollandaise, nous avons rapporté un compte rendu des projets qui y ont été réalisé durant ces 24 heures de folie !

My first little ToyStory 3D de la Team Hoog+Diep, gagnante du concours, permet d’enregistrer des séquences vidéo d’animations où les acteurs sont des jouets manipulés par une personne (comme le font les enfants). L’application est ensuite capable d’effacer de la scène la personne qui manipule les objets, afin de ne laisser visibles que les objets en mouvements (avec le son enregistré).

L’application Clara conçue par l’équipe AK utilise la Kinect v2 pour l’analyse en temps réel de visiteurs dans un magasin de prêt-à-porter et devant la vitrine (2ème prix). Par l’analyse des gestes et de l’orientation de la tête, il est possible de détecter les préférences du client entre deux produits qui lui sont présentés.

L’application d’aide au diagnostic de maladies cérébrales par l’équipe Motognosis permet la détection de maladies ayant un impact sur la motricité des personnes. Par un ensemble de jeux simples où le patient doit pointer des zones / objets avec ses membres, il est possible par des études statistiques de déterminer des troubles (tremblements anormaux des mains, durée du déplacement…). De même, cette application peut aider ces personnes à s’entraîner à apprivoiser ou contrôler leurs problèmes moteurs.

L’équipe ‘Sign Language Interpreter’ a conçu une application pour s’exercer à la langue des signes avec des gestes à reproduire ou des mots à signer. Un mode traducteur par synthèse vocale est également disponible : l’application détecte les gestes de la personne et les prononce à haute voix. L’application utilise le Gesture Builder (toutefois les gestes ayant des formes trop proches sont parfois difficiles à discerner).
Ce jeu de courses à cheval conçu par l’équipe Fireball propose aux joueurs une course immersive à travers le désert. Les apprentis cowboys qui veulent faire avancer leur cheval doivent mimer leurs gestes comme ils le feraient sur une monture pour attraper le bétail au lasso…
L’application pour s’entraîner à un rendez-vous fonctionne en pilotant un avatar 3D et en effectuant des gestes et actions demandés par un autre personnage 3D situé en face du joueur (par exemple, servir un verre…).

L’équipe Defy Graphics a conçu un jeu de danse qui reproduit ce qui se passe sur une piste de danse. L’idée est de pouvoir contrôler des animations 3D ou des jeux simples par les mouvements coordonnés d’un groupe / foule. Par exemple dans une soirée, sur le rythme de la musique…
L’application de pilotage d’engins radiocommandés permet de piloter une voiture radiocommandée avec une Kinect. Le scénario présenté applique ce principe à des équipes d’urgence et d’intervention en milieux dangereux ou sensibles afin de collecter des informations en toute sécurité.

Gesture Enabled Netsupport Webservice (équipe Netsupport) propose aux utilisateurs de contrôler des cartes Bing et Google dans le navigateur à l’aide de gestes détectés par Kinect. L’application se constitue de javascript qui reçoit les évènements Kinect depuis un serveur local (auquel est branché le capteur). Il est ainsi possible d’accéder à plusieurs fonctionnalités comme de zoomer sur une carte, etc.

L’équipe Semper Five a proposé un jeu pour former les lettres de l’alphabet avec son corps qui utilise le Gesture Builder pour la détection des postures (une ou plusieurs personnes en collaboratif ou l’une contre l’autre).

L’équipe Metrilus a développé une application permettant de scanner un document en le tenant devant la Kinect qui en prend une photo (déclenchement à la voix). Le capteur détecte la position de la feuille dans l’image et l’extrait afin de ne garder que celle-ci et donc le résultat du scan.

L’application de Détection des vaisseaux sanguins repère par traitement du signal infrarouge, les veines et vaisseaux sanguins qui sont invisibles à l’œil nu. Ils sont ensuite projetés sur la personne en « réalité augmentée ». On peut imaginer par exemple une utilisation pour les élèves médecins ou infirmiers, pour la détection de veines dans le cadre de piqûres ou de prises de sang.

L’application « Air guitar / batterie » par l’équipe Connector de jouer les stars du rock en mimant en groupe les gestes des musiciens et de contrôler virtuellement les différents instruments (guitare, batterie).

L’application « Adopt a geek » par KiMeet permet de rechercher l’âme sœur en la décrivant par des gestes (hauteur par rapport à soi, forme du profil, critères sélectionnés dans une liste). Les mouvements détectés par la Kinect permettent de faire bouger des sliders à l’écran et du drag & drop d’objets.

Le jeu imaginé par l’équipe LustLab consiste à influer sur le déplacement de particules en mouvement avec une partie de son corps afin que ces particules touchent un objectif (un diamant placé dans l’écran). La zone du corps est modifiée à chaque fois que l’objectif est atteint (ce peut être le ventre, la tête,  un genou, une main…). Il est possible de jouer à plusieurs en même temps (mode collaboratif) sachant parce contre que l’on risque de se gêner…

Retrouvez également le résumé exhaustif de tous les projets sur blog.msdn.com.

Réalisation du premier distributeur de boisson interactif pour Red Bull avec Kinect 2

Présente à Laval Virtual du 9 au 13 avril, l’équipe de Synergiz va dévoiler sa nouvelle réalisation innovante qui s’inscrit parmi les toutes premières à exploiter les capacités de la nouvelle Kinect pour Windows. Développée pour Red Bull, il s’agit d’un jeu digital intégré au sein d’un distributeur automatique Red Bull Zero Calories, transformé pour devenir totalement interactif.

Une expérience digitale & ludique dans l’esprit de la marque

Destiné aux nombreux événements animés par Red Bull, le principe du jeu est simple : les joueurs doivent répondre à une série de questions et d’épreuves physiques pour remporter une canette. Ils partagent ensuite leur performance en publiant leur photo sur les réseaux, créant ainsi de la popularité autour de l’événement. Par le biais de cette expérience innovante et ludique, l’objectif est de promouvoir les valeurs de la marque Red Bull : la culture de l’effort et du dépassement de soi, ainsi que les aspects « corps et esprit », en référence aux propriétés apportées.

Deux approches technologiques complémentaires : Captation gestuelle et Objet connecté

Plus performante, cette nouvelle version de Kinect offre des capacités de saisie et d’analyse plus fines des gestes réalisés par les joueurs, permettant ainsi au système de valider parfaitement les différents mouvements demandés par le jeu (flexions, sauts…). De même, les qualités Haute définition du nouveau matériel sont totalement exploitées au profit de la reconnaissance initiale des utilisateurs, tout comme la prise de photo à la fin du jeu.

Autre différenciateur technologique : la connexion entre la solution numérique et l’objet (le distributeur automatique), rendue possible avec la technologie .NET Gadgeteerqui constitue le lien de communication entre le jeu et le fonctionnement électronique de la machine, permettant par exemple de déclencher la remise d’une canette lorsque le joueur gagne.

Enfin, on retrouve la notion d’objet connecté dans l’authentification des participants qui doivent utiliser leurs codes d’accès aux réseaux sociaux ou à leur boîte mail. Le sésame unique généré sous forme de QR code, sur le Smartphone du joueur, permet de le reconnaître et de débuter la partie. Cette méthode d’identification offre l’avantage de préserver une certaine confidentialité, à l’abri des regards alentour.

Dès le lancement du programme « Kinect DevKit » en novembre dernier, Synergiz s’était engagé à exploiter la nouvelle version du capteur K4W, encore expérimentale, dans le cadre de projets clients. C’est maintenant chose faite avec cette innovation qui s’inscrit également dans la logique des objets connectés. Fort de ce succès, Synergiz interviendra lors de la keynote dédiée à Kinect 2 sur Laval Virtual*, aux côtés de Bernard Ourghanlian, Chief Technology & Security Officer chez Microsoft France.

Jeudi 10 avril –  De 14h à 15h « Ce que vous avez toujours voulu connaître à propos de la Kinect 2 » par Bernard Ourghanlian (Microsoft France) Keynote Area, Laval Virtual.

Les promesses du nouveau Kinect pour Windows

Dans un numéro paru à l’occasion des Microsoft Techdays 2014, IT Pro Magazine propose un article signé par des acteurs de SYNERGIZ. Intitulé « Les promesses du nouveau capteur Kinect pour Windows », l’article revient sur cette version « DevKit » et sur les évolutions techniques qui la différencie notablement de la précédente. Plus qu’un inventaire, l’article suggère également des pistes à propos des nouveaux usages qui pourront être envisagés grâce à ces fonctionnalités avancées.

Lire l’article IT Pro Magazine, n°132 – Fév. 2014

Techdays 2014 : les NUI à l’honneur

Lors des Techdays 2014, Kinect était aussi au programme de la session « NUI4Fun », avec Windows 8, WindowsPhone8 et Gadgeteer, pour une démonstration de complémentarité entre ces technologies innovantes :