De nouvelles recherches suggèrent qu’une application pour smartphone peut remplacer tous les différents systèmes et technologies actuellement nécessaires à la capture de mouvements, un processus qui traduit les mouvements du corps en images générées par ordinateur.
L’application, baptisée « MobilePoser », utilise les données obtenues à partir de capteurs déjà intégrés dans divers appareils grand public, notamment les smartphones, les écouteurs et les montres intelligentes, et combine ces informations avec intelligence artificielle (IA) pour suivre la pose et la position de tout le corps d’une personne dans l’espace.
La capture de mouvement est souvent utilisée dans les industries du cinéma et du jeu vidéo pour capturer les mouvements des acteurs et les traduire en personnages générés par ordinateur qui apparaissent à l’écran. L’exemple le plus célèbre de ce processus est sans doute la performance d’Andy Serkis dans le rôle de Gollum dans la trilogie « Le Seigneur des Anneaux ». Mais la capture de mouvement nécessite normalement des salles spécialisées, des équipements coûteux, des caméras encombrantes et un ensemble de capteurs, notamment des « combinaisons mocap ».
Regarder dessus
Les installations de ce type peuvent coûter jusqu’à 100 000 dollars, ont indiqué les scientifiques. Des alternatives telles que Microsoft Kinect, qui reposait sur des caméras fixes pour visualiser les mouvements du corps, sont moins chères mais peu pratiques en déplacement, car l’action doit se dérouler dans le champ de vision de la caméra.
Au lieu de cela, nous pouvons remplacer ces technologies par une seule application pour smartphone, ont déclaré les scientifiques dans une nouvelle étude présentée le 15 octobre à la conférence. Symposium ACM 2024 sur les logiciels et technologies d’interface utilisateur.
Selon l’auteur de l’étude, MobilePower atteint une grande précision grâce à l’apprentissage automatique et à l’optimisation avancée basée sur la physique. Karan Ahujaprofesseur d’informatique à l’Université Northwestern, a déclaré dans un déclaration. Cela ouvrira la porte à de nouvelles expériences immersives en matière de jeu, de fitness et de navigation intérieure sans équipement spécialisé.
L’équipe s’est appuyée sur des unités de mesure inertielle (IMU). Ce système, déjà intégré aux smartphones, utilise une combinaison de capteurs, notamment des accéléromètres, des gyroscopes et des magnétomètres, pour mesurer la position, l’orientation et les mouvements du corps.
Cependant, la fidélité des capteurs est généralement trop faible pour une capture de mouvement précise. Les chercheurs les ont donc complétés par un algorithme d’apprentissage automatique à plusieurs étapes. Ils ont formé l’IA avec un ensemble de données accessible au public de mesures IMU synthétisées générées à partir de données de capture de mouvement de haute qualité. Le résultat était une erreur de suivi de seulement 3 à 4 pouces (8 à 10 centimètres). L’optimiseur basé sur la physique affine les mouvements prédits pour s’assurer qu’ils correspondent aux mouvements corporels réels et que le corps n’effectue pas d’exploits impossibles, comme la flexion des articulations vers l’arrière ou la rotation de la tête de l’utilisateur à 360 degrés.
« La précision est meilleure lorsqu’une personne porte plus d’un appareil, comme une montre intelligente au poignet et un smartphone dans sa poche », a déclaré Ahuja. « Mais un élément clé du système est qu’il est adaptatif. Même si vous n’avez pas de montre un jour et que vous n’avez que votre téléphone, il peut s’adapter pour déterminer la pose de tout votre corps. »
Cette technologie pourrait avoir des applications dans le divertissement – par exemple, des jeux plus immersifs – ainsi que dans la santé et le fitness, ont indiqué les scientifiques. L’équipe a a publié les modèles d’IA et les données associées au cœur de l’application afin que d’autres chercheurs puissent s’appuyer sur leurs travaux.
