A la suite des casques de réalité virtuelle (Oculus Quest et Quest 2), c’est le suivi des mains (hand tracking) qui fascine les chercheurs de la branche Facebook Reality Labs. Avec la technique de suivi des mains, les chercheurs veulent aboutir à un clavier virtuel dont les travaux ont été présentés au public.

A l’aide des caméras d'un casque de réalité virtuelle et d’un réseau neuronal convolutif temporel, le système de hand tracking représente le mouvement des mains.

Quelques particularités du clavier virtuel

Le clavier virtuel de Facebook ne nécessite aucun périphérique supplémentaire et peut s’utiliser sur toute surface plane. Avec les caméras externes, le casque identifie les mains, suit leur mouvement et le représente. Oculus, la filiale de Facebook, continue de travailler sur ce projet pour permettre aux utilisateurs de disposer d’un clavier virtuel afin de travailler n’importe où. La technique permet d'écrire sur une surface plane, sans clavier physique ni entrée tactile. Toutefois, les gestes restent limités et le système de suivi des mains rencontre quelques difficultés.

Une continuité dans le travail pour des solutions plus pratiques

Bien que les chercheurs de Facebook Reality Labs aient présenté leur travail, le système fait usage d’un langage et d’un algorithme de recherche en faisceau pour pallier aux éventuelles erreurs de suivi ou de positionnement des mains. Le fait de ne pas sentir son clavier entraine une légère déviance des doigts des utilisateurs. Pour ainsi pallier à cela, les chercheurs équipent les utilisateurs de gants avec des marqueurs. Les chercheurs continuent par travailler pour permettre au clavier virtuel de ne pas se limiter seulement aux minuscules et aux mots du dictionnaire.

Avec une vitesse de frappe de 73 mots par minute, le clavier virtuel semble être une technologie révolutionnaire pour les professionnels. L’on peut espérer travailler n’importe où si les travaux de perfectionnement du système arrivent à bout.