Subject-independent diver gesture classification using upper limb movement - COSMER
Article Dans Une Revue IEEE Robotics and Automation Letters Année : 2024

Subject-independent diver gesture classification using upper limb movement

Classification des gestes du plongeur indépendante du sujet à l'aide des mouvements des membres supérieurs

Résumé

This study focuses on categorizing diver gestures by analyzing angle features extracted from the movements of their upper limbs without exploiting information encoded by the hands, as is generally the case in the literature. Our approach is intended to be as generic as possible, in order to enable gesture recognition, whatever the diver's equipment, and to use the usual signs used by divers. New shallow RNN pipelines based on LSTM and GRU are proposed and evaluated with regard to a DTW-KNN deterministic baseline. For underwater gestures, a preliminary energy-based SVM separation stage is introduced to distinguish between one-arm and two-arm gestures. All classification strategies are validated using a leave-one-out protocol on a motion capture dataset comprising 14 divers performing 11 distinct gestures. The database was collected inhouse with a total of 1078 individual gesture recordings. The SVM separation stage clearly improves the results, from 15% for DTW-KNN to 5% for RNNs. The best RNN leave-one-out classification accuracy is obtained for the proposed two-layer LSTM network combined with a 1D-convolution layer, and a fully connected layer, yielding a 89.5% good classification rate, compared with a 92% rate using the DTW-KNN baseline. The data and code are made publicly available at https://github.com/ LaboratoireCosmerTOULON/DTW KNN RNN.
Cette étude se concentre sur la catégorisation des gestes des plongeurs en analysant les caractéristiques angulaires extraites des mouvements de leurs membres supérieurs sans exploiter les informations encodées par les mains, comme c'est généralement le cas dans la littérature. Notre approche se veut la plus générique possible, afin de permettre la reconnaissance des gestes, quel que soit l'équipement du plongeur, et d'utiliser les signes usuels utilisés par les plongeurs. De nouveaux pipelines RNN peu profonds basés sur LSTM et GRU sont proposés et évalués par rapport à une base déterministe DTW-KNN. Pour les gestes sous-marins, une étape préliminaire de séparation SVM basée sur l'énergie est introduite pour distinguer les gestes à un bras des gestes à deux bras. Toutes les stratégies de classification sont validées à l'aide d'un protocole « leave-one-out » sur un ensemble de données de capture de mouvements comprenant 14 plongeurs effectuant 11 gestes distincts. La base de données a été collectée en interne avec un total de 1078 enregistrements de gestes individuels. L'étape de séparation par SVM améliore nettement les résultats, de 15 % pour DTW-KNN à 5 % pour les RNN. La meilleure précision de classification des RNN est obtenue pour le réseau LSTM à deux couches proposé, combiné à une couche de résolution 1D et à une couche entièrement connectée, ce qui donne un taux de bonne classification de 89,5 %, comparé à un taux de 92 % avec la base DTW-KNN. Les données et le code sont accessibles au public à l'adresse https://github.com/ LaboratoireCosmerTOULON/DTW KNN RNN.
Fichier principal
Vignette du fichier
RA_L_paper_Final (8).pdf (6.88 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04696196 , version 1 (12-09-2024)

Identifiants

Citer

Bilal Ghader, Claire Dune, Eric Watelain, Vincent Hugel. Subject-independent diver gesture classification using upper limb movement. IEEE Robotics and Automation Letters, 2024, pp.1-8. ⟨10.1109/LRA.2024.3455904⟩. ⟨hal-04696196⟩
101 Consultations
19 Téléchargements

Altmetric

Partager

More