Nouvelles

Mar 18, 2024

Classification des états émotionnels via des modèles faciaux spatio-temporels cardiovasculaires transdermiques à l'aide de vidéos faciales multispectrales

Scientific Reports volume 12, Numéro d'article : 11188 (2022) Citer cet article 1829 Accès 1 Citations 18 Détails d'Altmetric Metrics Une correction d'auteur à cet article a été publiée le 19 août 2022

Rapports scientifiques volume 12, Numéro d'article : 11188 (2022) Citer cet article

1829 Accès

1 Citation

18 Altmétrique

Détails des métriques

Une correction de l'auteur à cet article a été publiée le 19 août 2022.

Cet article a été mis à jour

Nous décrivons une nouvelle méthode d'évaluation de l'état émotionnel à distance à l'aide de vidéos faciales multispectrales et présentons nos résultats : des modèles faciaux transdermiques, cardiovasculaires et spatio-temporels uniques associés à différents états émotionnels. La méthode ne repose pas sur des expressions faciales stéréotypées mais utilise différentes sensibilités de longueur d'onde (spectre visible, proche infrarouge et infrarouge à ondes longues) pour évaluer les corrélats de l'activité du système nerveux autonome répartis dans l'espace et dans le temps sur le visage humain (par exemple, le flux sanguin, concentration d'hémoglobine et température). Nous avons mené une expérience dans laquelle 110 participants ont visionné 150 courtes vidéos suscitant des émotions et ont rapporté leur expérience émotionnelle, tandis que trois caméras enregistraient des vidéos faciales avec plusieurs longueurs d'onde. Les caractéristiques multispectrales spatio-temporelles des vidéos multispectrales ont été utilisées comme entrées dans un modèle d'apprentissage automatique capable de classer l'état émotionnel des participants (c'est-à-dire l'amusement, le dégoût, la peur, l'excitation sexuelle ou l'absence d'émotion) avec des résultats satisfaisants (score ROC AUC moyen de 0,75), tout en fournissant une analyse de l'importance des caractéristiques qui permet d'examiner les occurrences faciales par état émotionnel. Nous discutons des résultats concernant les différents modèles spatio-temporels associés à différents états émotionnels ainsi que les différents avantages de la méthode actuelle par rapport aux approches existantes de détection des émotions.

Les émotions sont au cœur de l’expérience et du fonctionnement humains et, à ce titre, revêtent un intérêt primordial dans la recherche psychologique fondamentale, la pratique clinique et les contextes appliqués. Étant donné que les émotions incluent des aspects qui sont principalement subjectifs et difficiles à observer, il est difficile de mesurer ces aspects subjectifs de manière objective et fiable.

Ces dernières années, de nombreuses recherches ont tenté de développer des technologies permettant une reconnaissance précise des émotions. L'un des principaux objectifs de la recherche sur la détection des émotions consiste à tenter d'évaluer l'expérience émotionnelle des personnes à distance (c'est-à-dire sans recourir à des équipements basés sur le contact tels que l'IRMf ou l'électroencéphalographe [EEG]). La plupart des technologies actuelles qui prétendent classer les états émotionnels mesurent en réalité les expressions faciales manifestes plutôt que d'estimer les états émotionnels subjectifs des participants1,2,3. Les expressions faciales sont relativement faciles à détecter et à classer à l’aide d’algorithmes, grâce à leur apparence connue et aux différences spatiales significatives entre les expressions de différentes émotions. En effet, les méthodes basées sur cette approche donnent généralement un taux de réussite supérieur à 90 % dans la reconnaissance d’expressions1,2. Les expressions faciales visibles fournissent souvent des informations utiles concernant l’état émotionnel des individus ; cependant, de nombreuses recherches en psychologie montrent que les expressions faciales servent principalement à des fins de communication : elles représentent ce que les gens veulent transmettre plutôt que de refléter leurs états internes3.

À la lumière de cela, plusieurs tentatives ont été faites pour développer des méthodes de reconnaissance d’émotions à distance qui ne reposent pas sur des expressions faciales stéréotypées. L’un de ces signaux comprend des mouvements subtils, rapides et spontanés des muscles du visage, appelés micro-expressions, caractérisés par une courte durée de l’ordre de dizaines à plusieurs centaines de millisecondes4,5. Comme dans le cas des expressions faciales visibles, les micro-expressions peuvent fournir des informations utiles pour la détection des émotions ; cependant, il n'existe aucune preuve fiable quant à la mesure dans laquelle les micro-expressions peuvent diagnostiquer l'état émotionnel réel des participants6.

Une autre approche de la reconnaissance des émotions consiste à évaluer l'activité du système nerveux autonome (SNA), connu pour être associé aux états émotionnels subjectifs des individus7. Cependant, la plupart des méthodes actuelles de détection des changements physiologiques liés aux émotions (par exemple, photopléthysmographie [PPG]8, EEG9,10, tension artérielle, conductance cutanée et électrocardiogramme [ECG]11) impliquent un contact direct (c'est-à-dire connecter les individus à un appareil de mesure) .