HMD組み込み型光センサを用いた表情認識における生成型学習

使用 HMD 内置光学传感器进行面部表情识别的生成学习

• 批准号: 21J13664
• 负责人: 中村 文彦
• 金额: $ 0.96万
• 依托单位: Keio University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J13664/
• 关键词: 表情認識; 顔面形状認識; 機械学習; 顔面触覚

頭部装着型ディスプレイ（Head-Mounted Display: HMD）が社会に普及するようになり，ユーザがバーチャル環境に没入して様々な体験することが手軽にできるようになった．バーチャル環境において臨場感の高いコミュニケーションのためには，アバターへの身体動作の反映だけでなく，表情も反映することが不可欠である．HMD装着者の表情認識に関する先行研究では，組込型光センサから得られた低次元のデータを機械学習することで，表情を識別している．しかし，良好な識別精度を持った機械学習モデルの構築には，学習に用いる訓練データの量と質の確保が必要である．本研究では，訓練データを人工的に生成するアプローチである生成型学習を組込型光センサによる表情計測に適用することによって，有用性を検証することを目的としている．研究期間の最終年次にあたる2022年度では，HMDを装着したユーザが目と頭部が多様な方向を向いている時の表情のデータセットを収集し，視線と頭部方向が組込型光センサによる表情識別に与える影響を検証した．この成果は国際学術誌IEEE Transactions on Visualization and Computer Graphicsに掲載された．また，ロボットアームの先端に取り付けた反射型光センサによる顔面形状の計測を基にした顔面への触覚提示による空間誘導手法を提案した．この成果は国際学術誌Frontiers in Computer Scienceに掲載された．さらに，HMD装着者の表情を学習したモデルに対して転移学習の手法であるFine Tuningを適用することで，少ない訓練データでも表情認識の精度が向上することを示した．この成果は国際学会Augmented Humans 2023でポスター発表を行った．

头部安装的显示（HMD）在社会上变得越来越流行，使用户更容易将自己沉浸在虚拟环境中并体验各种事情。为了在虚拟环境中进行交流，不仅必须反映头像上的物理运动，而且要反映面部表情。先前对HMD佩戴者面部表达识别的研究已经通过使用从嵌入式照片传感器获得的低维数据来确定面部表情。但是，为了建立具有良好识别精度的机器学习模型，有必要确保用于学习的培训数据的数量和质量。这项研究旨在通过应用生成型学习，一种人为生成训练数据的方法来验证其有用性，并使用嵌入式的照片传感器进行面部表达测量。在研究期的最后一年，我们收集了面部表情数据集时，当他们的眼睛和头部彼此面对时，佩戴HMD的用户面临不同的方向，并检查了凝视和头部方向对使用嵌入式照片传感器的面部表达识别的影响。该结果发表在《可视化和计算机图形》的国际学术期刊IEEE交易中。我们还基于对机器人臂尖端的反射光学传感器的面部形状测量，提出了一种使用触觉表现的空间引导方法，该方法使用触觉表现为面部。该结果发表在计算机科学的国际学术期刊。此外，我们已经表明，通过将转移学习技术的微调应用于一种模型，该模型学习了佩戴HMD的人的面部表情，即使使用训练数据很少，也可以提高面部表情识别的准确性。这一结果是在2023年国际增强人类协会的海报中提出的。

项目成果

Evaluation of Spatial Directional Guidance using Cheek Haptic Stimulation in a Virtual Environment

在虚拟环境中使用脸颊触觉刺激评估空间方向引导

• DOI: 10.3389/fcomp.2022.733844
• 发表时间: 2022
• 期刊: Frontiers in Computer Science
• 影响因子: 2.6
• 作者: Fumihiko Nakamura;Adrien Verhulst;Kuniharu Sakurada;Masaaki Fukuoka and Maki Sugimoto
• 通讯作者: Masaaki Fukuoka and Maki Sugimoto

Virtual Whiskers: Spatial Directional Guidance Using Cheek Haptic Stimulation in a Virtual Environment

虚拟胡须：在虚拟环境中使用面颊触觉刺激进行空间方向引导

• DOI: 10.18974/tvrsj.26.4_298
• 发表时间: 2021
• 期刊: Transactions of the Virtual Reality Society of Japan
• 作者: 中村 文彦;Adrien Verhulst;櫻田 国治;福岡 正彬;杉本 麻樹
• 通讯作者: 杉本 麻樹

Analyzing the Effect of Diverse Gaze and Head Direction on Facial Expression Recognition With Photo-Reflective Sensors Embedded in a Head-Mounted Display

• DOI: 10.1109/tvcg.2022.3179766
• 发表时间: 2022-06
• 期刊: IEEE Transactions on Visualization and Computer Graphics
• 影响因子: 5.2
• 作者: Fumihiko Nakamura;Masaaki Murakami;Katsuhiro Suzuki;M. Fukuoka;Katsutoshi Masai;M. Sugimoto

頬への触覚提示を利用したVR空間における方向誘導手法

VR空间中使用脸颊触觉呈现的方向引导方法

• 发表时间: 2021
• 作者: Ryo Toyama;Shiro Kawachi;Jun-ichi Yamaura;Youichi Murakami;Hideo Hosono;Yutaka Majima;佐藤らな;中村文彦，Adrien Vehulst，櫻田国治，福岡正彬，杉本麻樹
• 通讯作者: 中村文彦，Adrien Vehulst，櫻田国治，福岡正彬，杉本麻樹

Virtual Whiskers: Cheek Haptic-Based Spatial Directional Guidance in a Virtual Space

虚拟胡须：虚拟空间中基于脸颊触觉的空间方向引导

• 发表时间: 2021
• 作者: Fumihiko Nakamura;Adrien Verhulst;Kuniharu Sakurada;Masaaki Fukuoka;Maki Sugimoto
• 通讯作者: Maki Sugimoto