手話コーパス，深層学習向けラベル付き手話データ半自動生成システムの開発

用于深度学习的手语语料库和标记手语数据半自动生成系统的开发

• 批准号: 22H00661
• 负责人: 木村 勉
• 金额: $ 11.15万
• 依托单位: National Institute of Technology, Toyota College
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H00661/
• 关键词: 手話認識; アノテーション; 手話文章; ディープラーニング; 深層学習; 教師データ; Conformer; 手話; 認識

本研究の目的は，深層学習を用いた手話翻訳システムの開発に必要なアノテーション済みの教師データを半自動的に生成するシステムを作成することである．手話翻訳システムの開発には，手話コーパスの構築や教師あり学習による深層学習向けのアプリケーション済みデータが大量に必要であるが，アノテーションを行うに手間がかかる．そこで本研究ではラベルがない手話動画に対して，アノテーションを半自動的に行うシステムを開発・公開する．このシステムはアノテーション前の教師データに対して，程度認識が可能な手話認識エンジンを用いて，認識できる単語にはラベル付を行い，認識ができなかった単語は人手でラベル付を行う．本年度は，コアとなる手話認識エンジンとGUIの設計を行った．手話認識エンジンはConformerをベースとしたネットワークを作成し，学習を行わせている．現在，手話技能検定試験　4級レベルの手話文に対して，約80%程度の認識率を得ている．しかし，教師データは約5,000個であり，そこに含まれる単語は，4級までのすべての単語を含んではいないため，認識できる単語には限りがある（４級までに含まれる約800語彙のうち150語彙程度）．そのため，現状ではアプリケーションに組み込むには貧弱である．今年度は教師データを増やして，認識できる語彙数を増加させる．GUIに関しては基本的な構成の設計を終えており，レビューをした後，手話認識エンジンを組み込んで，試作を行う．また，手話翻訳システムが完成した後のアプリへの応用も検討している．具体的には，ウェアラブルな全方位カメラを用いた翻訳システムの開発である．これを用いて日常的に手話翻訳システムが利用できることを目指している．

这项研究的目的是创建一个系统，可以半自动生成使用深度学习开发手语翻译系统所需的带注释的训练数据。开发手语翻译系统需要大量的应用数据来构建手语语料库和使用监督学习进行深度学习，但对其进行注释非常耗时。因此，在这项研究中，我们开发并发布了一个系统，可以对没有标签的手语视频进行半自动注释。该系统使用手语识别引擎来标记可以识别的单词，该引擎可以在注释之前识别教师数据的程度，并手动标记无法识别的单词。今年，我们设计了核心手语识别引擎和GUI。手语识别引擎创建一个基于 Conformer 的网络并对其进行训练。目前，我们手语能力测试四级手语句子的识别率约为80%。然而，可以识别的单词数量有限，因为训练数据约为 5,000 个，并且不包括 4 级以下的所有单词（约 800 个 4 级以下的词汇）（约 150 个词汇）。因此，目前它还太弱，无法纳入应用程序。今年，我们将增加教师数据量，增加可识别的词汇量。 GUI方面，我们已经完成了基本配置的设计，经过审核后，我们将加入手语识别引擎并创建原型。我们也在考虑在手语翻译系统完成后应用到应用程序中。具体来说，我们正在开发一种使用可穿戴全向相机的翻译系统。利用这一点，我们的目标是使手语翻译系统能够日常使用。

项目成果

しゃべるヒト

说话的人

• 发表时间: 2023
• 作者: 菊澤律子;吉岡乾ほか
• 通讯作者: 吉岡乾ほか

手話の自動認識・翻訳の研究と展望

手语自动识别与翻译研究与展望

• 发表时间: 2022
• 作者: Miura Teppei;Sako Shinji;Kimura Tsutomu;Kazuhiro Kawachi;堀 博文;酒向 慎司
• 通讯作者: 酒向 慎司

3D Ego-Pose Lift-Up Robustness Study for Fisheye Camera Perturbations

• DOI: 10.5220/0011661000003417
• 发表时间: 2023
• 作者: Teppei Miura;Shinji Sako;Tsutomu Kimura