視線と瞬目を用いたキャリブレーションフリー入力インタフェース

使用凝视和眨眼的免校准输入接口

基本信息

批准号：
21K12801
负责人：
阿部清彦
金额：
$ 2.41万
依托单位：
Tokyo Denki University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

ユーザの視線や瞬目（瞬き）の情報によりパソコンなどを操作する視線入力は、重度肢体不自由者など一般的な入力インタフェースの使用が困難な人たちのコミュニケーション支援に使われる。従来の視線入力インタフェースの多くは、使用前にユーザごとにキャリブレーション（較正）を行なう必要があり、使用に煩雑さがあった。本研究では、畳み込みニューラルネットワークを利用することにより、ノートパソコンのインカメラで撮影されたユーザの眼球近傍画像から視線と瞬目の情報をリアルタイムで捉え、パソコンを操作する新しい入力インタフェースを開発する。この視線入力インタフェースは、キャリブレーションを必要としないという大きな特長がある。2022年度の研究では、今までに開発してきた畳み込みニューラルネットワーク（CNN）による視線方向識別手法に、時間軸方向の情報を加味した３次元み込みニューラルネットワーク（3D-CNN）を適用することにより頑健性の高い新たな手法を開発した。この方法により、長期間安定的に使用できる入力インタフェースを開発が可能となった。また、本研究では視線入力インタフェースの入力決定にユーザの意識的な瞬目（随意性瞬目）の情報を利用するが、2021年度に開発した3D-CNNによる手法では著しく検出精度が低下するケースが見られた。2022年度は新たに、撮影した眼球の位置がずれた画像列を意図的に生成し、それを用いて識別器のモデルを学習させることで識別率低下を抑えることを可能とした。また、これらの研究と並行して、従来のCNNによる視線方向識別法と随意性瞬目検出法を併用した、視線による日本語入力インタフェースの基盤部分を開発した。今後、この視線による日本語入力インタフェースに、新たに開発した3D-CNNによる視線識別法と随意性瞬目検出法を適用し、さらに使いやすい入力インタフェースを開発する予定である。

凝视输入使用有关用户凝视和眨眼的信息来操作计算机，用于支持难以使用常见输入界面的人（例如患有严重身体残疾的人）的通信。许多传统的视线输入接口在使用前需要每个用户进行校准，这使得它们使用起来很麻烦。在这项研究中，通过使用卷积神经网络，我们将开发一种新的输入接口来操作计算机，通过从笔记本电脑内置摄像头拍摄的用户眼球附近的图像中实时捕获凝视和眨眼信息。这种视线输入接口的一大优点是不需要校准。在2022年的研究中，我们将把考虑时间轴信息的三维卷积神经网络（3D-CNN）应用到使用我们迄今为止开发的卷积神经网络（CNN）的注视方向识别方法中我们开发了一种具有高性能的新方法。这种方法使得开发可以长期稳定使用的输入界面成为可能。此外，在这项研究中，利用用户有意识眨眼（自愿眨眼）的信息来确定注视输入界面的输入，但在某些情况下，使用2021年开发的3D-CNN方法，检测精度会显着下降。被看见了。 2022年度，我们有意生成了拍摄眼球位置发生偏移的图像序列，并用它来训练分类器模型，从而抑制了分类率的下降。此外，在这些研究的同时，我们开发了基于凝视的日语输入界面的基本部分，该界面结合了传统的 CNN 凝视方向识别方法和自愿眨眼检测方法。未来，我们计划将新开发的 3D-CNN 凝视识别方法和自愿眨眼检测方法应用于这种基于凝视的日语输入界面，以开发更易于使用的输入界面。