Transformerアーキテクチャに基づくマルチモーダル物体認識技術の開発

基于Transformer架构的多模态物体识别技术开发

基本信息

批准号：
22K17918
负责人：
田中大介
金额：
$ 2.91万
依托单位：
Niihama National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17918/
关键词：
特徴抽出センサフュージョン物体認識自己符号化器

项目摘要

近年、センサの低価格化に伴い、様々な環境において、マルチモーダルセンサ情報（視覚・触覚・聴覚など）が得られるようになっている。このセンサから得られる膨大な情報を実時間で統合し活用できれば、産業分野における異常検出など、様々な応用先が考えられる。本研究ではそれらセンサ情報に基づく物体認識を問題設定とし、その膨大な情報を用いた低計算量での認識を実現するため、自然言語処理分野で成果をあげているTransformerアーキテクチャに基づくマルチモーダルセンサ情報を相補的に利活用する物体認識モデルを提案することを目的として研究を行っている。2022年度は、提案法の第一ステップとして、視覚・聴覚の2情報を基に物体認識を行うアルゴリズムの開発を行った。提案手法のベースとなるアルゴリズムについてはすでに申請者により実装済みであったため、このアルゴリズムを視覚情報（画像）以外のセンサ情報を取り扱い可能な形に拡張した。アルゴリズムの有効性検証のため、色や硬さの異なるボールの認識実験を行った。視覚・聴覚情報を訓練データとして取得し、両情報を活かした認識が行えているかどうかを検証した。提案法は畳み込みなどの演算を必要とせず、ベースとなるアルゴリズムとほぼ同等の計算量で認識を実現できていることを確認した。この成果を国内会議にて発表した。また並行して、聴覚情報からの特徴抽出法について自己符号化器を基にした手法を検討し、国際会議にて発表を行った。

近年来，随着传感器价格的下降，多模态传感器信息（视觉、触觉、听觉等）已在各种环境中可用。如果能够实时集成和利用从这些传感器获得的大量信息，可以考虑工业领域的异常检测等各种应用。在本研究中，我们基于此类传感器信息设置了物体识别问题，为了利用这种巨大的信息量实现低计算量的识别，我们将使用基于 Transformer 架构的多模态传感器，该传感器具有我们的研究旨在提出一种以互补方式利用信息的对象识别模型。在 2022 财年，作为该方法的第一步，我们开发了一种基于视觉和听觉信息两种类型的物体识别算法。由于构成所提出方法的基础的算法已经由申请人实施，因此该算法被扩展为可以处理除视觉信息（图像）之外的传感器信息的形式。为了验证算法的有效性，我们进行了识别不同颜色和硬度的球的实验。我们获取视觉和听觉信息作为训练数据，并验证是否可以使用这两种类型的信息进行识别。我们证实，所提出的方法不需要卷积等运算，并且可以通过与基础算法大致相同的计算量来实现识别。结果在国内会议上公布。与此同时，我们研究了一种基于自动编码器从听觉信息中提取特征的方法，并在国际会议上展示了结果。