時系列マルチモーダル情報の分節化に基づくロボットの適応的な行動学習と生成

基于时间序列多模态信息分割的机器人自适应行为学习与生成

• 批准号: 21J11346
• 负责人: 長野 匡隼
• 金额: $ 0.96万
• 依托单位: The University of Electro-Communications
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J11346/
• 关键词: 分節化; ロボティクス; ガウス過程; 強化学習; 自然言語処理; マルチモーダル; 機械学習; 深層学習

人と共生するロボットが環境や文脈に応じて柔軟に行動するために、知覚するマルチモーダルなセンサ情報を教師なしで意味を持つまとまり（分節）に分割し、類似するカテゴリに分類するモデルの構築を行った。令和4年度では、迷路内を移動するロボットが知覚した一人称視点の視覚情報を用いて通路をクラスタリングすることで、未学習の移動可能な経路の推定ができる統計モデルの構築を行なった。また、ロボットが移動することで知覚した時間的かつ空間的な視覚情報のみから迷路（環境）の構造の学習ができることを示した。さらに、提案手法は統計モデルであるため深層学習手法に比べて説明可能性が高いことを示した。また、統計モデルの分節化手法を階層的に接続することにより、音声波形のみから音素や単語、文法へ階層的に教師なしで分節化可能な大規模モデルを機械学習のフレームワークを導入することで実現した。加えて、ロボットの連続する動作情報から動作（分節）を分割・分類し、強化学習によって環境に適する動作に分節を修正することで未知の物体の把持が可能な手法の開発に取り組んだ。また、単語と物体、物体の位置のマッピングにより環境のクラスタリングを行い、そのカテゴリにロボットの動作を関連づけることで、目標とする環境を実現するための動作を生成可能なモデルの構築を行った。さらに、ロボットに自然な動作を学習させるために、視覚情報のみから人間の動作を模倣可能な手法の実現に取り組んだ。これらの研究成果を論文誌や国内の学会に投稿、発表した。

为了使机器人与人类在环境和环境中灵活地行动，我们构建了一个模型，其中感知到的多模式传感器信息被分为有意义的组（分段），而无需监督并分类为类似的类别。在2022年，构建了一个统计模型，该模型允许使用迷宫中移动的机器人感知的视觉信息来估算未经学习的，可移动的路径。它还表明，机器人只能根据移动感知的时间和空间视觉信息来学习迷宫（环境）的结构。此外，由于提出的方法是统计模型，因此比深度学习方法更能解释。此外，通过层次连接统计模型分割技术，我们已经实现了一个大规模模型，可以通过引入机器学习框架来层次将声音从声波，单词和语法划分为音素，单词和语法。此外，我们还致力于开发一种方法，该方法使我们能够从机器人的连续运动信息中对操作（分段）进行分类和分类，并将通过加固学习适合环境的行为修改为适合环境的行为，从而使我们能够掌握未知的对象。此外，环境是通过映射单词，对象和对象位置的聚集，并通过将机器人的动作与类别相关联，该模型可以生成动议以实现目标环境的构建。此外，为了允许机器人学习自然运动，我们努力实现一种可以仅使用视觉信息模仿人类行为的方法。这些研究结果已提交并提交给期刊和国内学术会议。

项目成果

Structure Learning of Continuous Speech based Unsupervised Segmentation

基于连续语音的无监督分割的结构学习

• DOI: 10.7210/jrsj.41.318
• 发表时间: 2023
• 期刊: Journal of the Robotics Society of Japan
• 作者: Nagano Masatoshi;Nakamura Tomoaki
• 通讯作者: Nakamura Tomoaki

多重分節構造を有する時系列データの教師なし分節化

多段结构时间序列数据的无监督分割

• 发表时间: 2021
• 作者: Tadashi Naito;Arihiro Kanazawa;Sadahito Aoshima;平川拓実，長野匡隼，中村友昭
• 通讯作者: 平川拓実，長野匡隼，中村友昭

概念の混合に基づくロボットによる環境のモデル化

基于混合概念的机器人环境建模

• 发表时间: 2022
• 作者: Maruyama Kazuya;Kanazawa Arihiro;Aoshima Sadahito;山本尋;三好遼，長野匡隼，中村友昭
• 通讯作者: 三好遼，長野匡隼，中村友昭

確率生成モデルに基づく連続音声からの教師なし音素・単語・文法獲得

基于概率生成模型从连续语音中无监督获取音素、单词和语法

• 发表时间: 2023
• 作者: Ding Sheng;Zhang Jingwei;Khan Sabrina Alam;Yanagimoto Jun;落合翔馬，長野匡隼，中村友昭
• 通讯作者: 落合翔馬，長野匡隼，中村友昭

MC-GP-HSMMを用いたマルチモーダル情報の分節化によるインタラクションのルール学習

使用 MC-GP-HSMM 分割多模态信息来学习交互规则

• 发表时间: 2021
• 期刊: 日本ロボット学会誌
• 作者: Ding Sheng;Zhang Jingwei;Khan Sabrina Alam;Sato Yuji;Yanagimoto Jun;森 圭太・西山 康太郎・竹澤 悠典・塩谷 光彦;木村大河，長野匡隼，中村友昭
• 通讯作者: 木村大河，長野匡隼，中村友昭