時系列マルチモーダル情報の分節化に基づくロボットの適応的な行動学習と生成

基于时间序列多模态信息分割的机器人自适应行为学习与生成

• 批准号: 21J11346
• 负责人: 長野 匡隼
• 金额: $ 0.96万
• 依托单位: The University of Electro-Communications
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J11346/
• 关键词: 分節化; ロボティクス; ガウス過程; 強化学習; 自然言語処理; マルチモーダル; 機械学習; 深層学習

人と共生するロボットが環境や文脈に応じて柔軟に行動するために、知覚するマルチモーダルなセンサ情報を教師なしで意味を持つまとまり（分節）に分割し、類似するカテゴリに分類するモデルの構築を行った。令和4年度では、迷路内を移動するロボットが知覚した一人称視点の視覚情報を用いて通路をクラスタリングすることで、未学習の移動可能な経路の推定ができる統計モデルの構築を行なった。また、ロボットが移動することで知覚した時間的かつ空間的な視覚情報のみから迷路（環境）の構造の学習ができることを示した。さらに、提案手法は統計モデルであるため深層学習手法に比べて説明可能性が高いことを示した。また、統計モデルの分節化手法を階層的に接続することにより、音声波形のみから音素や単語、文法へ階層的に教師なしで分節化可能な大規模モデルを機械学習のフレームワークを導入することで実現した。加えて、ロボットの連続する動作情報から動作（分節）を分割・分類し、強化学習によって環境に適する動作に分節を修正することで未知の物体の把持が可能な手法の開発に取り組んだ。また、単語と物体、物体の位置のマッピングにより環境のクラスタリングを行い、そのカテゴリにロボットの動作を関連づけることで、目標とする環境を実現するための動作を生成可能なモデルの構築を行った。さらに、ロボットに自然な動作を学習させるために、視覚情報のみから人間の動作を模倣可能な手法の実現に取り組んだ。これらの研究成果を論文誌や国内の学会に投稿、発表した。

为了使人们与人们在环境和环境中进行灵活行动的机器人，将感知到的多模式传感器信息划分为毫无意义的类别的模型，而没有老师进行类似的类别。在TOWA的第四年中，一个统计模型可以通过使用迷宫中移动的机器人感知的第一个人物视觉信息来估算无关路线。这也表明，机器人的运动只能从所感知的时间和空间视觉信息开始学习迷宫（环境）结构。此外，该建议方法是一个统计模型，因此比深度学习方法更有可能解释。此外，可以通过统计模型分割方法的层次连接引入机械学习框架的引入，因此，可以在没有教师的语音波形的情况下将大规模模型划分的大型模型，只有语音，单词和单词和语言和没有老师的语法。此外，我们开发了一种方法，该方法允许通过从机器人的持续操作信息进行操作和分类（段）来掌握未知对象，并通过增强学习将段对适合环境的环境修改为环境。此外，环境的环境是通过映射单词，对象和对象来执行的，并且该类别与机器人的操作相关联，并且可以创建可能创建目标环境的模型来创建目标环境。此外，为了学习机器人的自然运动，我们努力实现一种可以模仿人类动作仅从视觉信息中的方法。这些研究结果已发布并宣布给论文杂志和国内学术社会。

项目成果

Structure Learning of Continuous Speech based Unsupervised Segmentation

基于连续语音的无监督分割的结构学习

• DOI: 10.7210/jrsj.41.318
• 发表时间: 2023
• 期刊: Journal of the Robotics Society of Japan
• 作者: Nagano Masatoshi;Nakamura Tomoaki
• 通讯作者: Nakamura Tomoaki

多重分節構造を有する時系列データの教師なし分節化

多段结构时间序列数据的无监督分割

• 发表时间: 2021
• 作者: Tadashi Naito;Arihiro Kanazawa;Sadahito Aoshima;平川拓実，長野匡隼，中村友昭
• 通讯作者: 平川拓実，長野匡隼，中村友昭

概念の混合に基づくロボットによる環境のモデル化

基于混合概念的机器人环境建模

• 发表时间: 2022
• 作者: Maruyama Kazuya;Kanazawa Arihiro;Aoshima Sadahito;山本尋;三好遼，長野匡隼，中村友昭
• 通讯作者: 三好遼，長野匡隼，中村友昭

確率生成モデルに基づく連続音声からの教師なし音素・単語・文法獲得

基于概率生成模型从连续语音中无监督获取音素、单词和语法

• 发表时间: 2023
• 作者: Ding Sheng;Zhang Jingwei;Khan Sabrina Alam;Yanagimoto Jun;落合翔馬，長野匡隼，中村友昭
• 通讯作者: 落合翔馬，長野匡隼，中村友昭

MC-GP-HSMMを用いたマルチモーダル情報の分節化によるインタラクションのルール学習

使用 MC-GP-HSMM 分割多模态信息来学习交互规则

• 发表时间: 2021
• 期刊: 日本ロボット学会誌
• 作者: Ding Sheng;Zhang Jingwei;Khan Sabrina Alam;Sato Yuji;Yanagimoto Jun;森 圭太・西山 康太郎・竹澤 悠典・塩谷 光彦;木村大河，長野匡隼，中村友昭
• 通讯作者: 木村大河，長野匡隼，中村友昭