Interactive humanoid robot design using Bunraku puppet structure and Jo-ha-kyu Principle

使用文乐木偶结构和 Jo-ha-kyu 原理设计交互式人形机器人

• 批准号: 21K17833
• 负责人: 董 然
• 金额: $ 2.91万
• 依托单位: Tokyo University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17833/
• 关键词: 文楽人形; 周波数解析; 深層学習; インタラクションデザイン; 序破急; ノンバーバルコミュニケーション; モーションデザイン; ヒルベルト-ファン変換; 経験的モード分解; ロボットインタラクション; 人工知能; 人形浄瑠璃; 伝統芸能; ヒューマンロボットインタラクション; 感情表現

研究成果：1．文楽人形のインタラクションメカニズムを用いたCGキャラクターアニメーションにおけるモーションデザイン．2．ヒルベルト・ファン変換を用いた周波数領域でのモーション解析手法の開発．１． 文楽人形に使われている感情表現技法のメカニズムは，西洋のものと異なっている．このメカニズムをロボットに実装することで，感情表現のあるロボットインタラクションデザインができると考えられる．文楽の表現をロボットに実装することを検証するため，CGキャラクターでの実証実験を行った．その結果，いままでの研究で解析してきた文楽人形の序破急（緩急）と呼ばれている日本の伝統芸能を用いて，キャラクターアニメーションを作ることで，西洋と異なる表現でのデザインができることを確認できた．２．文楽人形の細かい感情表現を解析し，ロボットでその感情表現を再現するには，より精度の高いモーション解析手法およびモーション特徴量の抽出手法が必要である．文楽人形の所作は，複数のモーションプリミティブで一つの所作を構成している．さらに，3人が同調して人形の異なる部位を操作するため，採取された人形のモーションデータは，異なるスピードのモーションプリミティブや三味線の異なる拍子に合わせた人形師の動きが，時系列においてオーバーラップ状態になっている．これらを解析するため，重なっている所作を周波数領域に分解する必要があるが，フーリエ変換などの一般的に使われている周波数解析手法は，モーションのような非線形データに対応していない．本研究は非線形周波数解析ができるヒルベルト・ファン変換を用いて，さまざまなモーションデータへの適用可能性を検討した．また，この手法は数学的な証明がないため，統計学による検証の手法も併せて提案し，その有用性を検証した．

研究成果： 1.利用文乐人偶的交互机制进行CG角色动画的动作设计。 2.使用希尔伯特-黄变换开发频域运动分析方法。 1. 文乐木偶的情感表达机制与西方不同。通过在机器人中实现这种机制，可以设计具有情感表达的机器人交互。为了验证文乐表情在机器人中的实现，我们使用CG角色进行了演示实验。结果，我们能够确认，通过使用日本传统的文乐木偶表演艺术（之前的研究中已分析过的称为johakyu（yukyu））创建角色动画，可以创建具有不同表达方式的设计来自西方的人。 2.为了分析文乐木偶的详细情绪表达并用机器人再现这些情绪表达，我们需要更精确的运动分析方法和运动特征提取方法。文乐木偶的动作由多个运动基元组成。此外，由于三个人同步操作木偶的不同部位，因此收集到的木偶运动数据表明，木偶操作者的动作与不同速度的运动基元以及三味线的不同拍号处于时间重叠的状态。 。为了分析这些，需要将重叠的运动分解到频域中，但常用的频率分析方法（例如傅里叶变换）不支持运动等非线性数据。在本研究中，我们使用希尔伯特-黄变换研究了各种运动数据的适用性，该变换可以执行非线性频率分析。另外，由于该方法没有数学证明，我们还提出了一种利用统计的验证方法，并验证了其有效性。

项目成果

Motion Feature Extraction and Stylization for Character Animation using Hilbert-Huang Transform

使用 Hilbert-Huang 变换进行角色动画的运动特征提取和风格化

• DOI: 10.1145/3491396.3506524
• 发表时间: 2021
• 期刊: Proceedings of the 2021 ACM International Conference on Intelligent Computing and its Emerging Applications
• 作者: Dong Ran;Lin Yangfei;Chang Qiong;Zhong Junpei;Cai Dongsheng;Ikuno Soichiro
• 通讯作者: Ikuno Soichiro

Development of a humanoid robot with mechanisms to realize exaggerated motions abstracted from a Japanese Bunraku puppet

开发一种人形机器人，其机制可实现从日本文乐木偶中抽象出来的夸张动作

• DOI: 10.1299/jsmermd.2021.1p3-e07
• 发表时间: 2021
• 期刊: The Proceedings of JSME annual Conference on Robotics and Mechatronics (Robomec)
• 作者: KONDO Hayato;YAMAGUCHI Jin’ichi;DONG Ran;HE Yuying;CAI DongSheng;NAKAGAWA Shinobu
• 通讯作者: NAKAGAWA Shinobu

モーションデータを用いたEMDによる人型ロボットの動作学習最適化

使用运动数据的 EMD 优化人形机器人运动学习

• 发表时间: 2022
• 作者: KONDO Hayato;YAMAGUCHI Jin’ichi;DONG Ran;HE Yuying;CAI DongSheng;NAKAGAWA Shinobu;Ran Dong;久保 翔太郎，董 然，生野 壮一郎
• 通讯作者: 久保 翔太郎，董 然，生野 壮一郎

ヒルベルト-ファン変換を適用したゴルフスイングの解析

应用希尔伯特-黄变换分析高尔夫挥杆

• 发表时间: 2022
• 作者: KONDO Hayato;YAMAGUCHI Jin’ichi;DONG Ran;HE Yuying;CAI DongSheng;NAKAGAWA Shinobu;Ran Dong;久保 翔太郎，董 然，生野 壮一郎;木村 勇大，董 然，生野 壮一郎
• 通讯作者: 木村 勇大，董 然，生野 壮一郎

Investigating the Effect of Jo-Ha-Kyu on Music Tempos and Kinematics across Cultures: Animation Design for 3D Characters Using Japanese Bunraku Theater

研究 Jo-Ha-Kyu 对跨文化音乐节奏和运动学的影响：使用日本文乐剧场的 3D 角色动画设计

• DOI: 10.1162/leon_a_02250
• 发表时间: 2022
• 期刊: Leonardo
• 影响因子: 0.3
• 作者: Dong Ran;Cai Dongsheng;Hayano Shingo;Nakagawa Shinobu;Ikuno Soichiro
• 通讯作者: Ikuno Soichiro