Learning and realtime conversion of motion styles for non-verbal communication via avatar

通过头像学习和实时转换动作风格以进行非语言交流

基本信息

批准号：
19H04231
负责人：
栗山繁
金额：
$ 10.9万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

CGで構成される仮想的な人物（アバター）の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き（スタイル）に変換する技術に取り組んでいる。2020年度には通常の動きとスタイル付けされた動きの間でデータを一定時間毎に区切った動作部分をパターン照合して入れ替える技術を開発し、2021年度はその発展形として、スタイル付けされた動作部分の集合をできるだけ幅広く使用する様なパターン照合技術を導入した。これらの研究成果は、当該分野では国内で最大の規模と知名度を有する査読付き学術会議（Visual Computing）で採択され、口頭発表した。2022年度は、画像処理の分野でも盛んに導入されている Transformer モデルに着目し、これを利用したパターン照合の手法を開発した。この Transformer に基づく手法においても一定時間毎に区切った動作部分を入れ替えるアプローチを導入するが、各動作部分を自然言語のトークンとみなし、その特徴の前後関係から文脈に相当する情報を抽出して、身振り動作の意味的な構造を捉えたパターン照合技術を開発した。さらに、スタイル変換の結果を定量的に評価する手法に関しては未だに良いモデルが提案されていないが、身振り動作に特化した、意味の伝達とスタイルの特徴を分離して誤差を数値的に評価する手法を考案した。この手法により、これまでに開発した手法よりも精度の高い変換が可能であることを定量的に示した。2022年度の研究成果は、当該分野における最も権威のある国際会議（ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation）に採択され、国際学術論文として掲載された。また、発表内容に関連するモーションキャプチャデータとプログラムのソースコードも GitHub を用いて一般公開した。

（cg で构成される仮想的な人物（アバター）の身振りに対する表现力を高めるために、その个性あるいは感性的な特徴の元となる微细な动き（スタイル）に変换する技术に取り组んでいる。2020年度には通常の动きとスタイル付けされた动きの间でデータを一定时间毎に区切った动作部分をパターン照合して入れ替える技术を开発し、2021 年度はその発展形として、スタイル付けされた动作部分の集合をできるだけ幅広く使用する様なパターン照合技术を导入した。这些研究结果是由同行评审的科学委员会（Visual Compering）选择的，该委员会是该国最大，最著名的，并被口头介绍。在2022财年中，我们专注于变压器模型，该模型也广泛用于图像处理领域，并使用此模型开发了一种模式匹配方法。この变压器に基づく手法においても一定时间毎に区切った动作部分を入れ替えるアプローチを导入するが、各动作部分を自然言语のトークンとみなし、その特徴の前后关系から文脉に相当する情报を抽出して、身振り动作の意味的な构造を捉えたパターン照合技术を开発した。さらに、スタイル変换の结果を定量的に评価する手法に关しては未だに良いモデルが提案されていないが、身振り动作に特化した、意味の伝达とスタイルの特徴を分离して误差を数値的に评価する手法を考案した。该方法已定量地表明，可以以比以前开发的方法更高的精度实现转换。 2022年ACM Siggraph/Eurographics研讨会（计算机动画）に采択され、国际学术论文として掲载された。运动捕获数据与演示文稿和程序源代码相关的运动捕获数据也被使用GitHub公开。