AI on human motions for digital persona

数字角色的人体动作人工智能

基本信息

批准号：
21H03520
负责人：
高野渉
金额：
$ 11.07万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

デジタルペルソナとは、人間の趣味趣向や意思決定を通じて発現される身体運動や発話の情報表現としてのコンピュータモデルである。ロボティクス・コンピュータビジョン・AIの最新技術を駆使して、コンピュータが人間の行動を観察するだけで、その傾向や特性といった個性の抽出と類別化、人間の行動を言語化・アーカイブおよび再生する技術が基盤となる。令和４年度は、以下の研究項目に取り組み、人間の行動観察からそれを言語として表現するため環境を整備した。（A）ビデオモーションキャプチャ技術の開発スマートフォンにて撮影した画像中から、人間の身体運動を表現するに重要な身体部位（キーポイント：鼻、目、耳、首、肩、肘、手先、腰、膝、足先）をリアルタイムで検出する運動計測環境を整備した。身体運動は画像座標系におけるキーポイントの位置（X・Y座標）の数値として計測される。キーポイント位置座標から、カメラに対する人間の位置や身長などの被写体の大きさに不変な特徴量を設計した。（B）行動データと言語データの統合数理モデルの開発スマートフォンで計測した身体運動データに対して、動作名のラベルを人間が付与することによって、運動データと対応するラベルの組合せのデータセットを収集した。運動データから付与したラベルが生成される深層ニューラルネットワークをワークステーションにて設計することにより、スマートフォンにて撮影した映像から人間の行動を認識する計算を実現した。さらに、ワークステーションにて設計した運動の認識器モデルをスマートフォンに移植することによって、スマートフォンを撮影した人間の映像から骨格キーポイントの位置を検出し、その数値データから動作を識別することを可能にした。人間の身体運動を計測する技術、運動を認識する技術を誰でもが簡易に利用できる技術の基盤となる。

数字角色是一种计算机模型，代表通过人类爱好和决策表达的身体动作和言语信息。通过充分利用机器人、计算机视觉和人工智能的最新技术，计算机可以简单地观察人类行为，提取和分类倾向和特征等个性，而技术成为语言化、存档和再现人类行为的基础。。 2020财年，我们进行了以下研究项目，并创造了一个观察人类行为并用语言表达它的环境。 (A) 视频动作捕捉技术的发展根据智能手机拍摄的图像，重要的身体部位（关键点：鼻子、眼睛、耳朵、颈部、肩膀、肘部、手指、臀部），我们创建了一个检测运动的运动测量环境（膝盖、脚趾）实时。身体运动被测量为图像坐标系中关键点位置（X 和 Y 坐标）的数值。从关键点位置坐标出发，我们设计了对于人相对于相机的位置以及被摄体的尺寸（例如高度）不变的特征。 (B) 开发行为数据和语言数据的集成数学模型通过将带有运动名称的标签分配给用智能手机测量的身体运动数据，收集了运动数据和相应标签的组合的数据集。通过在工作站上设计一个深度神经网络，生成根据运动数据分配的标签，我们已经实现了可以从智能手机拍摄的视频中识别人类动作的计算。此外，通过将在工作站上设计的运动识别器模型移植到智能手机上，可以从智能手机捕获的人体图像中检测骨骼关键点的位置，并根据数值数据识别运动。这将构成技术的基础，使任何人都可以轻松地使用技术来测量人体运动并识别运动。