A Gaze-enabled 3D Face Morphable Model and Applications for Face Image Synthesis

支持凝视的 3D 人脸变形模型及其人脸图像合成应用

• 批准号: 22KJ0923
• 负责人: 劉 暁寒
• 金额: $ 1.47万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0923/
• 关键词: 視線推定; 顔画像生成; コンピュータビジョン

本年度は新型コロナウイルス感染症の影響により特別研究員採用中断を申請しましたが、私は中国のTencent公司で研究インターンシップとして参加し、菅野先生と張博士の共同指導下で、顔画像生成に関する研究を行いました。これらの研究活動は、本課題「一回撮影で自由視点の話者顔動画生成」と密切に関連しています。「話者顔動画生成」は、単一または複数の静止画から、自然な口の動きや表情の変化を含む動画を生成する研究領域です。具体的には、私はStyleSDFとStyleNeRFの隠れた空間編集ネットワークの設計に取り組みました。これら二つの方法を比較した結果、StyleNeRFはより優れた隠れた空間編集特性を持つことが明らかとなりました。また、隠れた空間編集ネットワークの学習に使用するためのデータセットを作成しました。具体的には、StyleNeRFを用いて原始画像を生成し、各人物IDに対して5つの異なる頭部姿勢の1024x1024解像度の顔画像、そして該ID対応の隠れた空間コードと各画像に対応するカメラ姿勢を含みました。次に、PIRenderを使用して原始画像に表情編集を加え、各頭部姿勢に対して多様な表情の顔画像再現を生成しました。最後にはGPENを用いて画像の超解像処理を行い、1024x1024の画像を得ました。得られたデータセットを使用して、StyleNeRFの隠れた空間編集ネットワークを訓練しました。このネットワークは原始隠れた空間コードと3DMM表情パラメータの差を入力として、隠れた空間コードの偏移量を出力します。これにより、StyleNeRF生成の顔画像の表情の修正が可能となります。以上の研究は本課題と深く関連しており、研究成果の生産に大きく貢献しております。

今年，由于新型冠状病毒感染的影响，我要求暂停特别研究员的招募，但我参加了中国腾讯的研究实习，并在菅野教授和张博士的共同监督下进行了面部图像生成的研究。我做到了。这些研究活动与“通过一次拍摄从自由视角生成说话者面部视频”项目密切相关。 “说话人面部视频生成”是一个研究领域，可从单个或多个静态图像生成包括自然嘴部运动和面部表情变化的视频。具体来说，我致力于设计 StyleSDF 和 StyleNeRF 隐藏空间编辑网络。比较这两种方法，我们发现StyleNeRF具有更好的隐藏空间编辑属性。我们还创建了一个数据集用于训练隐藏的空间编辑网络。具体来说，我们使用StyleNeRF生成原始图像，对于每个人ID，我们生成具有五种不同头部姿势的1024x1024分辨率的人脸图像、与ID对应的隐藏空间代码以及与每个图像对应的相机包括姿势。接下来，我们使用 PIRender 对原始图像进行面部表情编辑，以生成每个头部姿势具有各种表情的面部图像复制品。最后，我们使用GPEN对图像进行超分辨率处理，得到1024x1024的图像。生成的数据集用于训练 StyleNeRF 的隐藏空间编辑网络。该网络将原始隐藏空间代码与3DMM面部表情参数之间的差异作为输入，并输出隐藏空间代码的偏差量。这使得修改 StyleNeRF 生成的面部图像的面部表情成为可能。上述研究与本课题密切相关，对研究成果的产生做出了巨大贡献。

项目成果

Tencent Technology(中国)

腾讯科技（中国）