Task Fusion Learning in Deep Learning

深度学习中的任务融合学习

• 批准号: 22K19808
• 负责人: 柳井 啓司
• 金额: $ 4.08万
• 依托单位: The University of Electro-Communications
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-06-30 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K19808/
• 关键词: 連続学習; Vision Transformer; マルチタスク学習; 深層学習

本研究では，単一のNeural Networkに複数のタスクのための機能を同時に学習させ，学習した独立の機能の組み合わせ・重ね合わせによって，事前に学習した個別の単一機能とは異なる，新しい機能を実現し，Neural Networkがより人間の脳に近い汎用的な能力を持っていることを実証することを目的とする．また，複数機能の組み合わせによる実用的な応用についても検討することが当初の目的である．本年度は初年度であるため，その基礎的な研究として，Vision Transformerに対する連続学習に関する研究を行った．この研究では，1つのVision Transformerに複数の分類タスクを学習させるため，タスクに応じたごく少数のパラメータ(1タスクに付き全体の0.5%程度)を導入することで，各タスクにネットワークを適応させるように学習させることを可能とした．

在这项研究中，我们让单个神经网络同时学习多个任务的函数，并通过组合和叠加学习到的独立函数，我们可以创建与预先学习的各个单个函数不同的新函数，目的就是实现这一点。并证明神经网络具有更接近人脑的通用功能。另外，最初的目的是通过多种功能的结合来考虑实际应用。由于这是第一年，我们对 Vision Transformer 进行了持续学习的研究作为基础研究。在这项研究中，为了让一个 Vision Transformer 学习多个分类任务，我们根据任务引入极少量的参数（大约为每个任务总数的 0.5%），使网络适应每个任务，从而做到了这一点。机器人可以进行如下学习。

项目成果

Text-based Image Editing for Food Images with CLIP

使用 CLIP 对食品图像进行基于文本的图像编辑

• 发表时间: 2022
• 作者: Kohei Yamamoto;Keiji Yanai
• 通讯作者: Keiji Yanai

SetMealAsYouLike: Sketch-based Set Meal Image Synthesis with Plate Annotations

SetMealAsYouLike：基于草图的带有餐盘注释的套餐图像合成

• 发表时间: 2022
• 作者: Yuma Honbu;Keiji Yanai
• 通讯作者: Keiji Yanai

FASSD-Net: Fast and Accurate Real-Time Semantic Segmentation for Embedded Systems

FASSD-Net：嵌入式系统快速准确的实时语义分割

• DOI: 10.1109/tits.2021.3127553
• 发表时间: 2021
• 影响因子: 8.5
• 作者: Rosas;Benitez;Portillo;Olivares;Sanchez;Yanai Keiji
• 通讯作者: Yanai Keiji

Zero-shot Font Style Transfer with a Differentiable Renderer

使用可微分渲染器进行零样本字体样式转换

• 发表时间: 2022
• 作者: Kota Izumi;Keiji Yanai
• 通讯作者: Keiji Yanai

Virtual Try-On Considering Temporal Consistency for Videoconferencing.

考虑视频会议时间一致性的虚拟试用。

• 发表时间: 2023
• 作者: Daiki Shimizu;Keiji Yanai
• 通讯作者: Keiji Yanai