画風変換に基づく教師なしドメイン適応に関する研究

基于风格变换的无监督领域适应研究

• 批准号: 22KJ0007
• 负责人: LI ZONGYAO
• 金额: $ 1.41万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0007/
• 关键词: 画風変換; 教師無しドメイン適応; 意味的領域分割; 教師なしドメイン適応

本年度は，昨年度に構築した画像の変換結果の多様性および画像内の物体毎の画風を考慮した画風変換手法を応用し，意味的領域分割における教師無しドメイン適応手法を構築した．昨年度に構築した画風変換手法による多様な変換結果を活用し，ドメイン内画風に不変な特徴表現を学習することで，ドメイン適応の頑健性を向上させた．具体的に，本年度の研究では，一枚のソースドメインまたはターゲットドメインの画像に対して画風変換を行い，ランダムでドメイン内の画風を二回サンプリングすることで，ドメイン内における2枚の画風の異なる変換結果を取得した．その上で，取得された変換画像を用いて学生モデルおよび教師モデルから構築されるself-ensembling手法によりドメイン適応を行った．本技術の実現によって，画像内の内容が同様でありながらドメイン内画風が異なる変換画像を用いることで，ドメイン内画風に不変な特徴表現を学習することが可能となり，研究計画における「教師無しのターゲットドメインにおける領域分割精度の向上」を実現した．上記の研究成果を踏まえて，本年度に実施した研究活動は，昨年度に立てた研究実施計画通り，順調に進展している．また，本年度の研究では，昨年度に立てた計画になかったsource-data-freeドメイン適応に関する研究を行った．具体的に，従来の教師無しドメイン適応手法はソースドメインデータを必要としている．しかしながら，実世界の応用では，個人情報保護などの観点からソースドメインデータの利用が制限されている場合が多く存在する．このような場合に対してドメイン適応を応用するために，ソースドメインデータの代わりにソースドメインの学習済みモデルを利用するsource-data-freeドメイン適応手法を構築した．以上のように，本来計画した研究成果の応用範囲を広げた計画以上の成果を挙げることができた．

今年，我们通过应用去年开发的风格转换方法，开发了一种用于语义区域分割的无监督域适应方法，该方法考虑了图像转换结果的多样性和图像中每个对象的风格。我们利用去年开发的风格转换方法的各种转换结果，通过学习域内绘画风格不变的特征表达，提高了域适应的鲁棒性。具体来说，在今年的研究中，我们对单个源域或目标域图像进行风格转换，并对域的风格进行两次随机采样得到转换结果。然后，我们使用获得的变换图像，使用由学生模型和教师模型构建的自集成方法进行域适应。通过实现该技术，可以通过使用具有相同内容但不同领域风格的变换图像来学习对领域风格不变的特征表达，并且这使得学习对领域风格不变的特征表达成为可能。我们实现了“目标域中区域分割精度的提高”。基于上述研究成果，今年开展的研究活动按照去年制定的研究实施计划进展顺利。另外，在今年的研究中，我们进行了无源数据域适应的研究，这并不是我们去年制定的计划的一部分。具体来说，传统的无监督域适应方法需要源域数据。然而，在实际应用中，出于个人信息保护的角度，源域数据的使用往往受到限制。为了将域适应应用于此类情况，我们构建了一种无源数据的域适应方法，该方法使用源域的训练模型而不是源域数据。如上所述，我们通过扩大研究成果的应用范围，取得了超出原定计划的成果。

项目成果

Divergence-guided Feature Alignment for Cross-domain Object Detection

用于跨域目标检测的发散引导特征对齐

• 发表时间: 2022
• 作者: Zongyao Li

Improving model adaptation for semantic segmentation by learning model-invariant features with multiple source-domain models

通过使用多个源域模型学习模型不变特征来改进语义分割的模型适应性

• 发表时间: 2022
• 作者: Li Zongyao;Togo Ren;Ogawa Takahiro;Haseyama Miki
• 通讯作者: Haseyama Miki

Semantic-aware Unpaired Image-to-image Translation for Urban Scene Images

城市场景图像的语义感知非配对图像到图像翻译

• 发表时间: 2021
• 作者: Zongyao Li

Learning intra-domain style-invariant representation for unsupervised domain adaptation of semantic segmentation

学习域内风格不变表示以实现语义分割的无监督域适应

• DOI: 10.1016/j.patcog.2022.108911
• 发表时间: 2022
• 影响因子: 8
• 作者: Li Zongyao;Togo Ren;Ogawa Takahiro;Haseyama Miki
• 通讯作者: Haseyama Miki

Union-set multi-source model adaptation for semantic segmentation

用于语义分割的并集多源模型自适应

• 发表时间: 2022
• 作者: Li Zongyao;Togo Ren;Ogawa Takahiro;Haseyama Miki
• 通讯作者: Haseyama Miki