深層学習による色覚障がい支援のための意味論的情報補償

使用深度学习支持色盲的语义信息补偿

• 批准号: 22K21274
• 负责人: 朱 臻陽
• 金额: $ 1.83万
• 依托单位: University of Yamanashi
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Research Activity Start-up
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-08-31 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K21274/
• 关键词: 色覚補償; 意味論的情報; 拡張現実; 深層学習; 色覚障がい支援

本研究では，色覚障がいによる意味論的情報損失を補償するために，深層学習モデル及び拡張現実（Ａｕｇｍｅｎｔｅｄ-Ｒｅａｌｉｔｙ，ＡＲ）グラスを取り入れた色覚補償技術Ｃｏｌｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｇｌａｓｓｅｓ （ＣＣ－Ｇｌａｓｓｅｓ）を開発することを目的とする．具体的には，（１）ＡＲグラス補償システムの開発，（２）障がい者が利用するシチュエーションに合わせた使用モード：探索モードと検索モードの提案，（３）二つの使用モードに取り入れる深層学習モデルの学習のためのデータセットの作成である．本研究課題の１年目では，検索モードに取り入れる技術の開発に取り組んできた．当該モードでは，ユーザが周囲とのコミュニケーションを取る際に，会話中の色単語とオブジェクト単語のペアを利用し，入力画像から指定されるオブジェクトを見つけ出し，ＡＲグラスでユーザに知らせる．当該モードに取り入れた深層学習モデルを学習させるために，色単語とオブジェクト単語のペアを含んだデータセットを作成した．既存のインスタンスセグメンテーションモデルを利用し，ソーシャルネットサイトから収集した画像データを半自動的にアノテーションする方法を提案した．提案技術の有効性を検証するために，色覚障がいをもつ協力者による主観評価実験を行った．その成果をまとめた論文は国際会議Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎｓ ２０２３ （ｈ５-ｉｎｄｅｘ：１７）に採択され，口頭発表を行った．

在这项研究中，为了弥补由于颜色障碍而导致的有意义的信息损失，颜色通信（CC-glasses）为此目的结合了深度学习模型和扩展现实。具体而言，（1）AR玻璃补偿系统的开发，（2）使用与残疾人使用的情况相匹配的模式：在搜索模式和搜索模式建议中，（3）深度学习模型纳入了两个使用模式学习。在这项研究任务的第一年，我们一直在研究技术的开发，以纳入搜索模式。在此模式下，当用户与周围环境进行通信时，请使用对话中的一对彩色单词和对象单词从输入映像中找出指定的对象，并在AR玻璃中通知用户。为了学习包含在模式中的深度学习模型，创建了包含一对彩色单词和对象单词的数据集。使用现有的实例 - 维护模型，我们提出了一种从社交网站收集的半自动图像数据的方法。为了验证提案技术的有效性，具有颜色为导向障碍的合作者进行了主观评估实验。总结结果的论文是由国际会议增强人类2023（H5-Index：17）采用的，并进行了口头介绍。

项目成果

Deep Learning and Augmented-Reality Glasses based Meat Cooking Support for Color Vision Disorder Compensation

• DOI: 10.1109/nicoint59725.2023.00019
• 发表时间: 2023-06
• 期刊: 2023 Nicograph International (NicoInt)
• 作者: Shota Chiba;Zhenyang Zhu;D. Inoue;Xiaoyang Mao

CC-Glasses: Color Communication Support for People with Color Vision Deficiency Using Augmented Reality and Deep Learning

• DOI: 10.1145/3582700.3582707
• 发表时间: 2023-03
• 期刊: Proceedings of the Augmented Humans International Conference 2023
• 作者: Zhenyang Zhu;Jiyi Li;Ying Tang;K. Go;M. Toyoura;K. Kashiwagi;I. Fujishiro;Xiaoyang Mao

Image recoloring for Red-Green dichromats with compensation range-based naturalness preservation and refined dichromacy gamut

红绿二色镜的图像重新着色，具有基于补偿范围的自然度保留和精细的二色色域

• DOI: 10.1007/s00371-022-02549-4
• 发表时间: 2022
• 期刊: The Visual Computer
• 作者: Wangkang Huang;Zhenyang Zhu;Ligeng Chen;Kentaro Go;Xiaodiao Chen;Xiaoyang Mao
• 通讯作者: Xiaoyang Mao