方向依存関数と加重平均による，高速・高精度画像補間アルゴリズムの確立

利用方向相关函数和加权平均建立高速、高精度图像插值算法

• 批准号: 18J12259
• 负责人: 山口 拓郎
• 金额: $ 0.83万
• 依托单位: Keio University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2020-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J12259/
• 关键词: デモザイク; 画像処理; 方向依存関数; 加重平均; 局所関数; デモザイク; 画像処理; 方向依存関数; 加重平均; 局所関数

本研究はグレースケール画像の補間手法として提案した方向依存関数と加重平均による補間法を，カラー画像への応用として単板式センサを用いて撮影したデジタルカメラ内部での形であるベイヤー画像からディスプレイ上で扱える形であるフルカラー画像へと変換するデモザイクへの適用を調査した．まず色間の相関を利用しない単純な補間手法を適用した場合と比較し，これまでの補間と同様に提案法での精度上昇を確認した．しかし色間の相関を利用するデモザイク手法と比較を行ったところ，精度が落ちていることが判明した．そこで次の段階として，方向依存関数の色間方向を含めた３次元拡張を考察した．その最初の調査として，方向依存関数の鍵である，追従方向を決める重みに関して他色情報を考慮して導出を図った．しかしここでは期待した効果を得ることができなかったことから，重み導出のみではなく関数の立式に関して他色情報を考慮する項を取り入れる必要があることがわかった．そこで次なる取組として第３方向として他色の色変化に一次元的に追従する項を追加した．その結果，画像によっては大きく精度を上昇し，低計算コストのデモザイク手法と同程度の精度を得るに至った．しかし色差相関が強い画像に関してはよい精度が得られている一方，相関が弱い関数に関してはむしろ精度を下げる結果となっていることがわかった．このことから現状の関数では第３方向に強く依存しており，方向依存関数の強みである適切な方向を選択して局所関数の精度を上げることができていないことが判明している．また本研究を進める上でのデモザイク手法への研究調査を通じて，最新手法である深層学習を用いたデモザイク手法への知見を得，それに関する研究を並行して行った．これにより複数のネットワークと色差画像を用いる手法を提案に至り，最終的に国際学会への採択と学会誌への条件付き採録という成果を得ることができた．

这项研究研究了使用方向依赖性函数的插值方法的应用，并提出了作为灰度图像的插值方法的加权平均值，该方法将Demosaics插入了Demosaics，该方法将使用单板传感器（可以在展示上介绍的单色图像）转换为数字相机内的拜耳图像，这些拜耳图像是使用单板传感器中的数字相机内的形状。首先，我们比较了一种不利用颜色之间不利用相关性的简单插值方法的情况，并且与先前的插值一样，我们确认了所提出的方法的准确性提高。但是，当与利用颜色相关性的Demosaic方法进行比较时，发现准确性很差。因此，作为下一步，我们考虑了三维扩展，包括方向依赖性函数的颜色方向。作为第一个研究，我们得出了确定以下方向的权重，这是指定方向依赖函数的关键，考虑到其他颜色信息。但是，由于我们无法在此处获得预期效果，因此我们发现有必要将有关函数编队方程的其他颜色信息的术语合并，而不仅仅是权重推导。因此，作为下一个倡议，我们添加了一个术语，该术语遵循在一个维度上作为第三方向的其他颜色的颜色变化。结果，某些图像的准确性显着提高，从而导致准确性与低计算成本相同的Demosaic技术水平。但是，发现具有较强色素相关性的图像具有良好的精度，但相关性较弱的功能实际上导致精度较低。这表明当前函数强烈依赖于第三方向，并且不能通过选择适当的方向来提高局部函数的准确性，这是方向依赖性函数的强度。此外，通过对发展这项研究的发展方法的研究，我们使用最新方法，深度学习并并行进行了对这些方法的研究，从而获得了对大型方法的知识。这导致了使用多个网络和色差图像的方法提出的建议，并最终获得了对国际会议的收养结果，并有条件接受该期刊。