Qualitative description of the sequential change of the environment based on optical flow

基于光流的环境序列变化的定性描述

• 批准号: 21K04434
• 负责人: 稲上 誠
• 金额: $ 2.58万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K04434/
• 关键词: 移動; 環境の記述; シークエンス; オプティカルフロー; 生態学的視覚論

令和4年度には，オプティカルフローを解析するソフトウェアの開発を行なった．オプティカルフローに関するライブラリーが用意されていること，画像やベクトルなどの行列データの処理が容易であることを考慮して，Matlabを開発環境として選択した．Matlabによる開発を専門とする業者に依頼し，動作の確認と機能の修正を重ね，ソフトウェアを完成させることができた．5種類のアルゴリズム（Farneback，Horn-Schunck，Lucas-Kanade，Lucas-Kanade derivative，Block Matcher）を実装し，各パラメーターを調整できるようにした．入力データとしては，360度の環境を撮影した正距円筒図法の動画を使用する．投影の歪みによる影響を除くため，フィボナッチ格子という手法により，解析する画素（オプティカルフローのベクトルの始点）を均等に分布させるようにした．出力データとしては，検出されたベクトルの数値データに加え，それらを重畳した動画ファイルが記録される．さらに，大学キャンパス内で撮影したサンプル映像を用いて，オプティカルフローの検出精度の確認を行なった．検討を重ねた結果，Farneback法を使用して，高解像度（5760×2880画素）の映像を1フレームごと（30fps）に処理することにより，誤検出が減少することが分かった．また，検出されたベクトルの値に対して，時間軸方向にメディアンフィルターを適用することも有効であった．現時点では，0.5秒間隔でベクトルを合成し，各方向（前，右，左，上，下）の角速度の平均値を求め，オプティカルフローの強度の指標としている．その指標には環境のレイアウトとテクスチャーが反映されていて，生態学的視覚論の基づいているという点において，画期的な環境のシークエンスの記述法だと言える．

在2022年，我们开发了用于分析光流的软件。 MATLAB被选为开发环境，因为它具有与光流有关的库，并且很容易处理矩阵数据，例如图像和向量。我们询问了一家专门使用MATLAB开发的公司，并能够通过检查操作并修改功能来完成软件。已经实施了五种类型的算法（Farneback，Horn-Schunck，Lucas-Kanade，Lucas-Kanade衍生产品和块匹配器），以允许调整每个参数。输入数据是在360度环境中拍摄的等值角投影视频。为了消除投影失真的影响，我们使用了一个斐波那契晶格来分布均匀分析的像素（光流量的起点）。作为输出数据，除了检测到的向量的数值数据外，还记录了与它们重叠的视频文件。此外，在大学校园拍摄的样品素材被用来确认光流的检测准确性。经过大量考虑，我们发现，使用Farneback方法处理每个框架（30 fps）的高分辨率（5760 x 2880像素）的图像，从而减少了错误的检测。在时间轴方向上应用中位过滤器上的中位过滤器也有效。当前，以0.5秒的间隔合成向量，并计算每个方向（前，右，左，顶部，底部）的角速度的平均值，并用作光流强度强度的索引。该指标反映了环境的布局和纹理，并且基于生态视觉理论，可以说是描述环境序列的开创性方法。

项目成果

Developing a flow-based notation to describe architectural and urban experiences

开发基于流程的符号来描述建筑和城市体验

• 发表时间: 2023
• 作者: 碓田智子;中尾七重;大野敏;栗本康代;Makoto Inagami
• 通讯作者: Makoto Inagami