超高精細単視点多眼映像向け高効率符号化・高認識率映像システムの構築

超高清单视多视视频高效编码/高识别率视频系统构建

基本信息

批准号：
22K17913
负责人：
片山貴文
金额：
$ 2.83万
依托单位：
The University of Tokushima
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17913/
关键词：
動画像符号化機械学習単視点多眼映像符号 Versatile Video Coding

项目摘要

小型IoTデバイスには単視点多眼映像が取得可能なカメラセンサが提供されている。しかしながら、単視点多眼映像から取得される映像の圧縮技術や認識技術の方法には多くの冗長性が未だ含まれており、より効率的な手法が必要とされている。本研究では、広角カメラ映像と望遠カメラ映像の空間的相関性をScalable Video Coding (SVC)規格や機械学習を応用することで明らかにし、これまで提案された圧縮技術や認識技術の効率化を目指す。本研究を完遂することで、小型カメラをターゲットとした新規画像処理システムへの応用が期待できる。本研究は、単視点多眼映像における動画像符号化及び認識処理を、スケーラブル符号化と機械学習を利用することで高効率かつ高認識率を実現する画像処理システムの構築を目的とする。スケーラビリティのある高効率符号化方式と機械学習を用いた共通Convolutional Neural Network（CNN）やTransformerによる画像認識手法を組み合わせることで演算コストと処理性能の最適なトレードオフを実現し、単視点多眼映像向け画像処理システムを構築する。本年度は、超高解像度単視点多眼映像の検証と解析を中心に研究を行なった。本フェーズでは、超高解像度単視点多眼映像の符号化性能の検証とデータセットの作成を行う。符号化性能の検証はScalable Video Coding (SVC)規格をVVCに応用し、Wide-angle sequence (WS)-Telephoto sequence(TS)間の空間的相関関係を明らかにする。研究成果としては、1,主要な機械学習アルゴリズムを提案したこと、2,単視点多眼映像のデータセットの生成の2点である。これらに関連する研究成果を研究論文としてまとめ、複数の国際会議で発表を行った。

小型物联网设备配有摄像头传感器，可以捕获单视图和多视图图像。然而，从单视点多视点图像获得的视频压缩技术和识别技术仍然包含许多冗余，需要更有效的方法。在这项研究中，我们的目标是通过应用可扩展视频编码（SVC）标准和机器学习来阐明广角相机图像和长焦相机图像之间的空间相关性，并提高已提出的压缩和识别技术的效率远的。。通过完成这项研究，我们可以期望将其应用于针对小型相机的新图像处理系统。本研究的目的是通过使用可扩展编码和机器学习在单视点多视点视频中进行视频编码和识别处理，构建一个实现高效率和高识别率的图像处理系统。通过将高效的可扩展编码方法与使用机器学习的常见卷积神经网络（CNN）和使用 Transformer 的图像识别方法相结合，我们能够实现计算成本和处理性能之间的最佳权衡，并创建单查看多视图图像。今年，我们的研究重点是超高分辨率单视多视图像的验证和分析。在这个阶段，我们将验证超高分辨率单视多视视频的编码性能并创建数据集。为了验证编码性能，我们将可扩展视频编码（SVC）标准应用于VVC，并阐明广角序列（WS）和长焦序列（TS）之间的空间相关性。研究成果是：1.我们提出了一种主要的机器学习算法，2.我们生成了单视图多视图图像的数据集。与这些相关的研究成果被总结为研究论文并在多个国际会议上发表。

项目成果

期刊论文数量（11）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

High-Accuracy Object Detection Using Multi-view Video at Road Intersections

DOI：
10.1109/itc-cscc55581.2022.9894885
发表时间：
2022-07
期刊：
2022 37th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC)
影响因子：
0
作者：
Urumu Ihara;Takafumi Katayama;Tian Song;T. Shimamoto
通讯作者：
Urumu Ihara;Takafumi Katayama;Tian Song;T. Shimamoto

Object Detection in Curved Mirror with Multi-Cameras from Single Viewpoint Video

使用多摄像机从单视点视频进行曲面镜中的物体检测