超高精細単視点多眼映像向け高効率符号化・高認識率映像システムの構築

超高清单视多视视频高效编码/高识别率视频系统构建

基本信息

批准号：
22K17913
负责人：
片山貴文
金额：
$ 2.83万
依托单位：
The University of Tokushima
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17913/
关键词：
動画像符号化機械学習単視点多眼映像符号 Versatile Video Coding

项目摘要

小型IoTデバイスには単視点多眼映像が取得可能なカメラセンサが提供されている。しかしながら、単視点多眼映像から取得される映像の圧縮技術や認識技術の方法には多くの冗長性が未だ含まれており、より効率的な手法が必要とされている。本研究では、広角カメラ映像と望遠カメラ映像の空間的相関性をScalable Video Coding (SVC)規格や機械学習を応用することで明らかにし、これまで提案された圧縮技術や認識技術の効率化を目指す。本研究を完遂することで、小型カメラをターゲットとした新規画像処理システムへの応用が期待できる。本研究は、単視点多眼映像における動画像符号化及び認識処理を、スケーラブル符号化と機械学習を利用することで高効率かつ高認識率を実現する画像処理システムの構築を目的とする。スケーラビリティのある高効率符号化方式と機械学習を用いた共通Convolutional Neural Network（CNN）やTransformerによる画像認識手法を組み合わせることで演算コストと処理性能の最適なトレードオフを実現し、単視点多眼映像向け画像処理システムを構築する。本年度は、超高解像度単視点多眼映像の検証と解析を中心に研究を行なった。本フェーズでは、超高解像度単視点多眼映像の符号化性能の検証とデータセットの作成を行う。符号化性能の検証はScalable Video Coding (SVC)規格をVVCに応用し、Wide-angle sequence (WS)-Telephoto sequence(TS)間の空間的相関関係を明らかにする。研究成果としては、1,主要な機械学習アルゴリズムを提案したこと、2,単視点多眼映像のデータセットの生成の2点である。これらに関連する研究成果を研究論文としてまとめ、複数の国際会議で発表を行った。

小型物联网设备配有相机传感器，可以获取单视图的多眼图像。但是，对于从单视图多眼图获得的图像的压缩和识别技术的技术中，仍然包括许多冗余，并且需要更有效的方法。这项研究旨在通过应用可扩展的视频编码（SVC）标准和机器学习，并提高到目前为止提出的压缩和识别技术的效率，从而阐明广角相机图像和远摄摄像机图像之间的空间相关性。完成这项研究可以预计将应用于针对小型相机的新图像处理系统。这项研究旨在建立一个图像处理系统，该系统通过利用可扩展的编码和机器学习来实现高效率和高识别率，以进行视频编码和识别多眼图像中的视频编码和识别处理。通过使用机器学习和图像识别方法，使用变压器将可扩展的高效编码方法与常见的卷积神经元网络（CNN）相结合，我们就实现了计算成本和处理性能之间的最佳权衡，并为单视图多眼光图像构建图像处理系统。今年，我们专注于验证和分析超高分辨率的单视性多眼图像。在此阶段，验证了超高分辨率单视图的编码性能，并创建了数据集。为了验证编码性能，将可扩展的视频编码（SVC）标准应用于VVC，以阐明广角序列（WS）和远摄序列（TS）之间的空间相关性。研究结果包括1。我们提出了主要的机器学习算法和2。我们创建了单视图多眼图像的数据集。与这些有关的研究结果汇编为研究论文，并在几个国际会议上提出。

项目成果

期刊论文数量（11）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

High-Accuracy Object Detection Using Multi-view Video at Road Intersections

DOI：
10.1109/itc-cscc55581.2022.9894885
发表时间：
2022-07
期刊：
2022 37th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC)
影响因子：
0
作者：
Urumu Ihara;Takafumi Katayama;Tian Song;T. Shimamoto
通讯作者：
Urumu Ihara;Takafumi Katayama;Tian Song;T. Shimamoto

An Adaptive Selection Algorithm of Screen Content Coding Tools for Educational Video System

教育视频系统屏幕内容编码工具的自适应选择算法