多様な環境に適用可能なコンピュータビジョンと無線通信のクロスモーダルセンシング

适用于多种环境的计算机视觉和无线通信的跨模态传感

基本信息

批准号：
22H03575
负责人：
西尾理志
金额：
$ 10.98万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

2022年度は、無線通信に起因する不確実性の課題を解消し、様々な無線通信環境をイメージング可能な機械学習モデルを獲得する手法を確立するため、無線通信信号情報から推定対象領域のイメージングに寄与する情報を選択・抽出する方法、ならびに、無線通信信号情報から推定対象領域のイメージングを行う手法を検討した。一般的に機械学習では、入力情報を増やすことは精度向上につながる一方、推論結果に寄与しない特徴量はノイズとなり性能を低下させる要因となる他、入力次元数の増加は訓練に必要なデータ量を増加させる。本研究では機械学習による無線センシングにおいても上記の事象が発生することを実験的に示した。具体的には、無線センシング端末が多数設置された環境において、無線センシング端末を選択的に用いることで無線センシング精度が向上できることを示した。加えて、PCA等の次元圧縮手法を無線信号に適用することで、予測精度を高めることができることを示した。これらの知見をもとに無線信号と環境に関する断片的画像から観測対象環境全体をイメージングする手法を確立した。特に、カメラによる監視において、カメラ画像に大きな死角や欠損が生じた場合において、欠損箇所の正確な画像情報を無線信号を元に復元するRF-Inpainting技術を提案し、その有効性を実験的に示した。

在2022财年，我们将开发一种根据无线通信信号信息对估计目标区域进行成像的方法，以解决无线通信引起的不确定性问题，并建立一种获取可以对各种无线通信环境进行成像的机器学习模型的方法。用于选择和提取贡献信息的方法，以及用于根据无线通信信号信息对估计目标区域进行成像的方法。一般来说，在机器学习中，增加输入信息会提高准确性，但对推理结果没有贡献的特征会变成噪声并降低性能，并且增加输入维度的数量会增加训练所需的数据量。在本研究中，我们通过实验证明上述现象也发生在使用机器学习的无线传感中。具体来说，我们表明，在安装了许多无线传感终端的环境中，可以通过选择性地使用无线传感终端来提高无线传感精度。此外，我们还表明，通过对无线信号应用 PCA 等降维技术可以提高预测精度。基于这些发现，我们建立了一种根据无线电信号和环境碎片图像对整个观察环境进行成像的方法。特别是，我们提出了一种RF-Inpainting技术，当摄像机监控过程中摄像机图像出现较大盲点或缺陷时，基于无线信号恢复缺失区域的准确图像信息，并通过实验测试了其有效性。

项目成果

期刊论文数量（9）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

RF-Inpainter: Multimodal Image Inpainting Based on Vision and Radio Signals

DOI：
10.1109/access.2022.3214972
发表时间：
2022
期刊：
IEEE Access
影响因子：
3.9
作者：
Cheng Chen;T. Nishio;M. Bennis;Jihong Park
通讯作者：
Cheng Chen;T. Nishio;M. Bennis;Jihong Park

カメラを用いた人物位置検出のCSIセンシングへの移行に関する実験的な検討

摄像头人体位置检测向CSI传感过渡的实验研究

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
小寺奏怜;太田翔己;西尾理志
通讯作者：
西尾理志

Vision-Aided Frame-Capture-Based CSI Recomposition for WiFi Sensing: A Multimodal Approach

用于 WiFi 传感的基于视觉辅助帧捕获的 CSI 重组：一种多模态方法

DOI：
10.1109/ccnc51644.2023.10060680
发表时间：
2023
期刊：
Proc. the 20th IEEE Annual Consumer Communications & Networking Conference (CCNC 2023)
影响因子：
0
作者：
Shimomura Hiroki;Koda Yusuke;Kanda Takamochi;Yamamoto Koji;Nishio Takayuki;Taya Akihito
通讯作者：
Taya Akihito

ビームフォーミングフィードバックを用いた見通し判定の検討

利用波束形成反馈确定视线的研究