画像と音声の相補的利用を導入した被災者探索用UAVの開発

开发图像和声音相辅相成的搜寻灾民无人机

• 批准号: 21K04592
• 负责人: プレーマチャンドラ チンタカ
• 金额: $ 2.33万
• 依托单位: Shibaura Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K04592/
• 关键词: 被災者の探索; 救助支援システム; UAVカメラ画像; 画像から人間認識; 音声から人間認識; 被災者探索; ディープラーニングモデル設計; 人体識別法; 多重音からの音声の識別; UAV; 映像からの人体識別; ディープラ ーニング

本研究計画では、画像と音声の相補的利用を導入した被災者探索用UAVの開発に取り組んでいる。今回はUAV搭載カメラを用いた映像による被災者探索と、同じくUAV搭載のスピーカーとマイクを用いた音声による被災者探索の2つの手段を組み合わせて、自動被災者探索法を開発する。画像を用いた探索では、UAVに搭載した小型カメラからの画像に人物認識処理をかけることで探索を行う。音声を用いた探索では、UAV搭載のスピーカーで災害現場に呼びかけつつUAV搭載のマイクで集音し、その音声の中から人の声を抽出することで探索を行う。この際、UAVは音を発しながら飛行するため、その音と被災者の音が混ざってしまう。よって、その混合音から人間の声を抽出することが重要な研究課題となる。ここで、映像と音声の両方を用いた被災者探索のメリットを述べたい。まず、映像のみによる探索では、瓦礫等の下敷きになった被災者はUAVカメラの映像に映らず発見しづらいが、その際に、人間の声を集音すれば見つかる可能性が高まる。一方で、声が出ない状態の被災者は呼びかけに応答できず、音声による発見は困難であるが、映像をもとに探索すれば見つかる可能性が高まる。2021年度から2022年度前半までは、主に、UAV搭載カメラで空中撮影した画像に基づく災害地の被災者探索を検討した。映像から顔・人体全体に限らず、一部のみが検出された場合も被災者として認識させられるよう追究し、その結果を論文で公開した。また、上述の音声による被災者探索も検討し、UAV音と人間声の混合音から人間の声を抽出することに関して、論文2件を投稿済みである。

在这个研究项目中，我们正在开发一种结合图像和声音的互补使用来搜索灾难受害者的无人机。这次，我们将结合两种方法开发一种自动灾难受害者搜索方法：使用无人机安装的摄像头使用视频搜索灾难受害者，以及使用无人机上安装的扬声器和麦克风使用音频搜索受害者。在基于图像的搜索中，搜索是通过对来自安装在无人机上的小型摄像机的图像进行人员识别处理来执行的。在音频搜索中，无人机的机载扬声器向灾难现场发出呼叫，无人机的机载麦克风收集声音，并通过从音频中提取人声来进行搜索。此时，由于无人机飞行时会发出声音，因此声音与受害者的声音混合在一起。因此，从这种混合声音中提取人声是一个重要的研究课题。在这里，我想谈谈利用视频和音频来寻找灾民的优点。首先，如果仅使用视频进行搜索，很难找到被困在废墟下的受害者，因为在无人机摄像机图像上看不到他们，但如果当时收集人的声音，找到他们的机会就会增加。另一方面，静音的受害者无法回复电话，因此很难通过音频找到他们，但基于视频的搜索增加了找到他们的机会。从2021财年到2022财年上半年，我们主要考虑根据无人机摄像机从空中拍摄的图像来寻找灾区的遇难者。我们研究了如何不仅从视频中识别出灾难受害者的脸部或整个人体，而且还识别出其中的一部分，并将结果发表在一篇论文中。我们还在考虑使用如上所述的音频来搜索灾难受害者，并且已经提交了两篇关于从无人机声音和人声混合中提取人声的论文。

项目成果

Cutting Edge Technologies for On-Drone Voice-Based Victim Searching in Disaster-Stricken Areas

灾区基于无人机语音的受害者搜索的尖端技术

• 发表时间: 2022
• 作者: Chinthaka Premach;ra
• 通讯作者: ra

ドローンを用いた被災地における被災者捜索活動のための音声処理及び関連技術

利用无人机在灾区搜寻遇难者的语音处理及相关技术

• 发表时间: 2022
• 作者: プレーマチャンドラ チンタカ

Sound-to-Sound Translation Using Generative Adversarial Network and Sound U-Net

使用生成对抗网络和声音 U-Net 进行声音到声音的翻译

• 发表时间: 2022
• 作者: Y. Kunisada;Chinthaka Premach;ra
• 通讯作者: ra

Technologies for voice-based victim searching in disaster-stricken areas using drones

使用无人机在灾区进行基于语音的受害者搜索技术

• 发表时间: 2022
• 作者: Chinthaka Premach;ra
• 通讯作者: ra

University of Sri Jayewardenepura(スリランカ)

斯里贾亚瓦德纳普拉大学（斯里兰卡）