災害時の機械学習システムの特性を考慮した建物被害検出システムの開発

考虑灾害期间机器学习系统的特点开发建筑损坏检测系统

• 批准号: 22KJ1918
• 负责人: 藤田 翔乃
• 金额: $ 1.09万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1918/
• 关键词: 建物被害; 空撮映像; 深層学習; 映像解析; 地震; ドローン; 被害認定調査

(a)倒壊建物自動検出モデルの開発熊本地震時に撮影された空撮映像から深層学習を用いたMultiple Object Trackingにより，倒壊建物を自動検出するモデルの開発を行った．倒壊建物の外接四角形がアノテーションされた約15,000枚のフレーム画像により学習させたモデルを構築・評価した．4回の交差検証の結果，倒壊建物検出の平均再現率は29.1%，平均適合率は36.7%であった．(b)検出結果の定量・定性分析定量分析として，映像中の建物の外接四角形のアスペクト比が低い，言い換えると縦長に見えるほど検出の再現率が高いことがわかった．定性分析として，(1)多くの屋根被害を無視できていたこと，(2)大きな被害はないが層崩壊を起こしている建物を検出できていたことから，日本の建物の被害特徴をある程度捉えていたことが観察された．しかし，モデルが見逃した倒壊建物データのうち24.1%は屋根被害がなく，誤検出した建物のうち42.2%は屋根被害があった．このことから，モデルは建物本体に加えて屋根被害も検出の特徴として利用していることがわかった．今後は，倒壊と被害のクラスを分けて検出することが必要であると結論づけた．(c)効果的なドローンの撮影方法の分析(b)の定量分析から再現率が63.9%にまで上昇する条件である，建物のアスペクト比，出現時間，移動速度を設定し，その条件を満たすためのドローンの撮影方法を分析した．建物の形や配置，ドローンの飛行方法を簡易的に仮定すると，撮影角度36度，高度106mのとき上記の条件を満たす地上の領域が最大となることがわかった．

(a) 开发自动检测倒塌建筑物的模型 我们开发了一种模型，通过利用熊本地震期间拍摄的航拍镜头的深度学习进行多对象跟踪，自动检测倒塌的建筑物。我们构建并评估了一个模型，该模型使用大约 15,000 个帧图像进行训练，并用倒塌建筑物的外接矩形进行注释。经过四次交叉验证，倒塌建筑物检测的平均召回率为29.1%，平均准确率为36.7%。 (b)检测结果的定量和定性分析作为定量分析，我们发现视频中建筑物的外接矩形的长宽比越低，或者换句话说，建筑物在垂直方向上拉长得越多，检测率越高召回率。作为定性分析，我们发现（1）大量屋顶损坏可以忽略不计，（2）可以检测到没有重大损坏但发生楼层倒塌的建筑物，因此我们能够捕捉日本的损坏特征据观察，建筑物在某种程度上。然而，模型漏掉的倒塌建筑数据中有 24.1% 没有屋顶损坏，而错误检测到的建筑物中有 42.2% 有屋顶损坏。这表明该模型除了建筑物本身之外还使用屋顶损坏作为检测特征。未来我们的结论是，有必要将倒塌和损坏类别的检测分开。 (c)有效无人机摄影方法分析从(b)中的定量分析中，我们设定了建筑物长宽比、出现时间和移动速度，这些是将召回率提高到63.9%的条件，并且满足条件。我们分析了用于此目的的无人机摄影方法。通过对建筑物的形状、布局以及无人机的飞行方式进行简单假设，我们发现当拍摄角度为36°、高度为106 m时，满足上述条件的地面面积最大。

项目成果

Collapsed Building Detection Using Multiple Object Tracking from Aerial Videos and Analysis of Effective Filming Techniques of Drones

使用航空视频中的多个对象跟踪进行倒塌建筑物检测以及无人机有效拍摄技术的分析

• 发表时间: 2023
• 作者: Shono Fujita; Michinori Hatayama
• 通讯作者: Michinori Hatayama

Collapsed Building Detection Using Multiple Object Tracking from Aerial Videos and Analysis of Effective Filming Techniques of Drones

使用航空视频中的多个对象跟踪进行倒塌建筑物检测以及无人机有效拍摄技术的分析

• 发表时间: 2022
• 作者: Shono Fujita; Michinori Hatayama
• 通讯作者: Michinori Hatayama

空撮映像を用いたMultiple Object Trackingによる倒壊建物検出とドローンの効果的な撮影方法の分析

使用航拍镜头进行多目标跟踪检测倒塌建筑物，并分析使用无人机的有效拍摄方法

• 发表时间: 2022
• 作者: 藤田 翔乃;畑山 満則
• 通讯作者: 畑山 満則

空撮映像を用いたMultiple Object Trackingによる倒壊建物検出とドローンの効果的な撮影方法の分析

使用航拍镜头进行多目标跟踪检测倒塌建筑物，并分析使用无人机的有效拍摄方法

• 发表时间: 2022
• 作者: 藤田 翔乃;畑山 満則
• 通讯作者: 畑山 満則

Collapsed Building Detection Using Multiple Object Tracking from Aerial Videos and Analysis of Effective Filming Techniques of Drones

使用航空视频中的多个对象跟踪进行倒塌建筑物检测以及无人机有效拍摄技术的分析

• 发表时间: 2022
• 作者: Shono Fujita; Michinori Hatayama
• 通讯作者: Michinori Hatayama