基于不平衡学习和域自适应学习的湿地蛙鸣识别方法研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61902154
项目类别：
青年科学基金项目
资助金额：
27.0万
负责人：
谢捷
依托单位：
南京师范大学
学科分类：
F0214.新型计算及其应用基础
结题年份：
2022
批准年份：
2019
项目状态：
已结题
起止时间：
2020-01-01 至2022-12-31

项目参与者：
--
关键词：
生态监测域自适应学习声音识别非平衡学习特征融合

项目摘要

As an indispensable part of the wetland food chain, anurans are very sensitive to environmental change. Therefore, monitoring anuran diversity with an automatic anuran call recognition system can be used for assessing the wetland ecosystem health. This proposal focuses on improving the low accuracy imposed by random noise, imbalanced anuran samples and domain shift between the same species. In particular, we will investigate the following three topics: (1) due to the random noise in anuran recordings, we will develop a robust anuran feature set based on the fusion of acoustic features, visual features, and deep learned features; (2) for those imbalanced anuran samples among species, we will explore imbalance learning for achieving balanced anuran feature sets and improving the classification accuracy of rare anuran species; (3) to address the domain shift between the same species collected from different habitats, we will explore domain adaptation to build an anuran call recognition system based on the balanced feature sets for improving the classification performance. This project is intended for laying the theoretical foundation for the applications of anuran diversity monitoring. It is expected that this project will also contribute to the development of imbalance learning and domain adaptation.

作为湿地生物食物链中不可或缺的一环，蛙类对于外界环境的变化尤为敏感。因此，通过构建蛙鸣自动识别模型监测蛙类多样性，可以评价湿地生态健康状况。针对随机噪声、蛙类样本数量不平衡、以及同类蛙鸣特征差异导致模型识别率低的问题，本项目开展以下研究内容：（1）针对蛙鸣中随机噪声导致特征识别能力下降的问题，采用声学特征、图像特征、以及深度特征的融合，研究构建具有强鲁棒性的蛙鸣特征集；（2）针对不同蛙类间样本数量不平衡导致珍稀蛙类识别率下降的问题，研究采用不平衡学习获取平衡蛙鸣特征集，提升珍稀蛙类识别率；（3）针对不同栖息地间同类蛙鸣特征差异所导致的识别模型性能下降问题，在平衡后的蛙鸣特征集基础上，进一步利用无监督域自适应学习提升蛙鸣自动识别模型的准确率与鲁棒性。本项目属于应用基础研究，将为智能监测蛙类多样性的实际工程应用提供理论指导和有效算法，并为不平衡学习和域自适应学习等理论的发展提供新的思路。

结项摘要

针对当前湿地生态监测任务的迫切需求，本项目以动物鸣叫为研究对象，深入探讨动物鸣叫信号的降噪、特征提取、建模和分类框架，提出的方法和结论对于生态领域的动物监测具有实际意义，研究成果具有较强的科学性和实用性。具体而言，本项目针对野外采集的动物声音具有大量噪声的特点，详细分析并比较现有的各种降噪方法，最终给出未来的研究方向。同时采用文献计量学方法，基于数据驱动归纳总结从1991-2018年生物声学与生态声学研究，最后给出研究的当前进展、存在问题、及未来的方向。本项目主要研究工作包括：（1）针对连续蛙鸣录音，采用基于滑动窗的多视角频谱图为特征，采用卷积神经网络（CNN）实现蛙鸣活动性检测。（2）研究优化连续录音中生物声信号分类模型。具体来说，通过比较四类损失函数，包括交叉熵损失、加权交叉熵损失、焦点损失和孪生损失，并与三种卷积神经网络架构相结合：1D-CNN、2D-CNN和1D-2D-CNN，构建优化的生物声信号分类模型。（3）提出一种基于连续录音的对青蛙物种进行声学分类的端到端方法。首先，使用滑动窗将音频信号分割；然后，使用基于1D-CNN和长短期记忆的深度模型从原始音频信号中学习蛙鸣特征并完成分类。（4）提出了一种新型特征集，用于自动动物鸣叫识别。具体地，首先对音频波形应用滑动窗口以获得加窗信号，其中选择具有最高能量的五个窗口；然后，对这些加窗信号应用正交匹配追踪以提取重要的Gabor原子；接下来，构建多窗口的尺度频率图作为特征识别鸟鸣。实验结果表明，本项目提出的各种算法有效解决了当前算法所存在的缺陷，且对最终的动物效果有明显的改善。在实际工程实践中，本项目的研究成果也具有积极的指导意义与价值。