Applications of robot audition techniques to multi-scale observations of ecological dynamics in bird vocalizations

机器人听觉技术在鸟类发声生态动力学多尺度观测中的应用

• 批准号: 19KK0260
• 负责人: 鈴木 麗璽
• 金额: $ 11.81万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Fund for the Promotion of Joint International Research (Fostering Joint International Research (B))
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-10-07 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19KK0260/
• 关键词: ロボット聴覚; 鳥類の鳴き声; マイクロホンアレイ; 行動生態観測; 生態音響学

本課題は，マイクアレイを用いて音を聞き分けるロボット聴覚技術を活用して，「個体・集団・音風景」という時間・空間スケールの異なる鳥類生態の観測に革新的な貢献をもたらすことを目的とする．本年度は，新型コロナウイルスの影響が収束傾向となり，米国カリフォルニア州のUC Berkeleyの自然保護区であるBlue Oak Ranch Reserveにおいて，共同研究者とともに現地調査が可能となった．前年度において遠隔共同調査として実施したホシワキアカトウヒチョウの鳴き声録音を発展させ，複数の個体に対する鳴き声再生音の影響を調査した．その結果，再生音と個体との関係（なわばり内外，自身の録音か否か）によって，再生音に対する空間上の移動の傾向が大きく異なることを定量的に観測することができた．その際，音源定位・分離・アノテーションソフトであるHARKBirdをより簡便なアノテーションと複数マイクを利用した2次元音源定位機能を盛り込み活用した．その他の当初予定した調査地に関しては，コロナ禍による情勢変化（研究者の異動）等を踏まえた調査の可能性を検討したものの，先方との調整の難しさ（機材操作の経験等）から難航した．一方，従来から研究交流のあるカナダの生物音響学研究者に遠隔での現地録音調査の協力を得ることができた．上記のような状況を踏まえ，マイクロホンアレイに基づく様々な場面での観測技術の活用を念頭に置いて，国内での技術開発・調査を継続した，絶滅の危険のある種の生息状況や移動パターンの観測（ヒクイナ，サンカノゴイ），森林の音風景を構成するセミと鳥類の音響相互作用の長時間の可視化と定量化手法の開発検討，屋外16チャネルマイクアレイに関する森林での実践的なスピーカテストや人・環境・生物音声の観点からの長期サウンドスケープダイナミクスの定量的観測，リアルタイム音環境分析デバイスの開発検討等を行った．

该项目的目的是利用利用麦克风阵列区分声音的机器人听觉技术，为“个体、群体、音景”等不同时空尺度的鸟类生态观察做出创新贡献。今年，随着新型冠状病毒的影响开始消退，我能够与我的合作者在美国加利福尼亚州加州大学伯克利分校的自然保护区蓝橡牧场保护区进行实地研究。我们扩展了去年进行的远程联合调查中星胁云杉蝴蝶的叫声录音，并研究了叫声回放对多个个体的影响。结果，我们能够定量地观察到，根据再现声音与个体（在其领地之内/之外，无论是否是自己的录音）之间的关系，响应再现声音的空间运动趋势会发生很大变化。 ）。当时我们使用的是HARKBird，一个声源定位、分离和标注软件，它包括更简单的标注和使用多个麦克风的二维声源定位功能。对于其他原计划的调查地点，我们考虑了根据冠状病毒大流行情况的变化（研究人员的搬迁）进行调查的可能性，但与对方协调起来很困难（设备操作经验等） 。）。 做过。另一方面，我们得到了一位加拿大生物声学研究人员的合作，我们与他有长期的研究联系，进行了远程现场记录调查。鉴于上述情况，我们继续进行国内技术开发和研究，以评估濒危物种的栖息地条件和运动模式，同时考虑在各种情况下使用基于麦克风阵列的观察技术来观察蝉和鸟类。森林音景。开发和研究交互的长期可视化和量化方法，户外16通道麦克风阵列在森林中的实际扬声器测试，从人类、环境和生物声音的角度定量观察长期声景动态以及真实的声音这次我们研究了声音环境分析装置的开发。

项目成果

Tracking courtship flight trajectory of Latham’s snipes (Gallinago hardwickii) using robot audition techniques

使用机器人试听技术跟踪莱瑟姆鹬 (Gallinago Hardwickii) 的求偶飞行轨迹

• 发表时间: 2022
• 作者: Shiho Matsubayashi;Tasuya Ura;Reiji Suzuki;Kazuhiro Nakadai;Hiroshi G.Okuno
• 通讯作者: Hiroshi G.Okuno

Queen Mary University of London(英国)

伦敦玛丽女王大学（英国）

A robot audition approach toward understanding social interactions among songbirds in a semi-free flight environment

一种机器人试听方法，用于了解半自由飞行环境中鸣禽之间的社交互动

• 发表时间: 2020
• 作者: Shinji Sumitani;Reiji Suzuki;Kazuhiro Wada;Takaya Arita;Kazuhiro Nakadai and Hiroshi Okuno
• 通讯作者: Kazuhiro Nakadai and Hiroshi Okuno

私のブックマーク：学習・コミュニケーション・言語の創発と進化に対する構成論的アプローチ

我的书签：学习、交流和语言的出现和演变的建构主义方法。

• DOI: 10.11517/jjsai.37.5_661
• 发表时间: 2022
• 期刊: Journal of the Japanese Society for Artificial Intelligence
• 作者: Makhlouf;Jihed and Mine;Tsunenori;鈴木麗璽
• 通讯作者: 鈴木麗璽

Multi-channel Environmental Sound Segmentation utilizing Sound Source Localization and Separation U-Net

• DOI: 10.1109/ieeeconf49454.2021.9382730
• 发表时间: 2021-01
• 期刊: 2021 IEEE/SICE International Symposium on System Integration (SII)
• 作者: Yui Sudo;Katsutoshi Itoyama;Kenji Nishida;K. Nakadai