動きを利用したセンサ間対応の自動抽出の研究

利用运动自动提取传感器之间对应关系的研究

基本信息

批准号：
09750532
负责人：
向井利春
金额：
$ 1.28万
依托单位：
The Institute of Physical and Chemical Research
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1997
资助国家：
日本
起止时间：
1997 至 1998
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-09750532/
关键词：
センサフュージョン空間フィルタ視聴覚融合

项目摘要

人間は,複数の人が歩いているシーンから,聞こえてくる足音が視覚中のどの足から発せられたものであるかを見つけ出すことができる。これは,人間が視覚と聴覚の対応付けを行なっているからだと考えられる。本研究では,複数の物体が視野内に存在し,その一つが音を発している場合に,先見的な知識無しで音を発している物体を見つけ出す方法を確立した。具体的には,まず,音データと動画像データを同期して取り込む。次に,画像1フレームに対応する音データの小区間から振幅最大のものを選ぶことによって,画像フレームに対応する音データの系列を作る。この系列から,複数のピーク部分を抽出する。次に,音のピークに対応する画像フレームとその前後のフレームを選びだし,そのフレーム間差分をとることによって,音に対応する物体のエッジの(通常は複数の)候補を見つける。最後に,音のピークデータの系列と,画像からエッジ抽出した部分の画素数の相関係数を計算することによって,音と関連して生じているエッジ部分を見つけ,このエッジが囲む部分を音に対応する物体が画像中に存在する領域とする。実際の実験では,メトロノームと拍手している手が写っている動画像から,拍手の音を手がかりにして,画像中の手の位置を見つけ出すことに成功した。

人类可以从多人走路的场景中从视觉脚步中散发出听到的脚步声的位置。这可能是因为人类正在对视觉和听力做出反应。在这项研究中，当视野中存在多个对象并且其中一个听起来时，我们已经建立了一种方法，可以找到一种在没有预见知识的情况下发出声音的对象。具体而言，首先，声音数据和视频数据是同步的。接下来，通过从与帧1帧相对应的声音数据的小部分中选择最大振幅，创建了一系列与图像帧相对应的声音数据。从这个系列中，提取了多个峰。接下来，选择对应于声音峰和声音峰和框架之前和之后的帧的图像框架，并采取框架差，找到对应于声音对应的对象边缘的候选（通常是多个）。最后，通过计算声音峰值数据的像素数的相关系数和从图像中提取的零件的像素编号，发现与声音相关的边缘部分，并且边缘围绕着边缘。与图像相对应的区域是图像中存在的区域。在实际实验中，我们成功地使用了节拍器和掌声的视频图像中的掌声来找到手中的位置。