人間の行動状況理解のための時空間の非線形圧縮による映像の情報要約機構

使用时空非线性压缩的视频信息摘要机制来理解人类行为情况

基本信息

批准号：
11230205
负责人：
美濃導彦
金额：
$ 24.51万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas (B)
财政年份：
1999
资助国家：
日本
起止时间：
1999 至 2001
项目状态：
已结题

项目摘要

本計画研究の目標は、講義を様々な観点から蓄積してアーカイブ化するシステムを構築することと、利用者自身がアーカイブの中から必要な部分を選択し、要約する枠組みを提案することである。様々な利用者の目的に応じることを可能とするために、講義アーカイブにはできるだけ多様な映像を記録しておくことが望ましい。そこで、受講者の動きを反映した活性度に基づく撮影と、話者位置を推定することによって、質問等をしている受講者の撮影を実現した。まず、受講者の活性度に応じた多様な映像を撮影するために、確率密度関数に基くカメラワークの決定手法を提案した。できるだけ多くの受講者を映像フレーム内に納めるため、位置的に近くに存在する受講者群を被写体の侯補とし、多数の被写体侯補に対して、受講者の動きに基づく活性度を割り当てた。そして、被写体候補を活性度に基いて順序付けたのち、撮影に利用できるカメラ台数に応じて等分し、それぞれのグループ内に含まれる被写体侯補を選択して撮影する確率を高めた確率密度関数を各カメラに対して割り当てることにより、ある時刻における受講者を、活性度に基き多様に撮影する手法を提案した。また、質問等をしている受講者の表情を撮影するために、講義室に複数設置した分散マイクシステムを用いた話者位置推定を実現した。二本のマイクからなるマイク対に到達する音の位相差を利用して音源方向を推定し、これを複数のマイク対に対して求めることによって、各音源方向の交点付近の領域に存在する話者位置を推定することが可能となった。さらに、利用者自身が視聴したい講義映像の被写体の数や撮影サイズなどの傾向を設定することにより、上記の手法によって撮影した複数の講義映像から、設定を満たすように自動選択して提示する枠組みについて検討した。

该研究项目的目标是建立一个从不同角度积累和存档讲座的系统，并提出一个用户可以从存档中选择和总结所需部分的框架。为了能够满足各种用户的目的，希望在讲座档案中记录尽可能多样化的视频。因此，我们能够根据学生的活动水平捕获反映学生动作的图像并估计说话者的位置，从而捕获学生提问的图像。首先，我们提出了一种基于概率密度函数确定相机工作的方法，以便根据学生的活动水平捕获各种视频。为了将尽可能多的学生放入视频帧中，我们使用一组位置接近的学生作为主题的候选者，并根据学生的动作为大量候选者分配激活度科目。根据候选对象的活动水平对候选对象进行排序后，根据可用于拍摄的摄像机数量将其分成相等的部分，并创建概率密度函数，以增加选择并拍摄候选对象中包含的候选对象的概率。我们提出了一种方法，根据学生的活动水平，在特定时间为每个学生拍摄不同的照片。此外，为了捕捉学生提问的面部表情，我们使用安装在多个教室的分布式麦克风系统实现了演讲者位置估计。通过使用到达由两个麦克风组成的麦克风对的声音的相位差来估计声源方向，并且针对多个麦克风对计算该相位差，可以通过使用到达由两个麦克风组成的声音之间的相位差来估计声源方向。麦克风对可以估计该人的位置。此外，通过设定用户自己想要观看的讲座视频的科目数和拍摄尺寸等趋势，从使用上述方法拍摄的多个讲座视频中自动选择并呈现符合设置的讲座视频的框架我们考虑过这个方法。