ウエアラブルメディアによる長期間体験映像記録と自動的な要約の生成

使用可穿戴媒体的长期经验视频录制和自动摘要生成

基本信息

批准号：
13875071
负责人：
相澤清晴
金额：
$ 1.15万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Exploratory Research
财政年份：
2001
资助国家：
日本
起止时间：
2001 至 2002
项目状态：
已结题

项目摘要

「極めて長期間の個人体験映像をそのまま記録したい」というのが本研究の動機である。カメラやコンピュータの小型化が進み、ウエアラブルコンピュータといった究極の個人情報処理環境も出現している。また、記録装置の高密度化、小型化もすすみ、大量の情報を蓄積できるようになってきている。いずれは小型カメラをつけ、見たままの映像をその人の視点から記録し長期間に渡って記録し続けることのできる環境が整うことであろう。映像のデータ量は70年分の映像を記録したとしても圧縮レートが64kbps(TV電話品質)で11テラバイト、4Mbps(放送TV品質)でその64倍にすぎない。この量はまちがいなく近い将来、個人で所有できるデータ量となる。ただし、記録できたとしてもその人にとって必要なところだけを絵日記のように抽出し、再生するにはどうすればよいのかという問題が大きな処理課題として残る。本研究では、この課題への取り組みを行う。なお、このように人生まるまる要約するようなメディアをライフメディアと称したい。今年度の成果を以下に記す。・ウエアラブルイメージングシステムの構築カメラ映像、GPS、脳波情報、加速度センサなどウエアラブル機器をまとめたプラットホームを構築した。・各種センサ情報を用いた体験映像のインデキシング比較的長時間の映像データに対して、GPS,動きセンサ、加速度センサなどの情報を用いてユーザの振る舞いを推定し、体験映像へのインデキシングを行った。歩いている、とまっているなどのイベントを検出し、ビューワ上で一覧することができる。これまでに続けてきた脳波情報も者種センサデータと合わせて構築したシステムでは一括して記録することが出来る。・映像と音響情報による個人視点映像の構造化個人視点映像は、だらだらと連続的に続く映像であり、これを何らかの処理単位へと分割し、ショットを構成したい。映像の客観的な特徴量を用いた分割手法を検討した。

这项研究的动机是“想记录非常长期的个人经历的镜头”。随着相机和计算机变得越来越紧凑，最终的个人信息处理环境（例如可穿戴计算机）也正在出现。此外，录制设备变得越来越紧凑，可以累积大量信息。最终，将安装一个小型摄像头，并将创建一个环境，您可以从人的角度记录您看到的图像，并在很长一段时间内继续记录它们。即使记录了70年的视频数据，压缩率也为11吨，即64kbps（电视电话质量）和4Mbps（广播电视质量），这仅是64倍。这个数量肯定是个人在不久的将来拥有的数据量。但是，即使有可能记录，主要的处理问题仍然存在，如何仅提取和复制像图片日记这样的人所需的部分。这项研究将解决这个问题。此外，我想将这种媒体称为总和，以一种名为“生活媒体”的直接方式总结一生。以下是今年的结果。 - 构建可穿戴成像系统的平台已建立，该平台结合了可穿戴设备，例如摄像机，GPS，脑波信息和加速传感器。 - 使用各种传感器信息在相对较长的时间内使用各种传感器信息进行体验视频索引，使用GPS，运动传感器，加速传感器等信息估算了用户行为，并将索引在体验视频中执行。它检测到诸如步行或留下的事件，并将其列入观众。到目前为止，还可以使用使用传感器数据类型构建的系统来批量记录脑电波信息。 - 个人观点视频的结构使用视频和音频信息个人观点视频是一个连续的视频，将其分为某些处理单元以形成镜头。研究了使用视频的客观特征的分裂方法。