視覚情報とテキスト情報とを統合した映像検索のための映像シソーラスの構築

构建集成视觉和文本信息的视频搜索视频词库

• 批准号: 15017285
• 负责人: 佐藤 真一
• 金额: $ 3.2万
• 依托单位: National Institute of Informatics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15017285/
• 关键词: 映像インデクシング; 映像マイニング; 映像シソーラス; トピック追跡; マルチモーダル解析

本研究では、映像が内在する視覚情報とテキスト情報とを統合した映像検索を実現するための映像シソーラスについて検討する。映像シソーラスにより、テキストと視覚情報の関連性、両者に基づく概念や範疇などの上位構造などが表現され、テキスト・視覚情報を交差する検索(テキストによる視覚情報の検索等)、視覚情報に対するテキストキーワードの自動生成、テキスト・視覚情報の関連による上位概念の発見、テキストに対応した視覚情報を用いた画像認識手法による物体検出オントロジーの実現等が期待される。映像シソーラスの構築においては、実際の放送映像の大規模な映像アーカイブを利用した統計的な手法による自動構築法の実現を予定しており、ドメインを限らない一般の映像にも適用可能で、ロバストな手法の実現を目指す.平成15年度は、映像の視覚情報については、大規模放送映像アーカイブに対し映像断片照合を適用し、頻出する映像断片を映像キーワードとして抽出すると同時に、その出現パターンに基づく映像ブラウザを試作した。テキスト情報については、ニュ-ス映像の文字字幕放送に対しトピックの切り出し及びニュース映像アーカイブ中でのトピック追跡を行い、トピック構造に基づくニュース映像ブラウザを試作した。また、映像キーワード及びテキストキーワードの抽出結果を受けて、それらの共起関係に基づき、初期的な映像シソーラス構築の実験を行った。これらを通して、本研究の有効性を確認した。

在本研究中，我们考虑使用视频词库来实现视频检索，该检索集成了视频中包含的视觉信息和文本信息。视频词库表达文本和视觉信息之间的关系、基于两者的概念和类别等高层结构、文本和视觉信息交叉的搜索（使用文本搜索视觉信息等）以及视觉的文本关键字期望实现文本的自动生成、基于文本与视觉信息之间的关系发现上位概念、利用文本对应的视觉信息的图像识别方法实现物体检测本体等。在构建视频词库时，我们计划利用实际广播视频的大规模视频档案来实现采用统计方法的自动构建方法，并且该方法将适用于任何领域的通用视频，并且在2003财年将具有鲁棒性。 ，我们将视频片段匹配应用到大规模广播视频档案中，从视频图像中提取视觉信息，提取频繁出现的视频片段作为视频关键词，同时提取频繁出现的视频片段作为视频关键词，我创建了一个原型。视频浏览器。关于文本信息，我们通过从带字幕的新闻视频广播中提取主题并跟踪新闻视频档案中的主题，创建了一个基于主题结构的原型新闻视频浏览器。此外，根据视频关键词和文本关键词的提取结果，我们进行了基于它们的共现关系构建初始视频词库的实验。通过这些，我们证实了本研究的有效性。

项目成果

Ichiro IDE: "Topic-based inter-video structuring of a large-scale news video corpus"International Conference on Multimedia and Expo (ICME2003). (2003)

Ichiro IDE：“大型新闻视频语料库的基于主题的视频间结构”国际多媒体会议和博览会（ICME2003）。

瀧本政雄: "フラッシュパターンに基づく映像照合手法"情報技術レターズ,第二回情報科学技術フォーラム(FIT2003). 177-179 (2003)

Masao Takimoto：“基于闪光模式的视频匹配方法”信息技术快报，第二届信息科学技术论坛（FIT2003）177-179（2003）。

Hiroshi Mo: "Subject Region Segmentation in Disparity Maps for Image Retrieval"Systems and Computers in Japan. 35-1. 47-57 (2004)

Hiroshi Mo：“用于图像检索的视差图中的主题区域分割”日本的系统和计算机。

Ichiro Ide: "Topic threading for structuring a large-scale news video archive"Proc.of International Conference on Image and Video Retrieval (CIVR2004). (2004)

Ichiro Ide：“用于构建大型新闻视频档案的主题线程”Proc.of 国际图像和视频检索会议 (CIVR2004)。

Shin'ichi Satoh: "Generalized Histogram : Empirical Optimization of Low Dimensional Features for Image Matching"Proc.of European Conference on computer Vision (ECCV2004). (2004)

Shinichi Satoh：“广义直方图：图像匹配低维特征的经验优化”欧洲计算机视觉会议 (ECCV2004) 会议记录。