基于多模态语义图谱的视频特征表示研究

结题报告
项目介绍
AI项目解读

基本信息

  • 批准号：
    61902104
  • 项目类别：
    青年科学基金项目
  • 资助金额：
    27.0万
  • 负责人：
    年福东
  • 依托单位：
    合肥学院
  • 学科分类：
    F0210.计算机图像视频处理与多媒体技术
  • 结题年份：
    2022
  • 批准年份：
    2019
  • 项目状态：
    已结题
  • 起止时间：
    2020-01-01 至2022-12-31

项目摘要

With the explosive growth of video contents and users, computer technology is urgently needed to achieve intelligent video content analysis for regulatory review or user search. Effective video feature representation is the basis of intelligent video analysis. However, most of the existing video feature representation researches are limited to the video classification, video object detection or tracking, while ignoring the spatial-temporal relationship of the objects. In this project, we will focus on the multi-modal semantic graph-driven video representation. The research plan has three important steps: (1) To deal with video data with complex semantics, we study effective methods to build multi-modal semantic graph based on video visual relationship detection. Then we study the effective methods for multi-modal semantic graph completion based on graph deep learning. (2) Based on the constructed multi-modal semantic graph, we study the methods of graph representation based on multi-modal graph deep learning, which aims to obtain the local feature representation, global feature representation, and the knowledge representation of the corresponding video sequence. (3) We will study video captioning based on the proposed video feature representation method, which is able to qualitative and quantitative evaluate the effectiveness of the proposed multi-modal semantic graph-driven video representation approach.
随着视频用户规模的扩大和使用时长的增加，无论是监管部门的审核还是用户的观看与检索都迫切需要计算机技术实现对视频内容进行智能分析，视频智能分析的基础是有效的视频特征表示。现有研究大都局限在以视频片段分类或视频物体检测跟踪为研究目标，而忽视了视频中物体之间的关系信息。本项目重点研究基于多模态语义图谱的视频特征表示方法，主要研究工作将从如下三个方面展开：（1）针对具有复杂语义的视频数据，研究基于视频视觉关系检测的结构化多模态语义图谱的构建方法，并研究利用图深度学习对从视频数据中构建的多模态语义图谱进行补全；（2）基于构建的多模态语义图谱，研究基于多模态图深度学习的视频多模态语义图谱的向量化表示，从图谱中获得视频的局部、全局以及知识特征表示；（3）研究基于多模态语义图谱的视频文本描述生成，可对基于多模态语义图谱获得的视频特征表示进行定量与定性评估。

结项摘要

随着视频用户规模的扩大和使用时长的增加，无论是监管部门的审核还是用户的观看与检索都迫切需要计算机技术实现对视频内容进行智能分析，视频智能分析的基础是有效的视频特征表示。现有研究大都局限在以视频片段分类或视频物体检测跟踪为研究目标，而忽视了视频中物体之间的关系信息。本项目重点研究基于多模态语义图谱的视频特征表示方法，主要研究工作从如下三个方面展开：（1）针对具有复杂语义的视频数据，研究基于视频视觉关系检测的结构化多模态语义图谱的构建方法，并研究利用图深度学习对从视频数据中构建的多模态语义图谱进行补全；（2）基于构建的多模态语义图谱，研究基于多模态图深度学习的视频多模态语义图谱的向量化表示，从图谱中获得视频的局部、全局以及知识特征表示；（3）研究基于多模态语义图谱的视频文本跨模态检索与生成，可对基于多模态语义图谱获得的视频特征表示进行定量与定性评估。本项目的研究成果可以服务于结构化跨模态视频检索、互联网视频广告精细投放等应用，为下一代智能视频分析与管理系统提供切实可行的解决方案，有着巨大的商业价值。

项目成果

期刊论文数量（13）
专著数量（0）
科研奖励数量（0）
会议论文数量（3）
专利数量（3）
Scale and Background Aware Asymmetric Bilateral Network for Unconstrained Image Crowd Counting
用于无约束图像人群计数的规模和背景感知非对称双边网络
  • DOI：
    10.3390/math10071053
  • 发表时间：
    2022-03
  • 期刊：
    Mathematics
  • 影响因子：
    2.4
  • 作者：
    Gang Lv;Yushan Xu;Zuchang Ma;Yining Sun;Fudong Nian
  • 通讯作者：
    Fudong Nian
Multi-Level Cross-Modal Semantic Alignment Network for Video–Text Retrieval
用于视频文本检索的多级跨模态语义对齐网络
  • DOI：
    10.3390/math10183346
  • 发表时间：
    2022-09
  • 期刊：
    Mathematics
  • 影响因子：
    2.4
  • 作者：
    Fudong Nian;Ling Ding;Yuxia Hu;Yanhong Gu
  • 通讯作者：
    Yanhong Gu
An Improved Mask R-CNN Model for Multiorgan Segmentation
用于多器官分割的改进 Mask R-CNN 模型
  • DOI：
    10.1155/2020/8351725
  • 发表时间：
    2020-07-24
  • 期刊：
    MATHEMATICAL PROBLEMS IN ENGINEERING
  • 影响因子：
    --
  • 作者：
    Shu, Jian-Hua;Nian, Fu-Dong;Li, Xu
  • 通讯作者：
    Li, Xu
Predicting dose-volume histogram of organ-at-risk using spatial geometric-encoding network for esophageal treatment planning
使用空间几何编码网络预测食管治疗计划中危及器官的剂量体积直方图
  • DOI：
    10.3233/ais-210084
  • 发表时间：
    2022-01-01
  • 期刊：
    JOURNAL OF AMBIENT INTELLIGENCE AND SMART ENVIRONMENTS
  • 影响因子：
    1.7
  • 作者：
    Nian, Fudong;Sun, Jie;Lu, Wenjuan
  • 通讯作者：
    Lu, Wenjuan
Electromagnetic beam propagation through a gyrotropic anisotropic circular cylinder
电磁束通过陀螺各向异性圆柱体的传播
  • DOI：
    10.1016/j.jqsrt.2021.107519
  • 发表时间：
    2021-03
  • 期刊：
    Journal of Quantitative Spectroscopy and Radiative Transfer
  • 影响因子：
    2.3
  • 作者：
    Zhenzhen Chen;Huayong Zhang;Xianliang Wu;Fudong Nian
  • 通讯作者：
    Fudong Nian

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--"}}
  • 发表时间：
    {{ item.publish_year || "--" }}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--"}}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ monograph.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ patent.updateTime }}

其他文献

其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--" }}
  • 发表时间：
    {{ item.publish_year || "--"}}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--" }}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}
empty
内容获取失败，请点击重试
重试联系客服
title开始分析
查看分析示例
此项目为已结题，我已根据课题信息分析并撰写以下内容，帮您拓宽课题思路：

AI项目思路

AI技术路线图

相似国自然基金

{{ item.name }}
  • 批准号：
    {{ item.ratify_no }}
  • 批准年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}

相似海外基金

{{ item.name }}
{{ item.translate_name }}
  • 批准号：
    {{ item.ratify_no }}
  • 财政年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}
{{ showInfoDetail.title }}

作者：{{ showInfoDetail.author }}

知道了

AI项目解读示例

课题项目：调控A型流感病毒诱导IFN-β表达的机制研究

AI项目摘要：

本研究聚焦于TRIM2蛋白在A型流感病毒诱导的IFN-β表达中的调控机制。A型流感病毒是全球性健康问题，其感染可导致严重的呼吸道疾病。IFN-β作为关键的抗病毒因子，其表达水平对抗病毒防御至关重要。然而，TRIM2如何调控IFN-β的表达尚未明确。本研究假设TRIM2通过与病毒RNA或宿主因子相互作用，影响IFN-β的产生。我们将采用分子生物学、细胞生物学和免疫学方法，探索TRIM2与A型流感病毒诱导IFN-β表达的关系。预期结果将揭示TRIM2在抗病毒免疫反应中的作用，为开发新的抗病毒策略提供理论基础。该研究对理解宿主抗病毒机制具有重要科学意义，并可能对临床治疗流感病毒感染提供新的视角。

AI项目思路：

科学问题：TRIM2如何调控A型流感病毒诱导的IFN-β表达？
前期研究：已有研究表明TRIM2参与抗病毒反应，但其具体机制尚不明确。
研究创新点：本研究将深入探讨TRIM2在IFN-β表达中的直接作用机制。
技术路线：包括病毒学、分子生物学、细胞培养和免疫检测技术。
关键技术：TRIM2与病毒RNA的相互作用分析，IFN-β启动子活性检测。
实验模型：使用A型流感病毒感染的细胞模型进行研究。

AI技术路线图

        graph TD
          A[研究起始] --> B[文献回顾与假设提出]
          B --> C[实验设计与方法学准备]
          C --> D[A型流感病毒感染模型建立]
          D --> E[TRIM2与病毒RNA相互作用分析]
          E --> F[TRIM2对IFN-β启动子活性的影响]
          F --> G[IFN-β表达水平测定]
          G --> H[TRIM2功能丧失与获得研究]
          H --> I[数据收集与分析]
          I --> J[结果解释与科学验证]
          J --> K[研究结论与未来方向]
          K --> L[研究结束]
关闭
close
客服二维码