EAGER: Joint Modeling and Querying of Social Media and Video Data

EAGER：社交媒体和视频数据的联合建模和查询

基本信息

批准号：
1746031
负责人：
Evangelos Christidis
金额：
$ 20万
依托单位：
University of California-Riverside
依托单位国家：
美国
项目类别：
Standard Grant
财政年份：
2017
资助国家：
美国
起止时间：
2017-09-01 至 2020-03-31
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=1746031&HistoricalAwards=false
关键词：
EAGER Joint Modeling Querying Social

项目摘要

As the amount of user generated data increases, it becomes more challenging to effectively search this data for useful information. There has been work on how to search text social media posts, such as Tweets, or videos. However, searching on these sources using separate tools is ineffective because the information links between them are lost; for instance, one cannot automatically match social network posts with activities seen on a video. As an example, consider a set of tweets and videos (which may be posted on Twitter or other media) generated during a riot. A police detective would like to jointly search this data to find material related to a specific incident like a car fire. Some tweets (with no contained video) may comment on the car fire, while a video segment from another tweet shows the car during or after the fire. Linking the videos with the relevant social media posts, which is the focus of this project, can greatly reduce the effort in searching for useful information. The successful completion of this project has the potential to improve the productivity of people who search in social media, such as police detectives, journalists of disaster management authorities. This project will also strengthen and extend the ongoing undergraduate research and high school outreach activities of the investigators.The objective of this project is to focus on the fundamental research tasks that would allow for joint modeling of social network and video data. Then, given a set of posts, the system would find relevant video segments and vice versa, by defining a common feature space for social media and video data. This proof-of-concept project will be evaluated on posts and videos shared on the Twitter platform. This is the right time to tackle this problem given the recent advances in deep learning and big data management technologies. A key risk is that the semantics in a tweet may not be enough to map it to a video segment; for that, the context (e.g., tweets from closely related users) of the tweet may need to be leveraged.

随着用户生成的数据量的增加，有效地搜索这些数据以获取有用信息变得更具挑战性。人们已经在研究如何搜索文本社交媒体帖子（例如推文或视频）。然而，使用单独的工具搜索这些来源是无效的，因为它们之间的信息链接丢失了；例如，人们无法自动将社交网络帖子与视频中看到的活动进行匹配。例如，考虑在骚乱期间生成的一组推文和视频（可能发布在 Twitter 或其他媒体上）。一名警探希望联合搜索这些数据，以查找与汽车火灾等特定事件相关的材料。一些推文（没有包含视频）可能会对汽车火灾发表评论，而另一条推文的视频片段则显示火灾期间或之后的汽车。将视频与相关社交媒体帖子链接起来是该项目的重点，可以大大减少搜索有用信息的工作量。该项目的成功完成有可能提高在社交媒体上搜索的人们的生产力，例如警察侦探、灾害管理当局的记者。该项目还将加强和扩展研究人员正在进行的本科研究和高中外展活动。该项目的目标是重点关注基础研究任务，以便对社交网络和视频数据进行联合建模。然后，给定一组帖子，系统将通过为社交媒体和视频数据定义公共特征空间来找到相关的视频片段，反之亦然。该概念验证项目将根据 Twitter 平台上共享的帖子和视频进行评估。鉴于深度学习和大数据管理技术的最新进展，现在是解决这个问题的最佳时机。一个主要风险是推文中的语义可能不足以将其映射到视频片段；为此，可能需要利用推文的上下文（例如，来自密切相关用户的推文）。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Identifying and Alleviating Concept Drift in Streaming Tensor Decomposition

识别并减轻流张量分解中的概念漂移

DOI：
10.1007/978-3-030-10928-8_20
发表时间：
2018-04-25
期刊：
影响因子：
0
作者：
Ravdeep Pasricha;Ekta Gujral;E. Papalexakis
通讯作者：
E. Papalexakis

SamBaTen: Sampling-based Batch Incremental Tensor Decomposition

SamBaTen：基于采样的批量增量张量分解

DOI：
10.1137/1.9781611975321.44
发表时间：
2017-09-03
期刊：
ArXiv
影响因子：
0
作者：
Ekta Gujral;Ravdeep Pasricha;E. Papalexakis
通讯作者：
E. Papalexakis

Using Deep Learning for Big Spatial Data Partitioning

使用深度学习进行大空间数据分区

DOI：
10.1145/3402126
发表时间：
2020-08-12
期刊：
ACM Transactions on Spatial Algorithms and Systems (TSAS)
影响因子：
0
作者：
Tin Vu;A. Belussi;S. Migliorini;Ahmed Eldway
通讯作者：
Ahmed Eldway

Learning Joint Embedding with Multimodal Cues for Cross-Modal Video-Text Retrieval

使用多模态线索学习联合嵌入以进行跨模态视频文本检索

DOI：
10.1145/3206025.3206064
发表时间：
2018-06-05
期刊：
Proceedings of the 2018 ACM on International Conference on Multimedia Retrieval
影响因子：
0
作者：
Niluthpol Chowdhury Mithun;Juncheng Billy Li;Florian Metze;A. Roy
通讯作者：
A. Roy

Webly Supervised Joint Embedding for Cross-Modal Image-Text Retrieval

用于跨模态图像文本检索的 Webly 监督联合嵌入