大数据环境下的社会媒体理解与检索

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61379071
项目类别：
面上项目
资助金额：
76.0万
负责人：
刘海风
依托单位：
浙江大学
学科分类：
F0209.计算机图形学与虚拟现实
结题年份：
2017
批准年份：
2013
项目状态：
已结题
起止时间：
2014-01-01 至2017-12-31

项目参与者：
张德兵；胡尧；杨政；金仲明；张卫忠；王华；赵无瑕；张强；杨根茂；
关键词：
流形学习多媒体图像视频理解深度学习

项目摘要

With the rapid development of the Internet, as well as the widespread popularity of the electronic equipment, particularly mobile terminal, the amount of social media resources increase rapidly. How to efficiently manage and search high-dimensional social media has become an urgent problem, in the environment of big data. Traditional data representation, understanding and retrieval methods are not suitable for so huge size of social media. This project is trying to achieve a unified recognition and retrieval method of social media on a massive database with a scalability of above 10 million. Specially, we will address the following key issues: (1) a unified social media representation based on manifold learning theory; (2) social media understanding and spreading based on scoial network and users' feedback; (3) social media feature learning and classification based on deep learning theory; (4) a unified indexing and searching method for social media based on hashing methods, in the environment of big data. Finally, we will achieve efficient and unified representation, management, indexing and searching strategies for big social media data, and build a social media retrieval prototype.

随着网络的迅速发展和电子设备特别是移动终端的广泛普及，社会媒体资源急剧膨胀。在大数据环境下，如何对海量的高维社会媒体数据进行有效的管理和搜索成为一个亟待解决的问题。传统的媒体表达、理解及检索方法难以适应如此巨大规模的社会媒体数据。本课题试图在规模达到千万以上级别的海量社会媒体数据库上，实现高效的识别和检索技术。具体将解决以下问题：（1）基于流形学习理论的社会媒体表达；（2）基于社会化网络和用户相关反馈的社会媒体理解和扩散；（3）基于深度学习理论的社会媒体特征学习和分类；（4）大数据环境下社会媒体的索引和检索。在此基础上，最终实现海量社会媒体数据的高效表达、管理、索引和检索，并搭建新型的社会媒体检索原型系统。

结项摘要

随着互联网技术的飞速发展，社会媒体资源急剧膨胀，如何对海量高维社会媒体数据进行精准理解和高效检索已成为亟待解决的重要问题。在过去的四年中，项目组对社会媒体理解和检索所涉及的各方面问题进行了深入研究，在社会媒体数据的表达、分类理解和扩散、索引和检索方面取得一系列研究成果。具体来说，项目组的贡献包括：（1）我们提出一系列基于流形学习的社会媒体表达算法；（2）为了更好利用数据结构信息，我们设计了矩阵分类算法对社会媒体进行分类；此外我们利用基于深度神经网络的实例分割方法检测社会媒体数据中的场景文字，为数据理解提供线索；（3）我们提出了时间-长短时记忆网络和多例子深度模型用于用户建模，并设计了基于异质超图的推荐算法来促进社会媒体的扩散；（4）我们提出了基于跨模态相对关系限制的标签传播算法，在跨模态检索问题上验证了算法的有效性。据此我们构建了大数据环境下的社会媒体理解和检索完整框架。.经过四年的有效执行，项目顺利完成，成果显著，发表了6篇国际期刊文章（包括IEEE TCYB 1篇、IEEE TNNLS 1篇、Neurocomputing 4篇）和4篇国际会议文章（包括AAAI 1篇、IJCAI 1篇、WWW 1篇、ACM MM 1篇）。