基于深度学习的多源多模态城市大数据融合建模

Nowadays, urban big data provides a reliable basis for constructing smart cities, but due to its characteristics of the raw data, such as of multi-sources, varieties of modals, large-scale and etc., it brings a lot of challenges for its using. To make full use of it in various types of urban data-centric applications directly and effectively, effective fusion of urban big data has become a crucial scientific issue. Deep learning, as a popular tool for data processing, has already gained lots of succeeds in recent years. This project aims to take deep learning as the basic tool for modeling the fusion of multi-modal urban big data from multi-sources. It will study how to model the original data representation space which is fit for deep learning, as well as to develop the theory and algorithms for expressing the complicated relationships between different modals of data with multi-relational graphs. Besides, this project will take the deep learning theory as the foundation for developing the algorithms for nonlinear feature extraction from urban big data and employ tensor theory for presenting data association. By extending the traditional technique of deep learning, it will also develop some novel structures for deep learning and the corresponding algorithms which can support association constraints for the urban applications. Some effective approaches for the distributed storage, incremental modification of the built models will be also studied. Further, we will take theoretically analysis and empirical tests on the presented approach and develop the corresponding software system. The findings of the project will provide an effective theoretical basis and technical for the fusion of urban big data, and novel idea for modeling the applications of urban big data as well as effective data services for urban computing.

城市大数据为实现智慧城市提供了可靠依据，但其多源、多模态等特征使其无法直接有效地服务各类城市应用。实现城市大数据的有效融合，是以城市大数据为中心的城市计算亟待解决的核心科学问题。本项目以深度学习技术为基本工具实现多源多模态城市大数据的融合建模，主要研究内容有：（1）针对城市大数据特征，研究构建支持深度学习的原始数据表征空间模型及描述城市大数据间复杂关系的多关系图模型；（2）基于深度学习理论，研究支持城市大数据非线性特征提取的深度学习方法、用张量进行数据关联表示和关联计算的基本框架；（3）结合城市计算对数据关联的需求，研究支持关联约束的深度学习结构与算法、学习模型的分布式存储及增量修改等理论和方法。对新方法进行理论分析和实验测试，开发相应的软件系统。研究成果将为城市大数据融合提供的理论依据和技术支撑，为城市大数据应用建模提供新思路，为城市计算提供有效的数据服务，具有重要的理论意义和应用价值。

本项目从城市大数据多源多模态等特征出发，探索了基于深度学习技术的城市大数据融理论与方法，研究支持深度学习的城市大数据表示模型、深度学习技术支持下大数据内容建模和语义理解、支持约束关联的城市大数据深度学习模型和算法及模型的分布式存储、增量修改方法等。. 城市大数据融合预处理方面，结合张量理论构建了时空四阶张量模型来表达多源时空大数据，研发了补全算法CTIA。针对城市大数据中样本数据标签的不平衡问题，采用分层抽样的小批量梯度下降来解决动态抽样数据不平衡对学习结果带来的影响，提高了对少数群体标签预测的准确性。 . 在城市大数据融合的表征学习和特征提取方面，提出基于注意力机制的Encoder-Decoder计算模型，实现对多源多模型数据的统一编码，并将编码采用张量进行表达；在CNN网络中嵌入注意力机制，实现多模态大数据的向量化；通过将双向长短记忆模型（Bi-LSTM）与CRF相结合来实别命名实体，提出基于上下文特征的字符级向量生成算法，构建基于字符级向量表示的中文实体识别迁移学习模型 Trans-NER。. 在城市大数据的关联学习模型的构建、存储与修改方面，研究了多源多模态城市大数据在语义层面上的匹配性，提出了一种多粒度语义交叉模型，实现了多模态数据间的语义匹配；以大规模文本数据中查找相似文本为例，提出一个多任务的“解构—重建”深度学习框架。. 在城市大数据融合技术的应用方面，对大规模社交数据结合词典匹配和机器学习，提出一种融和单词级别和句子级别情感的生成模型来建模对话文本；对大规模司法案例提出了组合学习模型LegalCap，将胶囊神经网络与GRU相结合，实现了复杂案件的建模；提出了SAM-AN模型，支持多级生成对抗网络的自注意，用于文本到图像的合成；针对医疗健康大数据，提出了深度神经网络(LCP-Net)，用于感知图像的多尺度上下文信息；在消费大数据领域，以时尚搭配为例子，提出了采用多语言模型PolyLDA，通过每层训练出的视觉属性的权重，使模型具有更好的建模能力。. 研究成果为城市大数据融合提供有效的理论依据和技术支撑，为城市大数据分析应用提供了解决思路。 项目执行过程中，发表论文26篇，其中12篇论文被SCI收录，申请发明专利2项。

内容获取失败，请点击重试