面向大规模异质数据的多任务概率图估计优化及加速研究

Understanding and quantifying variable graphs from heterogeneous samples is a fundamental and urgent analysis task thanks to the data explosion in many scientific domains. Such variable graphs can significantly improve network-driven studies like understanding genetic or neural pathways or providing valuable tools for the discovery of therapeutic targets or diagnostic markers. One typical approach is to jointly estimate K different but related conditional dependency graphs through a multi-task formulation of the sparse Gaussian Graphical Model (multi-sGGM). Most current studies of multi-sGGMs, however, involve expensive and difficult non-smooth optimizations, making them difficult to scale up to many dimensions (large p) or with many contexts (large K). In this project, we aim to fill the gap and have designed a category of novel estimators that can achieve fast and scalable joint structure estimation of multiple sGGMs..Three crucial tasks exist when learning multi-sGGMs from heterogeneous samples: (1) to enforce graph relatedness through structural norms in multi-task learning and transfer learning, (2) to speed up the estimation of the Graphical model by the elementary estimator and (3) to incorporate existing knowledge of the variable nodes or about relationships among nodes. Targeting each, we propose to use fast and parallelizable estimators that largely improves the computational efficiency of the state-of-the-art and use the models in different bioinformatics problem such as the estimation of the gene interaction network and the brain connectome.

针对异质数据高维化问题及其对概率图模型估计的精度和可扩展性的挑战，本项目将多任务学习机制和元估计量引入到高斯图模型估计当中，研究如何优化和加速大规模异质数据下的多任务概率图估计问题。拟解决的关键问题包括：一、针对小样本训练高斯图模型时样本不足的问题，研究概率图模型估计中的多任务学习和迁移学习机制，实现异质数据联合推断多个概率图模型。二、研究概率图模型的加速机制与高可扩展估计方法，实现高维条件下高斯图的快速精确估计。三、研究知识与多任务概率图模型估计的融合方法，解决现有无知识引导推断模型性能过低的问题。本项目将以癌细胞基因交互关系、人脑神经连接推断为应用载体，开展实证测试与成果验证。项目研究一方面有助于丰富与完善大规模高维数据学习问题的相关理论与方法，另一方面有助于克服单一任务数据稀少导致图模型估计性能过低的问题，为研究更多的大规模数据机器学习方法提供理论与关键技术支撑。

过去数十年间，以生物信息学、神经科学等为代表的实验科学领域为人类提供了PB级的大规模异质数据集，大量科学家利用这些数据分析特征变量之间关系，构建概率图模型以揭示生物的基因表达、神经运作及疾病机理。然而，数据规模的增长带来了大量异质化的概率图学习任务，同时任务中特征数量相较于样本数量爆发式增长。目前已有的经典概率图模型估计方法难以从这样的小样本条件下进行准确估计，并且参数估计所需时间也随数据规模迅速增加。.针对上述问题，本项目以元估计量方法为切入点，围绕大规模异质数据对多任务概率图估计的优化及加速展开研究，为海量任务及高维情况下的概率图模型估计提供现实可行的方法，主要研究内容与成果如下：.（1）针对小样本训练的新型概率图模型估计方法：针对目前概率图模型估计任务中，样本数量相对较少、相关任务数量较多的特点，本项目利用多任务学习及迁移学习相关思想，对多任务概率图进行细化建模，为后续的优化加速提供理论依据。.（2）高维多任务概率图模型训练速度和可拓展性优化机制：针对高维情况下概率图估计方法计算时间急速增长的问题，本项目以元估计量方法为基础，构建高可拓展性的概率图模型学习优化机制，并基于GPU并行计算特点构造并行化算法，极大程度提高了高维概率图模型估计的计算速度与效率。.（3）知识驱动的多任务概率图模型推断性能优化机制：目前已有的概率图模型对各领域独有知识的运用较少，对此类辅助知识的合理吸收运用能够为概率图模型学习提供先验假设，提高变量相关性估计的准确性。本项目以知识图谱入手，将先验知识以特殊正则化惩罚项以及模型参数的方式融合于概率图模型估计任务中，实现估计效率与精度的大幅提升。.本项目提供的研究成果对大规模异质数据的多任务概率图模型学习优化及加速提供了切实可行的模型与方法，并在面向生物信息学的实证实验中体现了有效性，为突破相关领域变量相关性分析及概率图模型构建瓶颈做出了积极贡献。

内容获取失败，请点击重试