多种语言文字环境下结合内容审计的网络舆情监测技术研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61163052
项目类别：
地区科学基金项目
资助金额：
40.0万
负责人：
努尔布力
依托单位：
新疆大学
学科分类：
F0206.信息安全
结题年份：
2015
批准年份：
2011
项目状态：
已结题
起止时间：
2012-01-01 至2015-12-31

项目参与者：
徐高潮；毕宏音；海拉提·克孜别克；张丽红；米莉万·雪合来提；梁建飞；何金山；赵剑明；魏振；
关键词：
舆情汇集网络舆情内容审计多种语言文字

项目摘要

国家在利用互联网收集社情民意的新方式探索方面加大了力度，力求及时准确地把握全局性、苗头性、倾向性问题，努力成为密切联系人民群众、反映群众意见诉求的重要渠道，成为党和政府舆情汇集和分析机制的重要方面。本项目以探索多种语言文字环境下的网络社情民意的汇集和内容融合为出发点，并通过内容审计技术，提高与内容安全相关的舆情监测实效性，为网络舆情的疏导提供信息支持，为进一步开展多语言文字环境下的网络舆情监测系统,以及进行多种语言环境舆情预警方面的研究,奠定基础.

结项摘要

本项目主要研究多信息源网络环境下的信息获取技术，研究多种语言文字环境下的信息预处理技术，结合内容审计技术提出网络舆情疏导监测机制，研究热点事件跟踪技术和舆情预警技术，开发交互式分析程序和舆情监测工具这5个方面展开了研究工作。具体而言，主要包括以下七个方面：.（1）多语言网络文本数据的获取方面：研究支持增量的分布式网络爬虫、网络协议形式化描述和移动端数据获取应用、以及基于微博中的信息获取接口等三个方面，形成一套多语言网络文本数据的获取和预处理技术。.（2）多语言网络文本预处理方面：研究原始网页预处理、维吾尔和哈萨克语的文字分词、维吾尔、哈萨克、柯尔克孜语的文本特征选择等三种关键的技术，这是多语言文字环境下的信息预处理的主要工作。.（3）多语言语料库和特定资源库构建方面：研究收集整理文本语料的方法、维吾尔语和哈萨克语词性标注技术，并在大量文本语料的基础上，建立了相应的敏感词库。.（4）维吾尔文、哈萨克文、柯尔克孜文文种识别算法方面：研究少数民族文字、汉语言文字的文种识别算法，维吾尔文、哈萨克文、柯尔克孜文特定关键词语料库，以及三种文字的多语言文字文种识别算法。通过研究上述语言的字符编码特征、独有字符、复合字符等特点，设计并实现了维、哈、柯文识别算法，具有较好的识别率。.（5）敏感词识别和过滤算法方面：基于敏感词和平行语料库，实现了基于布尔模型的维吾尔语、哈萨克语、柯尔克孜语的敏感词识别和过滤算法，并集成到原型工具中，作为不良信息识别和过滤模块。.（6）主题分类算法方面：研究维吾尔、哈萨克语的文本表示，基于K-means的维吾尔语、哈萨克语文本主题分类算法、K-means算法的分布式优化等方面，在实验中具有达到较高的分类准确率。.（7）原型工具的研发方面：开发了单机版的支持维汉、维英的文本信息采集和检索工具，以及网络版的支持维、哈、汉、英的网络信息采集和检索工具。. 本项目完成了计划书中的研究任务，并完成了相关的人才培养目标，项目中得到的部分结论可推广，对多语言网络环境下信息获取和检索方面的基础应用研究具有一定意义。