基于深度强化学习和路径积分特征图的自然场景文本检测与识别

结题报告
项目介绍
AI项目解读

基本信息

  • 批准号：
    61673182
  • 项目类别：
    面上项目
  • 资助金额：
    62.0万
  • 负责人：
    黄双萍
  • 依托单位：
    华南理工大学
  • 学科分类：
    F0605.模式识别与数据挖掘
  • 结题年份：
    2020
  • 批准年份：
    2016
  • 项目状态：
    已结题
  • 起止时间：
    2017-01-01 至2020-12-31

项目摘要

As is known, the text of natural scene is the key of scene understanding. However, there is a big gap between the human cognition level and current technologies of scene text detection and recognition. This project proposes a new approach for natural scene text detection and recognition, based on deep reinforcement learning and iterated path integral feature map, in an effort to solve such key issues as the modeling of scene text representation, orientation-invariant scene text detection and segmentation-free scene text recognition. The innovative key issues we study are as follow, namely the new model of scene text representation based on iterated path integrals, orientation-invariant scene text detection based on deep reinforcement learning, segmentation-free scene text sequence recognition based on MDLSTM-CTC. The project involves multidisciplinary technological theory, which includes computer vision, machine learning, pattern recognition, image processing, document information processing and so on. And a new generation of scene text detection and recognition approach this project develops is expected to break the current technological bottleneck, providing the significant applied value.
自然场景中的文本是场景内容理解的关键，然而，目前的场景文本检测与识别技术与人类认知水平有很大差距。因此，本项目提出基于深度强化学习和路径积分特征图的自然场景文本检测与识别的新方法，解决场景文本表达建模、方向无关场景文本检测和隐分割场景文本识别等关键技术难题。重点研究的创新性关键问题如下：（1）基于路径迭代积分的场景文本表达模型；（2）基于深度强化学习的方向无关场景文本检测方法；（3）基于MDLSTM-CTC的隐分割场景文本序列识别方法；本项目涉及到计算机视觉、机器学习、模式识别、图像处理和文档信息处理等相关学科的理论技术，所研究的场景文本识别方法有望突破现有技术瓶颈，具有很好的技术应用前景。

结项摘要

自然场景中的文本是场景语义理解的关键，然而，目前的场景文本检测与识别技术与人类认知水平有较大差距。因此，本项目提出基于深度强化学习和路径积分特征图的自然场景文本检测与识别的新方法，解决场景文本鲁棒表征建模、场景文本检测和场景文本识别等关键技术难题。根据项目申请报告的研究内容和技术路线，结合研究过程中出现的新问题和新热点，本项目主要针对以下四个方面进行了较深入的理论及应用研究：. (1) 场景文本鲁棒表征模型设计，为后续的场景文本检测和识别算法做铺垫。. (2) 场景文本检测算法，探索将强化学习应用到场景文本检测中，基于Faster RCNN和Mask RCNN等主流目标检测方法研究新的场景文本检测算法，实现任意形状的场景文本检测，并提出新的紧致感知指标评价场景文本检测算法的性能。. (3) 场景文本识别算法，从建立端到端的识别网络、重点关注文本特征、减小计算代价、充分利用字符笔划等角度出发，研究新的场景文本识别方法。. (4) 面向特定场景的OCR实际应用，包含智慧教育和古籍文献检测与识别等场景。. 本项目实现了预定的研究目标，共发表SCI/EI 收录论文56篇，其中SCI论文26篇(IEEE Trans. 3篇，PR 4篇)，EI论文30篇(NeurlPS、AAAI、CVPR等领域顶会论文6篇)，申请中国发明专利9项，其中4项获授权。另外，依托本项目，项目组与联想（北京）有限公司合作申报获得吴文俊人工智能科技进步奖二等奖，培养一名教师晋升教授，一名教师晋升高级实验师，申请人指导多名研究生获得“PRCV 面向自动阅卷的OCR技术挑战赛文字识别任务一等奖”，“中国创新挑战赛智慧教育专题赛三等奖”，以及互联网+大学生创新创业大赛国赛金奖。. 总之，本项目组超额完成了研究内容，取得的各项成果均超过预期目标。

项目成果

期刊论文数量（26）
专著数量（0）
科研奖励数量（0）
会议论文数量（30）
专利数量（9）
Learning Spatial-Semantic Context with Fully Convolutional Recurrent Network for Online Handwritten Chinese Text Recognition
使用全卷积循环网络学习空间语义上下文，用于在线手写中文文本识别
  • DOI：
    10.1109/tpami.2017.2732978
  • 发表时间：
    2018-08-01
  • 期刊：
    IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE
  • 影响因子：
    23.6
  • 作者：
    Xie, Zecheng;Sun, Zenghui;Lyons, Terry
  • 通讯作者：
    Lyons, Terry
Dense and Tight Detection of Chinese Characters in Historical Documents: Datasets and a Recognition Guided Detector
历史文献中汉字的密集和严格检测：数据集和识别引导检测器
  • DOI：
    10.1109/access.2018.2840218
  • 发表时间：
    2018-01-01
  • 期刊：
    IEEE ACCESS
  • 影响因子：
    3.9
  • 作者：
    Yang, Hailin;Jin, Lianwen;Sun, Jifeng
  • 通讯作者：
    Sun, Jifeng
Resource Allocation and Task Offloading for Heterogeneous Real-Time Tasks With Uncertain Duration Time in a Fog Queueing System
雾排队系统中持续时间不确定的异构实时任务的资源分配和任务卸载
  • DOI：
    10.1109/access.2019.2891130
  • 发表时间：
    2019
  • 期刊：
    IEEE Access
  • 影响因子：
    3.9
  • 作者：
    Li Lei;Guan Quansheng;Jin Lianwen;Guo Mian
  • 通讯作者：
    Guo Mian
Arbitrarily Shaped Scene Text Detection With a Mask Tightness Text Detector
使用面罩紧密度文本检测器进行任意形状的场景文本检测
  • DOI：
    10.1109/tip.2019.2954218
  • 发表时间：
    2020-01-01
  • 期刊：
    IEEE TRANSACTIONS ON IMAGE PROCESSING
  • 影响因子：
    10.6
  • 作者：
    Liu, Yuliang;Jin, Lianwen;Fang, Chuanming
  • 通讯作者：
    Fang, Chuanming
Self-Paced Learning with Statistics Uncertainty Prior
统计不确定性优先的自定进度学习
  • DOI：
    10.1587/transinf.2017edl8169
  • 发表时间：
    2018-03
  • 期刊：
    IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS
  • 影响因子：
    0.7
  • 作者：
    Guo Lihua
  • 通讯作者：
    Guo Lihua

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--"}}
  • 发表时间：
    {{ item.publish_year || "--" }}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--"}}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ monograph.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ patent.updateTime }}

其他文献

其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--" }}
  • 发表时间：
    {{ item.publish_year || "--"}}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--" }}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}
empty
内容获取失败，请点击重试
重试联系客服
title开始分析
查看分析示例
此项目为已结题，我已根据课题信息分析并撰写以下内容，帮您拓宽课题思路：

AI项目思路

AI技术路线图

黄双萍的其他基金

基于图卷积和域自适应的跨场景复杂版面分析算法
  • 批准号：
  • 批准年份：
    2021
  • 资助金额：
    58 万元
  • 项目类别：
    面上项目
基于图卷积和域自适应的跨场景复杂版面分析算法
  • 批准号：
    62176093
  • 批准年份：
    2021
  • 资助金额：
    58.00 万元
  • 项目类别：
    面上项目

相似国自然基金

{{ item.name }}
  • 批准号：
    {{ item.ratify_no }}
  • 批准年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}

相似海外基金

{{ item.name }}
{{ item.translate_name }}
  • 批准号：
    {{ item.ratify_no }}
  • 财政年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}
{{ showInfoDetail.title }}

作者：{{ showInfoDetail.author }}

知道了

AI项目解读示例

课题项目：调控A型流感病毒诱导IFN-β表达的机制研究

AI项目摘要：

本研究聚焦于TRIM2蛋白在A型流感病毒诱导的IFN-β表达中的调控机制。A型流感病毒是全球性健康问题，其感染可导致严重的呼吸道疾病。IFN-β作为关键的抗病毒因子，其表达水平对抗病毒防御至关重要。然而，TRIM2如何调控IFN-β的表达尚未明确。本研究假设TRIM2通过与病毒RNA或宿主因子相互作用，影响IFN-β的产生。我们将采用分子生物学、细胞生物学和免疫学方法，探索TRIM2与A型流感病毒诱导IFN-β表达的关系。预期结果将揭示TRIM2在抗病毒免疫反应中的作用，为开发新的抗病毒策略提供理论基础。该研究对理解宿主抗病毒机制具有重要科学意义，并可能对临床治疗流感病毒感染提供新的视角。

AI项目思路：

科学问题：TRIM2如何调控A型流感病毒诱导的IFN-β表达？
前期研究：已有研究表明TRIM2参与抗病毒反应，但其具体机制尚不明确。
研究创新点：本研究将深入探讨TRIM2在IFN-β表达中的直接作用机制。
技术路线：包括病毒学、分子生物学、细胞培养和免疫检测技术。
关键技术：TRIM2与病毒RNA的相互作用分析，IFN-β启动子活性检测。
实验模型：使用A型流感病毒感染的细胞模型进行研究。

AI技术路线图

        graph TD
          A[研究起始] --> B[文献回顾与假设提出]
          B --> C[实验设计与方法学准备]
          C --> D[A型流感病毒感染模型建立]
          D --> E[TRIM2与病毒RNA相互作用分析]
          E --> F[TRIM2对IFN-β启动子活性的影响]
          F --> G[IFN-β表达水平测定]
          G --> H[TRIM2功能丧失与获得研究]
          H --> I[数据收集与分析]
          I --> J[结果解释与科学验证]
          J --> K[研究结论与未来方向]
          K --> L[研究结束]
关闭
close
客服二维码