时空序列驱动的神经形态视觉目标识别算法研究

As an important practical application of neuromorphic science, neuromorphic vision sensor outputs spatio-temporal sequence according to asynchronous Address Event Representation (AER) protocol, which has advantages of high dynamic range, low power consumption and low bandwidth transmission. Although there are many traditional computer vision algorithms, they cannot be directly used to process AER events. The temporal coding method of spiking neural network encodes information into spiking sequences with accurate time, which can effectively utilize the spatio-temporal characteristics of AER events. Therefore, this project intends to explore new algorithms and new methods for AER events processing by combining spiking neural network. Firstly, the spatio-temporal characteristics of AER events are analyzed and a noise reduction method is proposed. Secondly, the object recognition system of multi-spike complete time coding and learning is established. Then, the deep spiking neural network is studied, and a cost function of the spatio-temporal error back-propagation is proposed to improve the performance of the algorithm. Finally, the experimental platform is built and the algorithm model is tested. By studying the spatio-temporal characteristics of AER events, this paper constructs an algorithm model to further explore the application potential of the neuromorphic vision sensor, which has important research value and practical significance for the development of neuromorphic computing.

神经形态视觉传感器作为类脑科学的一个重要实际应用，按异步地址事件表达(AER)协议输出时空序列，具有高动态范围、低功耗、低带宽传输等优势。尽管现有众多传统计算机视觉算法，但无法直接用于处理AER事件流，而脉冲神经网络的时间编码方法将信息编码为包含精确时间的脉冲序列，能有效地利用AER事件流的时空特性。因此，本项目拟结合脉冲神经网络，探索AER事件流数据处理的新算法与新思路。首先，分析AER事件流的时空特性，提出降噪方法；其次，建立多脉冲完全时间编码与学习的目标识别系统；然后，研究深度脉冲神经网络，提出基于时空误差反传的代价函数，进一步提高算法模型的目标识别性能；最后，搭建实验平台，测试算法模型。本课题通过研究基于AER事件流的时空特性构建算法模型，进一步挖掘神经形态视觉传感器的应用潜力，对类脑计算的发展具有重要的研究价值和实际意义。

该项目针对神经形态视觉传感器（也称之为事件相机）的感知信息处理问题，即现有的计算机视觉算法模型无法直接使用这种神经形态视觉传感器输出的脉冲事件流。提出构建脉冲神经网络来处理神经形态视觉的AER异步事件流信号，分析AER事件流的时空特性分析、建立多脉冲完全时间编码与学习的目标识别系统。.该项目针对神经元内部状态变量及误差函数的不连续性，利用时间脉冲的卷积核函数构建输入层脉冲序列；在隐藏层利用漏电-整合-激发神经元模型，求解突触后神经元的膜电压。然后利用一种对Widrow-Hoff学习规则的模拟，来进行梯度的误差降低和反传。该神经网络模型具有强大的处理复杂的时序数据的能力，将有助于实现类脑计算在实际中的应用。.综上所述，由于脉冲神经网络的脉冲序列编码的局限性，研究基于时空误差反传的代价函数在多层脉冲神经网络中无法收敛，因此，该项目没有解决直接训练脉冲神经网络的问题。目前项目组正在尝试将训练好的传统神经网络直接进行转化，尽管这种转化受限于多方面引起的精度损失，但已有学者们的研究成果证明了其思路的可行性。因此，课题组拟采用先训练传统神经网络再进行脉冲神经网络转化的思想，继续探索深度脉冲神经网络的构建与设计。

内容获取失败，请点击重试