[发明专利]基于神经网络的视频兴趣区域和显著目标提取与定位系统

权利要求书

1.一种基于多尺度脉冲神经网络的视频兴趣区域和显著目标提取与定位系统，其特征在于，包括：

系统参数初始化模块，其用来根据外部输入指令或缺省默认设置为系统设定或随机生成初始值；

脉冲神经网络构建模块，其用来基于所述系统参数初始化模块中定义的初始值自动生成多尺度脉冲神经网络；

视频信息读入模块，其用来将不同编码格式、多种色彩制式或任意分辨率大小的视频读入为统一制式和统一分辨率的连续数据流；

视频帧描述模块，其用来将所述连续数据流生成为视频帧描述；

超像素区域分割模块，其用来将所述视频帧描述模块描述的每个视频帧分割为若干组互不重叠的不同尺度的视频帧区域并将所述不同尺度的视频帧区域自动对应的输入至所述多尺度脉冲神经网络中，所述超像素区域分割模块包括以下分割步骤：

首先将预分割的超像素图像块作为节点，计算节点之间的相似度并将此相似度作为边的权重；

然后将所有边的权重按照非下降的方式进行排序；及

之后根据不同超像素图像块之间的最小内部差异，迭代进行超像素图像块的重组，最终形成不同尺度的视频帧区域；

区域显著值计算模块，其用来基于所述多尺度脉冲神经网络计算所述不同尺度的视频帧区域的显著值分布图，所述区域显著值计算模块包括以下计算步骤：

首先以所述超像素区域分割模块分割后的所述不同尺度视频帧区域为输入；及

利用所述脉冲神经网络构建模块生成的脉冲神经网络，将所述不同尺度视频帧区域输入脉冲神经网络的第一层，通过脉冲神经网络内脉冲神经元的计算，在脉冲神经网络输出层得到视频帧区域的语义和类别信息，进而在未分割视频帧中计算视频帧区域的显著值，得到不同尺度视频帧区域的显著值分布图；

其中所述脉冲神经元的计算为：将时间序列上的脉冲信息进行加权组合，并通过脉冲神经元的脉冲生成与发放规则，生成包含输入信息的脉冲序列，所述脉冲序列为典型的离散方波信号，当以所述离散方波信号作为输入时，脉冲神经元生成的脉冲，所述脉冲包含输入信号的幅值、相位及时刻；

不同尺度显著值融合模块，其用来对若干所述显著值分布图进行融合，得到与原始视频帧相同尺度的基础显著值分布图，所述不同尺度显著值融合模块包括以下融合步骤：

以所述区域显著值计算模块输出的不同尺度视频帧区域的所述显著值分布图为输入；

首先，设计一个与所有尺度视频帧区域的总和尺度数为输入、与原始视频帧的尺度数为输出的全连接脉冲神经网络；

其次，在标注数据上，对此全连接脉冲神经网络进行训练，得到此全连接脉冲神经网络的连接权重；

再次，将区域显著值计算模块输出的不同尺度视频帧区域的所述显著值分布图作为输入；及

最后得到原始视频帧的基础显著值分布图；以及

结果输出模块，其用来将所述基础显著值分布图通过计算后得到最终显著值分布图并输出；

其中所述脉冲神经网络的自动生成包括：

首先获得以连续数值编码的经典人工神经网络，所述经典人工神经网络包括网络层级数、每层神经元个数、神经元激活函数、网络连接结构及连接权重；

然后保留除神经元模型之外的所有信息，增加时间序列，将处理连续数值的经典神经元转换为处理脉冲信息的脉冲神经元；及

最后匹配神经元的输入输出与网络连接结构和连接权重，并将脉冲神经元嵌入网络中，从而自动完成所述脉冲神经网络的生成。

2.根据权利要求1所述的基于多尺度脉冲神经网络的视频兴趣区域和显著目标提取与定位系统，其特征在于，所述视频信息读入模块用来将avi、rmvb、mp4或wmv编码格式的视频统一以RGB三通道、双精度编码的数据读入。

3.根据权利要求1所述的基于多尺度脉冲神经网络的视频兴趣区域和显著目标提取与定位系统，其特征在于，所述视频帧描述模块以多通道的颜色空间描述帧信息。