[发明专利]基于机器视觉的林业生态环境人机交互方法

权利要求书

1.基于机器视觉的林业生态环境人机交互方法，其特征在于：该方法包括以下步骤：

S1：基于尺度相关池与级联抑制分类器的人流量监测；

S2：基于目标三维行为时间尺度不变的特殊人群判别；

S3：基于级联卷积神经网络的危险行为分析；

S4：多层次抽象语义决策图像分类的野生动物监控：通过使用尺度不变特征变换算法(Scale Invariant Feature Transform,SIFT)描述符对特征点进行描述以提取特征；通过构建视觉词典，利用K-means聚类方法将特征点聚成数类，视觉词典由聚类中心形成的视觉词汇组成；利用特征局部投影生成码书，构造BoF(Bag-of-Features)特征；通过利用BoF特征训练分类器，获取分类模型，对待分类野生动物图像特征进行预测。

2.根据权利要求1所述的基于机器视觉的林业生态环境人机交互方法，其特征在于：所述步骤S1具体为：通过构造级联卷积神经网络，来识别行人特征，并利用边界框的数量统计，获得人流量估计；卷积神经网络的每一个卷积层都将得到一系列的粗糙对象建议，借助对每一个卷积层使用级联抑制分类器CRC将负面对象建议去除，得到相对精细的建议；幸存的对象建议通过下一层卷积层得到的特征再次使用级联抑制分类器进行负面建议消除；依次循环往下，到达第三层卷积层加入使用尺度相关池与级联抑制分类器相结合；对像素点最少即最小对象的检测识别；依次第四层第五层方法相同，分别对中等对象和大对象进行检测识别；通过对每一层的卷积特征都进行池化，综合使用各层特征对对象目标进行检测。

3.根据权利要求1所述的基于机器视觉的林业生态环境人机交互方法，其特征在于：所述步骤S2具体为：通过建立目标行为的统计模型，来识别及描述具有时空差异性的个体步态与行为；在建模阶段，首先用相似矩阵描述目标姿态变化，并转换矩阵参数到对数空间形成一致的运动参数序列；然后基于多边形近似算法提取时间尺度不变特征(Time Scale Invariant Feature,TSIF)，并用动态时间规整对有限类别行为进行统计建模；在行为识别阶段，将测试行为与参考模型相匹配得到最小代价行为类别；

在层次化流程对视频帧进行处理的前提下，采用基于多点跟踪模型，并用相似矩阵表示目标运动姿态的方法实现单目视觉下目标三维运动姿态估计；在估计相似矩阵时，满足跟踪点数不少于矩阵参数；所跟踪的点包括外部标记点和内部标记点，外部标记点是在目标表面人为设置；内部标记点用尺度不变特征转换或加速分割测试特征关键点算法在目标区域自动选取；为避免内部标记点的位置漂移和误匹配对跟踪的影响，通过采用人工标记的外部点。

4.根据权利要求1所述的基于机器视觉的林业生态环境人机交互方法，其特征在于：所述步骤S3具体为：基于头肩检测的级联深度网络HsNet的行人行为检测过程包括：对检测视频的每一帧图像，用多尺度的滑窗按照预定步长截取一系列的候选小图像块Patch，形成待识别样本；将这些样本送入预先训练好的头肩/非头肩识别模型HsNet进行分类，在网络的每一级被分类为负的样本的Patch直接舍弃，其余样本继续进入网络的下一级进行更严格的识别分类，经过三级CNN网络进行分类鉴别；网络第三级的输出结果用于判断图像Patch是否属于头肩区域，该区域的矩形框被称为头肩框，将头肩框高度扩展为原对应滑动窗口的3倍，得到行人检测的全身框；对于同一个行人，会形成多个检测框，最后用非极大值抑制策略剔除多余的检测框，每个位置只保留最可能的一个检测框，即行人检测结果；

引入非线性运动模式学习及在线外观模的基于检测的分层关联多目标跟踪方法型学习策略，算法第一层对检测对象进行底层可信关联，形成轨迹片段；第二层利用非线性运动模式在线学习和外观模型多实例学习，对轨迹片段进行有效连接，得到可靠的对象轨迹；为了避免遮挡问题，仅仅检测行人的头肩部分区域代替行人整体；将高斯过程回归(Gaussian process regression,GPR)引入跟踪过程，平滑对象轨迹片段，解决不同帧对象头肩部区域位置跳变问题；

通过从对象的运动轨迹中提取基本的参数作为特征，包括速度、方向和距离，对单个特征进行分析或者将多个特征相结合组成更高级的语义来描述事件，进而判断事件是否发生。