[发明专利]一种基于多维数据的学生行为特征智能分析方法

权利要求书

1.一种基于多维数据的学生行为特征智能分析方法，其特征在于：其具体工艺步骤如下：

S1、视频结构化处理

以连续16帧作为一个处理单元、每个处理单元中的视频帧默认为3通道、构建一种高低频3D残差神经网络模型进行视频结构化处理，将文本信息和视频快照数据存入相应的结构化数据库中，高低频3D残差神经网络模型包括低频3D残差网络结构和高频3D残差网络结构，其中低频3D残差网络结构进行人员结构化处理提取目标特征，高频3D残差网络结构进行行为结构化处理提取行为特征；将目标特征和行为特征进行连接，并处理得到目标T的空间位置、行为类别；

其中低频3D残差网络结构对视频帧的采样间隔设定为inv_l＝16，低频3D残差网络结构用于提取目标的空间和语义信息；高频3D残差网络结构对视频帧的采样间隔设定为inv_h＝inv_l/α，其中α＝8，卷积核的个数为低频3D残差网络中卷积核个数的β倍，其中β＝1/8；

S2、采集学生的实时定位数据；

学生佩戴具有GPS+北斗+WiFi+基站定位功能的定位设备，以固定频率对学生进行定位，并将定位结果、定位时间、学生ID信息存入数据库中，生成学生的轨迹序列；

S3、时空研判分析

利用目标T的空间位置抽提出目标T的空间特征，并根据相似度匹配查找出L时间段内目标T的全部相似目标，将每个相似目标的空间特征、行为类别、所在监控摄像头的安装位置按照时间顺序排列，构建出目标T的可描述信息序列；截取出L时间段内多个学生的轨迹序列，并结合目标T的可描述信息序列，利用轨迹匹配从多个学生的轨迹序列中筛选出与目标T匹配度最高的学生S的轨迹序列，即认定为目标T即为学生S，从而构建出学生S的轨迹-行为序列对；

S4、学生行为特征分析

利用S3获得的学生轨迹-行为序列对，结合学生在L时间段内的课时安排、学校作息时间安排、学生基本信息等，绘制生成学生的日常活动规律图表，并进行数据挖掘，发现学生在校期间的活动爱好，帮助老师根据不同学生的特点，有效改善教学计划；通过对学生的轨迹-行为序列对进行长时间的规律统计，结合人为监督，构建出数据预测告警功能，判定学生是否存在异常行为，异常行为包括长时间的聚集、徘徊行为、轨迹偏离，做到实时预警，防止意外发生。

2.根据权利要求1所述的基于多维数据的学生行为特征智能分析方法，其特征在于：所述S1步骤的视频结构化处理的具体过程为：

S1.1目标特征提取

使用低频3D残差网络结构进行目标特征提取；

S1.2行为特征提取

使用高频3D残差网络结构进行行为特征提取，计算提取的行为特征尺寸为{8,256,7,7}；

S1.3视频分类

首先通过矩阵操作将行为特征进行尺寸转换，其次采用全局均值池化操作对目标特征和转换尺寸后的行为特征进行处理，再次将处理过的目标特征和行为特征进行横向连接，最后将目标特征和行为特征输入全连接层，最终得到目标的空间位置、行为类别；

S1.4视频结构化

由S1.3得到目标T的空间位置、行为类别以及S1.1得到的目标T的空间特征共同构建出目标T的可描述信息{location_T,spatial_Feature_T,action_ID},用于视频结构化处理，其中行为类别包含写字、绘画、走路、跑步、拉伸肢体、打篮球、踢足球、跳舞、游泳、骑自行车、握手、拥抱、喝水、吃东西、相互推搡多个种类；视频结构化包括目标匹配和生成目标的可描述信息序列。