[发明专利]基于Kinect彩色及深度信息在线考试作弊判断方法

权利要求书

1.一种基于Kinect彩色及深度信息在线考试作弊判断方法，其特征在于，包括面容和躯干动作数据采集、面容和躯干动作数据预处理、面容和躯干动作数据的输入、构建面容训练网络、构建躯干动作训练网络、构建汇总训练网络、训练网络优化网络的性能以及测试网络验证网络的性能八大步骤；

其中，所述面容和躯干动作数据采集，具体包括以下子步骤：

1)n组测试志愿者模拟在线考试情景，分别模拟正常答题和企图作弊的情况；

2)将Kinect放置于考试人计算机前，使用软件实时采集测试人面部特征点信息和上半部分肢体动作特征点信息；

面容和躯干动作数据预处理，具体包括以下子步骤：

1)分别对从Kinect中提取到的面部特征点与肢体动作特征点进行去噪处理，排除一些Kinect在实时提取中采取到的噪声点；

2)将去噪之后的特征点的坐标进行归一化，将它放到同一个特征空间中，归纳到[0，1]，它的具体公式如下：

x*＝(x-min)/(max-min)

其中，x表示输入，max为样本数据的最大值，min为样本数据的最小值，x*表示输出；

3)选用主成分分析的方法对重要的特征进行提取，具体为：

3.1)首先对特征点做去均值操作

3.2)计算特征点的协方差矩阵

3.3)计算协方差矩阵的特征值和特征向量

3.4)得到关于人脸和躯干最重要的N维特征

4)分别对从Kinect中提取到的面容和躯干动作数据随机选取一部分作为训练集，用于深度网络的训练，另一部分被划分为测试集，用于测试深度网络的性能；

面容和躯干动作数据的输入，具体包括以下子步骤：

1)分别将先前预处理得到的面容和躯干动作数据特征点存入到特定数据处理包中，并且在后面加入它们各自的标签；

2)引入数据包处理模块，将存在特定数据处理包中的数据和标签读取出来，并且将标签转换成独热编码；

3)将一串特征点转换为一个矩阵，用于后面输入到深度卷积网络中训练；

4)将一整批的训练集划分为多个较小的批次，通过每次的迭代送入到深度网络中；

构建面容训练网络，具体包括以下子步骤：

1)构建一个深度卷积网络，用于根据面容表情识别作弊的行为，具体包括以下步骤：

1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层；

1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；

1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；

构建躯干动作训练网络，具体包括以下子步骤：

1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：

1.1)先搭建五层卷积层，每个卷积层后面跟了批量归一化层，激活层；

1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；

1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；

构建汇总训练网络，具体包括以下子步骤：

1)构建一个深度卷积网络，用于根据上半部分躯干动作识别作弊的行为，具体包括以下步骤：

1.1)先搭建三层卷积层，每个卷积层后面跟了批量归一化层，激活层；

1.2)再搭建三层全连接层，前两层全连接层后面再接一个drop层，最后一个全连接层则接上一个softmax激活函数；

1.3)最后将损失层加入网络中，用交叉熵作为深层网络的损失函数，其作用是计算损失并且反传梯度；

训练网络优化网络的性能，具体包括以下子步骤：

1)首先初始化好之前搭建好的各个深层网络中，各个层的权重项、偏置项和其他参数；

2)设置网络的初始学习率，训练的方式还有梯度下降算法及其参数；

3)将前面预处理好的数据集分批次送入到网络中去，并且每次迭代更新网络中的权重，直到网络收敛到最佳状态；

测试网络验证网络的性能，具体包括以下子步骤：

1)调节Kinect的位置和它附近的灯关，使Kinect可以接受到比较高质量的图像；

2)从Kinect实时的获得数据，并且将这些数据实时的送入到网络中然后的返回结果。