[发明专利]一种基于新型池化及注意力机制双流网络的活体检测方法

权利要求书

1.一种基于新型池化及注意力机制双流网络的活体检测方法，其特征在：包括，

构建空间流网络和时间流网络结合的双流网络；

提取光流图片并进行面部检测，得到所述双流网络的两个输入；

在所述双流网络末端加入空间金字塔池化和全局平均混合池化，利用全连接层是对所述空间金字塔池化和所述全局平均混合池化这两个池化后的特征进行分类及分数层面的融合；

对所述空间流网络和所述时间流网络进行特征层面的融合；最后输出融合的特征完成活体检测；

所述空间流网络定义如下，

score_s＝SpatialNet(x)

其中x代表RGB或者HSV不同颜色空间的图片；SpatialNet包括多个卷积层、由GAP和SPP构成的混合池化层；score_s代表所述空间流网络的输出；

所述时间流网络定义如下，

x'＝TVNet(x1,x2)

score_t＝TemporalNet(x')

其中score_t是时间流网络的输出，x1，x2代表RGB图片的两帧，经过TVNet网络则产生一张光流图片x'，代表两张图片对应像素的位置差，因此其中包含了时间维度的信息；TemporalNet包括多个带有残差块的层；

所述注意力机制具体为，利用融合模块进行所述特征层面的融合，包括，

定义所述融合模块：

其中f_s和f_t分别代表所述空间流网络提取的特征和所述时间流网络提取的特征；

经过通道注意力模块学习两个特征对应的对应权重的大小；

将学习到的权重和特征相乘得到按权分配后的特征；

把按权分配后的特征相加得到最终融合的特征。

2.如权利要求1所述的基于新型池化及注意力机制双流网络的活体检测方法，其特征在于：所述双流网络学习过程中，包括，

定义SpatialNet计算损失为：

loss_s＝cross_entropy(score_s,label)

其中score_s是空间流网络的输出；label代表输入x的标签；cross_entropy为交叉熵损失；空间流则是优化loss_s，使其最小即可；

定义TemporalNet计算损失为：

loss_t＝cross_entropy(score_t,label)

其中score_t是时间流网络的输出，时间流则是优化loss_t，使其最小即可。

3.如权利要求2所述的基于新型池化及注意力机制双流网络的活体检测方法，其特征在于：所述空间金字塔池化包括，

输入图片经过多个卷积模块后得出一个特征图；

通过空间金字塔池化将特征图划分为多块，得到一个n维的特征；

使用全连接层以及softmax对所述n维特征进行分类得到代表真脸置信度的分数。

4.如权利要求3所述的基于新型池化及注意力机制双流网络的活体检测方法，其特征在于：所述全局平均混合池化包括，

输入图片经过前面的多个卷积模块得出一个特征图；

对特征图进行全局平局池化得到一个m维的特征；

使用softmax对这个m维特征进行分类得到一个分数。

5.如权利要求4所述的基于新型池化及注意力机制双流网络的活体检测方

法，其特征在于：所述分数层面的融合包括将所述空间金字塔池化和所述全局平均混合池化两个池化的分数融合成一个空间金字塔全局平均混合池化。

6.如权利要求5所述的基于新型池化及注意力机制双流网络的活体检测方

法，其特征在于：包括在所述空间流网络上进行了不同颜色空间输入的测试，并得出最适合的颜色空间。

7.如权利要求6所述的基于新型池化及注意力机制双流网络的活体检测方法，其特征在于：所述不同颜色空间输入包括，

HSV颜色空间包含色相、饱和度、明度三个分量；

Ycrcb颜色空间包含了明亮度、色度和RGB；

把RGB颜色空间转化为HSV，如下：

把RGB转化为Ycrcb，如下：

|C_t|＝|-0.169 -0.331 0.500||G|

分别使用RGB颜色空间、HSV颜色空间和Ycrcb颜色空间以及多个颜色空间堆叠的方案得出有效的颜色空间作为所述空间流网络的输入。