[发明专利]确定视线区域的方法、装置、存储介质和终端设备

权利要求书

1.一种确定视线区域的方法，其特征在于，包括：

获取驾驶员的脸部图像；

从所述脸部图像中提取所述驾驶员的脸部区域和眼部区域的特征点；

跟踪所述脸部图像的初始图片序列，以对所述脸部区域的特征点进行迭代计算，获得所述驾驶员的头部姿态；

根据所述眼部区域的特征点，估计所述驾驶员观测的视线区域的分类结果；以及

根据所述驾驶员的头部姿态，对所述视线区域的分类结果进行修正，并以修正后的视线区域作为所述驾驶员的视线区域。

2.如权利要求1所述的方法，其特征在于，所述脸部图像包括深度图像和彩色图像；以及所述从所述脸部图像中提取所述驾驶员的脸部区域和眼部区域的特征点，包括：

从所述深度图像中提取前景区域；

判断所述前景区域是否包括人体脸部；

当所述前景区域包括人体脸部时，在所述深度图像中定位所述人体脸部的位置；以及

从所述人体脸部在所述彩色图像中的位置提取脸部区域和眼部区域的特征点。

3.如权利要求1所述的方法，其特征在于，所述跟踪所述脸部图像的初始图片序列，对所述脸部区域的特征点进行迭代计算，获得所述驾驶员的头部姿态，包括：

跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；

根据所述粒子滤波估计值，从依据驾驶室的观测范围划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及

基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，对所述脸部区域的特征点进行迭代计算，获得所述头部姿态。

4.如权利要求1至3任一项所述的方法，其特征在于，根据所述眼部区域的特征点，估计所述驾驶员观测的视线区域的分类结果，包括：

依据所述眼部区域的特征点，构建眼部外观，并确定瞳孔中心的直视位置；

根据所述眼部外观范围内的特征点，定位瞳孔中心位置；

根据所述瞳孔中心位置和所述瞳孔中心的直视位置，计算所述瞳孔中心位置相对于所述直视位置的偏移；以及

将所述偏移和所述眼部外观输入线性分类器，获得所述驾驶员的视线区域的分类结果；其中，所述驾驶员观测驾驶室的观测范围预先划分成多个视线区域。

5.一种确定视线区域的装置，其特征在于，包括：

脸部图像获取模块，用于获取驾驶员的脸部图像；

特征点提取模块，用于从所述脸部图像中提取所述驾驶员的脸部区域和眼部区域的特征点；

头部姿态获取模块，用于跟踪所述脸部图像的初始图片序列，以对所述脸部区域的特征点进行迭代计算，获得所述驾驶员的头部姿态；

视线区域估计模块，用于根据所述眼部区域的特征点，估计所述驾驶员观测的视线区域的分类结果；以及

视线区域修正模块，用于根据所述驾驶员的头部姿态，对所述视线区域的分类结果进行修正，并以修正后的视线区域作为所述驾驶员的视线区域。

6.如权利要求5所述的装置，其特征在于，所述脸部图像包括深度图像和彩色图像；以及所述特征点提取模块包括：

前景区域提取单元，用于从所述深度图像中提取前景区域；

人体脸部判断单元，用于判断所述前景区域是否包括人体脸部；

脸部位置定位单元，用于当所述前景区域包括人体脸部时，在所述深度图像中定位所述人体脸部的位置；以及

脸部眼部特征提取单元，用于从所述人体脸部在所述彩色图像中的位置提取脸部区域和眼部区域的特征点。

7.如权利要求5所述的装置，其特征在于，所述头部姿态获取模块包括：

粒子滤波单元，用于跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；

当前视线区域确定单元，用于根据所述粒子滤波估计值，从依据驾驶室的观测范围划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及

头部姿态迭代单元，用于基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，对所述脸部区域的特征点进行迭代计算，获得所述头部姿态。