[发明专利]基于人工智能的开车门意图检测方法

权利要求书

1.一种基于人工智能的开车门意图检测方法，其特征是：使用车门外把手部位设置的相机进行拍照，连续采集车门外侧图像，每采集到一帧图像，进行如下操作：

步骤1、采用背景差分的方法获得当前帧运动前景图像；

步骤2、根据运动前景图像得到三个量化指标：连通域面积差r、抬起角度s和凸包面积差t；

连通域面积差r的获得方法如下：

对运动前景图像进行连通域分析，求得当前帧运动前景图像与上一帧运动前景图像的连通域面积差r；

抬起角度s的获得方法如下：

步骤2.1、使用人体关键点检测网络对当前帧运动前景图像进行人体关键点检测，人体关键点包括脊柱中心点、头部关键点、左肩膀关键点、右肩膀关键点、左手肘关键点、右手肘关键点、左手关键点和右手关键点；

步骤2.2、使用PAFs来组合检测到的人体关键点，获得当前帧运动前景图像的二维骨骼姿态信息；

步骤2.3、当前帧运动前景图像之前至少两帧连续的运动前景图像的二维骨骼姿态信息经TCN网络处理后得到人体的三维动作序列；建立直角坐标系，根据人体的三维动作序列得到直角坐标系中人体各骨骼的俯仰角、航偏角和翻滚角；

步骤2.4、根据人体的左手手臂和右手手臂的俯仰角来判断手臂伸出的方向，然后求得向前伸出的手臂的抬起角度s，抬起角度s为向前伸出的手臂与躯干的夹角；

凸包面积差t的获得方法如下：

使用目标检测网络对当前帧运动前景图像进行处理，获得手部包围框，对手部包围框进行裁剪，得到当前帧手部图像；对手部图像进行凸包检测，获得当前帧手部图像与上一帧手部图像的凸包面积差t；

步骤3、使用获得的三个量化指标，构建开车门意图的非线性映射关系，得到开车门意图置信度函数：

H(r,s,t)＝aH(r)+bH(s)+cH(t)；

连通域面积差r对应的置信度函数H(r)如下：

H(r)＝1-e^-r；(r＞0)

抬起角度s对应的置信度的函数H(s)如下：

凸包面积差t对应的置信度函数H(t)如下：

H(t)＝1-e^t；(t＜0)

a、b、c分别为三个量化指标对应的权重参数，abc；

步骤4、当开车门意图置信度函数H(r,s,t)的值大于置信度阈值M时，判定为有开车门意图,否则，判定为没有开车门意图；置信度阈值M大于零。

2.根据权利要求1所述的基于人工智能的开车门意图检测方法，其特征是：所述相机为广角相机，相机处设有补光灯。

3.根据权利要求1所述的基于人工智能的开车门意图检测方法，其特征是：所述步骤1的具体操作为：以上一帧图像作为背景图像B，当前帧图像I与背景图像B做灰度值减运算，取绝对值，得到图像A，具体计算公式为：

A(x1,y1)＝|I(x1,y1)-B(x1,y1)|；

对图像A进行逐像素与阈值T对比，将满足A(x1,y1)T的像素点A(x1,y1)组成的图像作为当前帧运动前景图像。

4.根据权利要求1所述的基于人工智能的开车门意图检测方法，其特征是：所述步骤2中，连通域分析时，对运动前景图像进行逐像素判断，将属于当前连通域的像素组成像素序列，统计像素序列中的像素数目N，N被当做当前连通域的面积。

5.根据权利要求1所述的基于人工智能的开车门意图检测方法，其特征是：所述步骤2中，目标检测网络采用CenterNet网络，目标检测网络的输入为归一化的RGB图像数据，输出为手部包围框的中心点坐标(x2，y2)以及手部包围框的宽度w和高度h。

6.根据权利要求1所述的基于人工智能的开车门意图检测方法，其特征是：所述步骤2.3中，当前帧运动前景图像之前至少两帧连续的运动前景图像中包含当前帧运动前景图像。

7.根据权利要求1所述的基于人工智能的开车门意图检测方法，其特征是：所述步骤3中，a＝0.4，b＝0.35，c＝0.25；步骤4中，置信度阈值M为0.75。