[发明专利]一种车辆内的人机交互方法

权利要求书

1.一种车辆内的人机交互方法，其特征在于，包括：

获取车辆当前场景状态，以及当前场景状态下所述车辆中包含人脸的目标图像；所述车辆的场景状态包括：车辆中预设的与交互行为相关的硬件或软件的运行状态；所述目标图像为所述车辆内的摄像头所采集到的图像；

从所述目标图像中提取目标人脸图像；

将所述目标人脸图像输入预先训练的表情分类模型，得到目标人脸图像对应的表情类型作为目标表情类型；

基于预设的场景状态和表情类型与交互行为的对应关系，确定所述车辆当前场景状态和目标表情类型所对应的交互内容，作为目标交互行为；其中，所述预设的场景状态和表情类型与交互行为的对应关系，包括：在氛围灯开启的场景状态下，不同表情类型对应显示不同颜色的灯光；在运行音乐播放功能的场景状态下，不同表情类型对应播放不同风格的音乐；在运行满意度调查功能的场景状态下，不同表情类型对应确定不同满意度调查结果；在运行人机语音对话功能的场景状态下，不同表情类型对应播放不同风格的回复语音；

控制所述预设的与交互行为相关的硬件或软件执行目标交互行为。

2.根据权利要求1所述的方法，其特征在于，所述获取车辆当前场景状态的步骤，包括：

检测预设的与交互行为相关的硬件的当前工作状态，将该硬件的当前工作状态作为当前场景状态；或：

检测预设的与交互行为相关的软件是否开始运行与交互行为相关的功能，若是，则将运行与交互行为相关的功能作为当前场景状态。

3.根据权利要求1所述的方法，其特征在于，所述获取车辆当前场景状态的步骤，包括：

判断是否接收到针对与交互行为相关的硬件的开启指令，若是，则将该硬件的开启状态作为当前场景状态；或：

判断是否接收到针对与交互行为相关的功能的运行指令，若是，则将运行人机交互功能作为当前场景状态。

4.根据权利要求2或3所述的方法，其特征在于，所述预设的与交互行为相关的硬件为安装在所述车辆内部的能够显示多种颜色的氛围灯；

所述与交互行为相关的功能包括：音乐播放功能或满意度调查功能或人机语音对话功能。

5.根据权利要求1所述的方法，其特征在于，所述从所述目标图像中提取目标人脸图像的步骤，包括：

将所述目标图像输入预先训练的人脸检测模型，得到与所述车辆所载的人员数量相同数量个人脸区域；

从多个人脸区域中选择一个作为目标人脸区域；

提取目标人脸区域中的人脸图像作为目标人脸图像。

6.根据权利要求5所述的方法，其特征在于，所述从多个人脸区域中选择一个作为目标人脸区域的步骤，包括：

获得位于所述目标图像中指定位置区域的各个人脸区域的面积，选择其中面积最大的人脸区域确定为目标人脸区域。

7.根据权利要求5所述的方法，其特征在于，若所述车辆当前场景状态为运行人机语音对话功能的状态；

则所述从多个人脸区域中选择一个作为目标人脸区域的步骤，包括：

获得进行语音交互的人员在所述车辆中的位置区域作为目标位置区域；

将位于所述目标图像中目标位置区域的人脸区域确定为目标人脸区域。

8.根据权利要求5所述的方法，其特征在于，所述将所述目标图像输入预先训练的人脸检测模型，得到与所述车辆所载的人员数量相同数量个人脸区域，包括：

将所述目标图像输入预先训练的人脸检测模型确定出所述目标图像中包括的各个人脸检测框及每个所述人脸检测框对应的置信度，人脸检测框的置信度用于表示该人脸检测框中包括人脸图像的概率；

将表征同一个人脸图像的一个或多个人脸检测框中置信度最大的人脸检测框，作为待确定人脸检测框；

从多个待确定人脸检测框中根据置信度的大小，选取与所述车辆所载的人员数量相同数量个待确定人脸检测框，作为多个人脸区域。

9.根据权利要求8所述的方法，其特征在于，所述将表征同一个人脸图像的一个或多个人脸检测框中置信度最大的人脸检测框，作为待确定人脸检测框，包括：

按照人脸检测框的置信度从大到小的顺序对多个人脸检测框进行排序；

将置信度最高的人脸检测框确定为待确定人脸检测框；

针对剩余的每个人脸检测框，计算该人脸检测框与待确定人脸检测框之间的区域的交并比；

当交并比大于预设阈值时，将该人脸检测框剔除，并返回执行所述按照人脸检测框的置信度从大到小的顺序对多个人脸检测框进行排序的步骤；

当交并比小于等于预设阈值时，保留该人脸检测框；

判断剩余的人脸检测框的数量是否等于预设数量阈值，若是，将剩余的人脸检测框确定为待确定人脸检测框；若否，返回执行所述按照人脸检测框的置信度从大到小的顺序对多个人脸检测框进行排序的步骤。