[发明专利]一种基于人工智能的人机交互方法

权利要求书

1.一种基于人工智能的人机交互方法，其特征在于，包括以下步骤：

建立识别模型；

将视频输入识别模型，对视频识别，获得视频中人物的动态手势；

所述识别模型包括空间通道子模型和时间通道子模型，

空间通道子模型处理针对视频帧的空间信息，时间通道子模型处理针对视频片段时序信息、运动特征的信息；

在对视频识别时，从视频中获得帧图片和光流估计，将帧图片输入所述空间通道子模型中，获得第一动态手势行为概率；

将光流估计输入所述时间通道子模型中，获得第二动态手势行为概率；

将第一动态手势行为概率和第二动态手势行为概率加权平均，获得最终识别结果；

所述空间通道子模型为通过视频帧图片对I3D模型训练得到；所述时间通道子模型为通过视频光流估计对I3D模型训练得到；

采用OpenCV对视频片段逐帧抽取获得视频帧图片，通过Farnback方法对视频片段处理获得光流估计；

在对视频识别时，采用多线程技术，将获得帧图片和光流估计作为第一独立线程，将获得第一动态手势行为概率、第二动态手势行为概率以及二者的加权平均作为第二独立线程；

第一独立线程由CPU执行，在第一独立线程执行完毕后，检测GPU是否空闲：若GPU空闲，由GPU执行第二独立线程，待第二独立线程执行完毕后，再次进行第一独立线程对后续视频进行识别；若GPU不处于空闲状态，则重复执行第一线程，对后续视频进行帧图片和光流估计的获取；

在对视频识别时，还对会议主持人的人脸进行识别，在获取帧图片和光流估计时，仅保留主持人的相关信息，删除其它人的相关信息。

2.根据权利要求1所述的基于人工智能的人机交互方法，其特征在于，

训练用视频帧图片和视频光流估计为对视频训练集处理获得；

所述视频训练集中包含多个具有会议手势动作的视频片段。