[发明专利]一种基于人工智能的人机交互方法

说明书

本发明公开了一种基于人工智能的人机交互方法，包括以下步骤：建立识别模型；将视频输入识别模型，对视频识别，获得视频中人物的动态手势；所述识别模型包括空间通道子模型和时间通道子模型，空间通道子模型处理针对视频帧的空间信息，时间通道子模型处理针对视频片段时序信息、运动特征的信息。本发明公开的基于人工智能的人机交互方法，具有识别精度高、帧率高、速度快等诸多优点。

技术领域

本发明涉及一种基于人工智能的人机交互方法，具体涉及一种动态会议手势识别方法，属于图像识别检测技术领域。

背景技术

在计算机视觉识别中，我们可以对图像进行分类，对图像中的目标进行检测。目前基于卷积神经网络的模型已经实现图像认知上的任务，然而此类模型对于图像序列的理解存在十分严重的局限性，无法识别连续图像之间的语义关联性，即无法对于动态的行为进行识别或理解。

但现实世界中，绝大多数的行为是无法通过静态图片判断的，例如从缩小或放大手势的中间过程抽取一张图片，其静态图片基本一致，即便是人类，也难以区分。

虽然已有如Kinect的动态手势识别产品或方法，但其都需要特定的硬件设备，因此不具备通用性；除此之外，此类产品或方法对使用者的要求较高，且使用前的操作步骤繁杂。

并且，传统的识别方法，对动态手势的识别准确性和稳定性较低，识别速度较慢，用户体验较差。

因此，有必要提供一种对硬件要求低、准确率、稳定性较高、识别速度快的动态手势识别方法。

发明内容

为了克服上述问题，本发明人进行了深入研究，设计出一种基于人工智能的人机交互方法，其特征在于，包括以下步骤：

建立识别模型；

将视频输入识别模型，对视频识别，获得视频中人物的动态手势。

进一步地，所述识别模型包括空间通道子模型和时间通道子模型，

空间通道子模型处理针对视频帧的空间信息，时间通道子模型处理针对视频片段时序信息、运动特征的信息。

在一个优选的实施方式中，在对视频识别时，从视频中获得帧图片和光流估计，将帧图片输入所述空间通道子模型中，获得第一动态手势行为概率；将光流估计输入所述时间通道子模型中，获得第二动态手势行为概率；将第一动态手势行为概率和第二动态手势行为概率加权平均，获得最终识别结果。

在一个优选的实施方式中，所述空间通道子模型为通过视频帧图片对I3D模型训练得到；所述时间通道子模型为通过视频光流估计对I3D模型训练得到。

在一个优选的实施方式中，训练用视频帧图片和视频光流估计为对视频训练集处理获得；

所述视频训练集中包含多个具有会议手势动作的视频片段。

在一个优选的实施方式中，对视频识别时，采用多线程技术，将获得帧图片和光流估计作为第一独立线程，将获得第一动态手势行为概率、第二动态手势行为概率以及二者的加权平均作为第二独立线程，提高识别效率。

在一个优选的实施方式中，第一独立线程由CPU执行，在第一独立线程执行完毕后，检测GPU是否空闲：

若GPU空闲，由GPU执行第二独立线程，待第二独立线程执行完毕后，再次进行第一独立线程对后续视频进行识别；

若GPU不处于空闲状态，则重复执行第一线程，对后续视频进行帧图片和光流估计的获取。

在一个优选的实施方式中，在对视频识别时，还对会议主持人的人脸进行识别，在获取帧图片和光流估计时，仅保留主持人的相关信息，删除其它人的相关信息。

此外，本发明还提供了一种电子设备，包括：