[发明专利]基于目标检测的图像识别方法、系统和电子设备

说明书

本申请是关于一种基于目标检测的图像识别方法，其特征在于，包括：获取待处理的图像；根据预先构造并进行训练获得的目标卷积神经网络，识别图像中的手势；获得所述手势的类别及所述手势的关键点的位置信息。该图像识别方法对图像进行了更深层次的解析，以实现更便捷丰富的应用图像信息，实现更灵活多样的人机互动方式。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于目标检测的图像识别方法和系统。

背景技术

近年来，深度学习在视频图像处理、语音识别、自然语言处理等相关领域得到了广泛应用，尤其是图像处理方面，图像识别的技术发展迅速。在图像处理中，目标检测(objectdetection)是指关注图片中特定的物体目标，当输入一张图片，该检测方法识别并输出该图片中目标的位置信息(bounding box)以及类别信息。

现有的目标检测方法主要分为两类，一类是两阶段的目标检测模型，也是基于区域的识别方法，包括R-CNN，Fast R-CNN，Faster R-CNN等。检测过程分为两个阶段，首先针对输入图提取多个可能包括目标的备选框(region proposals)，然后再计算多个备选框的卷积神经网络(CNN)特征，对每个备选框进行分类。另外一类方法，是单阶段的目标检测模型，该方法旨在对一张输入图片，直接获取预测结果，而没有基于区域方法中的备选框提取过程，该方法也称为无区域识别方法，包括SSD，yolo方法等。SSD全称Single ShotMultibox Detector。Single shot是指单阶段目标检测方法，multibox detectior是指可以多框检测。针对一张图片，SSD可输出目标的检测框，以及目标的类别。

现有的SSD方案通过输入一张图片，直接回归出图片目标的位置，以及对该目标进行分类。例如在检测手势目标的应用场景，SSD只能检测出手势的位置框以及手势的类别(比如victory)，但是并不能回归出手势关键点的位置(例如手势食指指尖的位置)。无法获取手势关键点(例如为食指指尖)，从而根据关键点进行更深层次的解析和应用，实现更灵活多样的人机互动方式。

发明内容

本申请的发明在研究过程中发现现有的图像识别获取的信息有限，一定程度上限制了其应用范围，实用价值低，无法更便捷更深层次的实现人机交互，因此，为克服相关技术中存在的问题，本申请公开一种基于目标检测的图像识别方法、系统、电子设备及存储介质。

根据本申请实施例的第一方面，提供一种基于目标检测的图像识别方法，其特征在于，包括：

获取待处理的图像；

根据预先构造并进行训练获得的目标卷积神经网络，识别图像中的手；

获得所述手势的类别及所述手势的关键点的位置信息。

优选地，通过以下步骤获所述目标卷积神经网络：

获取训练图像；

对所述训练图像进行标注；

构造针对输入信息，输出图像的标签信息的初始卷积神经网络；

将训练图像作为输入，结合训练图像的标注，对初始卷积神级网络进行训练优化，得到所述目标卷积神经网络。

优选地，所述标注包括手势的类别和手势的关键点的位置信息。

优选地，所述标注还包括手势的个数。

优选地，所述手势的关键点包括手指指尖、掌心中的至少一点。

优选地，所述关键点的位置信息通过所述关键点在图像中的坐标表示。

优选地，所述图像中包括多个手势。

优选地，所述目标卷积神经网络采用多尺度特征进行检测。