[发明专利]图像检测方法、装置、计算机可读存储介质及电子设备

说明书

本公开涉及一种图像检测方法、装置、计算机可读存储介质及电子设备，该方法包括：获取待检测图像，对待检测图像进行特征提取，得到待检测图像的特征图，通过路径聚合网络PAN对特征图进行特征融合，得到第一特征融合图，通过单阶段检测器SSH对第一特征融合图进行特征融合，得到第二特征融合图，根据第二特征融合图确定待检测图像中的手部预测框位置、手部预测框置信度、手部关键点坐标及类别信息，作为图像检测结果。通过PAN对特征图进行特征融合，能够增强图像检测的语义表达能力及召回率，通过SSH构建不同尺寸的特征图，具备对不同尺寸的图像的检测的泛化能力，从而对手部区域尺寸变化大的情况也具有很高的鲁棒性。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种图像检测方法、装置、计算机可读存储介质及电子设备。

背景技术

人工智能(Artificial Intelligence，AI)学习机是教育智能硬件的典型代表，而指读功能是AI学习机的核心功能。通过手指关键点检测可以实现精准的指读，通过检测手指关键点信息，定位到手指指定的区域，进而结合文字识别(Optical CharacterRecognition，OCR)技术以及自动语音识别(Automatic Speech Recognition，ASR)技术可以达到指读的效果。

相关技术中的手指关键点检测技术容易陷入局部最优解，泛化能力得不到保证，并且局部搜索策略过于简单化，属于穷举搜索，效率较低。

发明内容

本公开的目的是提供一种图像检测方法、装置、电子设备及计算机可读存储介介质，用以解决现有的手指关键点检测技术导致的泛化能力较差、效率较低的问题。

根据本公开实施例的第一方面，提供一种图像检测方法，包括：获取待检测图像；对所述待检测图像进行特征提取，得到所述待检测图像的特征图；通过路径聚合网络PAN对所述特征图进行特征融合，得到第一特征融合图；通过单阶段检测器SSH对所述第一特征融合图进行特征融合，得到第二特征融合图；根据所述第二特征融合图确定所述待检测图像中的手部预测框位置、手部预测框置信度、手部关键点坐标及类别信息，作为图像检测结果。

可选地，所述对待检测图像进行特征提取，得到所述待检测图像的特征图包括：通过YOLO网络对所述待检测图像进行特征提取，得到所述待检测图像的特征图。

可选地，所述YOLO网络为YOLOv5网络；所述YOLOv5网络包括Stemblock结构、用于下采样的输出层、手部关键点预测分支及ShuffleNet。

可选地，所述通过路径聚合网络PAN对所述特征图进行特征融合，得到第一特征融合图包括：对所述特征图进行多次自底向上的卷积操作；每一次所述卷积操作用于使得所述特征图的尺寸减半、通道翻倍；将每一次所述卷积操作后得到的特征图进行横向连接；对横向连接后得到的特征图进行自底向上的特征融合，得到多帧不同大小的所述第一特征融合图。

可选地，所述SSH包括第一支路、第二支路及第三支路，所述第一支路包括1个3x3的卷积核，所述第二支路包括2个3x3的卷积核，第三支路包括3个3x3的卷积核；

所述通过单阶段检测器SSH对多帧所述第一特征融合图进行特征融合，得到第二特征融合图包括：通过所述第一支路、所述第二支路及所述第三支路分别对多帧所述第一特征融合图进行卷积，得到多帧所述第二特征融合图。

可选地，所述根据所述第二特征融合图确定所述待检测图像中的手部预测框位置、手部预测框置信度、手部关键点坐标及类别信息包括：将每帧所述第二特征融合图中的每一个感受野，分别映射为第一预定通道数、第二预定通道数及第三预定通道数，得到第一通道结果、第二通道结果及第三通道结果；根据所述第一通道结果确定所述类别信息，根据所述第二通道结果确定所述手部预测框位置和手部预测框置信度，根据所述第三通道结果确定所述手部关键点坐标。