[发明专利]神经网络训练方法、目标检测方法、设备、介质及产品

说明书

本申请公开了一种神经网络训练方法、目标检测方法、设备、介质及产品，涉及计算机技术领域，该方法包括：接收从目标检测场景中采集的验证图片集，并生成验证图片集中各图片的特征图，其中，各图片标注的数据类型包括检测框和多个关键点，计算出各个特征图的多个预测关键点以及关键点得分；在根据标注数据和所述关键点得分确定特征图具有预测关键点后获得关键点回归结果，根据关键点回归结果获得的图像检测结果和标注数据调整神经网络的结构参数。本申请通过训练神经网络学习验证图片集中同时标注了检测框和关键点的图片数据，来判断神经网络预测的关键点是否可靠，确保了在当前检测任务框架中对检测效果的提升。

技术领域

本申请涉及到计算机技术领域，具体而言，涉及一种神经网络训练方法、目标检测方法、设备、介质及产品。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。不应以此处的描述包括在本部分中就承认是现有技术。

在城市场景和工业场景中，基于检测框的传统目标检测算法结果已经无法满足复杂精细的任务需求，而且，这种传统目标检测算法只能提供物体在像素坐标系或者相机坐标系中的包围框的二维坐标值，无法获得检测目标是否放置在某个平面上，也无法获得检测目标的姿态和朝向，而在实际应用中，这些信息至关重要，甚至是算法在服务场景落地的核心需求——譬如车辆与停泊车位的重叠判断，工件在世界坐标系中的3D坐标等。

为满足复杂精细的目标检测需求，一些直观的解决思路是利用激光雷达、双目相机、ToF摄像头(ToF的全称为Time of Flight)等设备来获取除了2D信息以外的深度信息，利用2D信息和深度信息来相互辅助来实现判断物体在真实世界坐标系中的位置和姿态。然而在物联网IoT领域的实际应用场景，将这些深度采集设备带进去后的解决方案价格高昂，会极大降低产品本身的竞争力，针对原来已经购买城市和工业纯视觉解决方案的客户无法进行软件升级。而目前满足复杂精细的检测需求的基于检测框加关键点的目标检测算法，又需要对所有图片标注一遍关键点，这将会花费非常高昂的人工成本和投入资金，若在未标注关键点的情况下，目标检测神经网络容易误判剔除实际具有关键点的图像数据，如在实际3D检测应用中，由于遮挡案例仅有稳定的检测框但是没有完整的关键点，目标检测神经网络在遇到大量遮挡案例时，就无法为后续的决策算法输出稳定的感知结果。

可见，现亟需提供一种解决目标检测核心算法满足复杂精细化检测任务需求的同时，还能满足存量客户的2D检测需求。

发明内容

本申请实施例提供了一种神经网络训练方法、目标检测方法、设备、介质及产品，以至少解决现有技术中，在对所有图片标注一遍关键点时，需要花费的人工成本和资金都非常高昂的问题。

根据本申请的一个方面，还提供了一种神经网络训练方法，包括：

接收从目标检测场景中采集的标注有标注数据的验证图片集，并生成所述验证图片集中各图片的特征图，其中，所述标注数据标注的数据类型包括检测框和多个关键点；

计算出各个所述特征图的多个预测关键点，以及所述预测关键点的关键点得分；

根据所述标注数据和所述关键点得分，确定所述特征图的中心点位置处具有所述预测关键点的概率；

在根据所述概率判断出所述中心点位置处具有所述预测关键点时，根据标注的所述关键点对所述预测关键点进行关键点回归处理，获得关键点回归结果，所述关键点回归结果用于指示所述预测关键点相对所述中心点位置的偏移量；

根据所述关键点回归结果对所述特征图进行图像处理，获得各图片的图像检测结果，并根据所述图像检测结果和所述标注数据调整神经网络的结构参数。

在其中的一些实施例中，根据所述标注数据和所述关键点得分，确定所述特征图的中心点位置处具有所述预测关键点的概率的步骤包括：