[发明专利]基于关键点的关联方法、系统及介质

说明书

本发明涉及图像处理领域，具体涉及基于关键点的关联方法、系统以及介质。旨在解决复杂场景下检测的不同部分如何更准确快速地进行关联，确保关联正确的不同部分的配对属于同一个目标的技术问题。本发明主要针对行人目标的检测识别，根据关联前置条件过滤掉完全不能配对的人头‑人体框对，再通过检测人体框时计算得到人体框的关键点计算人头‑人体框对的关联损失度，利用全局最优匹配算法进行一对一关联而获得关联正确的配对，表示属于同一个行人目标。通过本发明的技术方案，能够降低算法计算量、提高配对准确性，支持多样化密集场景下准确可靠的人头人体关联。

技术领域

本发明涉及图像处理领域，特别是涉及一种基于关键点的关联方法、装置、设备、以及介质。

背景技术

随着人们对公共安全问题的重视以及监控摄像头数量和覆盖程度的快速增加，智能化的安防视频监控发挥着越来越重要的作用。在高质量高性能的安防视频全结构化研究邻域中，为了保持检测器模型的简洁高效性，通常只对视频每帧图像检测的目标框例如人头框和人体框而不设计相应的模型结构进行所属行人目标的人头人体关联操作。因此，在检测器返回检测结果后，需要额外增加一个模块进行目标第一部分和第二部分如人头人体关联操作。

在该研究邻域中，以行人这类目标检测(识别目标)为例，目前普遍的做法是通过计算人头框和人体框的交集面积大小进行关联操作。但在密集行人场景下，该方式的实用性非常差。例如，对于一前一后相互遮挡的两个行人目标，此时检测器返回的结果为一个人体框和两个人头框。仅通过计算人头框和人体框交集面积大小，无法确保正确的关联结果。因此，在高质量高性能的安防视频全结构化研究邻域中，密集场景下的人头人体框关联急需准确可靠的解决方案。

发明内容

本发明针对目前存在的缺陷，提供基于关键点的关联方法、系统及介质，以解决或部分解决如何根据目标组成部分的关键点实现密集场景下目标的不同组成部分的更准确可靠的关联而识别目标的技术问题。

第一方面，本发明提供一种基于关键点的关联方法，包括：将检测到的多个目标的不同组成部分形成配对，根据所述不同组成部分的关键点，计算每一所述配对的关联损失度，所述关联损失度用于表示每个配对内的两个组成部分关联错误的程度；根据所述关联损失度，确定所述配对是否属于同一个目标。

其中，在“所述根据所述不同组成部分的关键点，计算每一所述配对的关联损失度”之前，还包括：判断所述配对是否满足预设的关联前置条件；如果满足，则根据所述不同组成部分的关键点，计算每一所述配对的关联损失度。

其中，所述不同组成部分包括：第一部分和第二部分；将检测到的多个目标的不同组成部分形成配对，具体包括：将每个第一部分与每个第二部分形成两两配对；所述关联前置条件为：每个配对中所述第一部分在水平方向上被所述第二部分所包含的范围大小与所述第一部分的范围大小的比率、以及所述第一部分在垂直方向上被所述第二部分所包含的范围大小与所述第一部分的范围大小的比率，同时都大于或等于预设的第一阈值；或者，每个配对中所述第一部分的顶点位置与第二部分相同的顶点位置之间的距离，与第一部分的宽度或高度的比率大于预设的第二阈值、或者与第二部分的高度的比率，小于预设的第二阈值；或者，每个配对中所述第一部分和所述第二部分的交集的面积，与所述第一部分的面积之间的比率，大于或等于预设的第三阈值。

还包括：在通过基于深度学习的估计模型检测到所述不同组成部分时，同时获得所述不同组成部分的关键点；根据所述不同组成部分的关键点，计算所述配对的关联损失度，具体包括：根据每个配对中所述第二部分的关键点计算基于关键点的连线的中心点，并确定所述连线的中心点是否在对应配对的第一部分中；如果是，则计算所述连线的中心点到所述第一部分的中心点之间的距离，并将该距离作为所述配对的关联损失度；或者，如果是，则计算所述第二部分的关键点与所述第一部分的中心点相对距离或角度，作为所述配对的关联损失度；或者，如果是，则将所述第二部分的关键点和所述第一部分的中心点，输入到深度学习模型中，其计算结果作为所述配对的关联损失度。