[发明专利]一种场景中异常物品的检测方法及装置

权利要求书

1.一种场景中异常物品的检测方法，其特征在于，所述方法包括：

将场景检测图与场景标准图分别输入到对应的孪生网络的子网络中，分别获得所述场景检测图的特征图与所述场景标准图的特征图；其中，所述孪生网络中的子网络的架构相同；所述场景检测图与场景标准图具有相同的场景标识；

将所述场景检测图的特征图与所述场景标准图的特征图进行融合，得到共同特征图；其中，所述共同特征图具有所述场景检测图与所述场景标准图的所有特征；

采用多个空洞卷积分别与所述共同特征图进行计算得到用目标框圈出的场景中多类物品的子特征图；其中，所述空洞卷积具有两层结构，第一层空洞卷积用于计算得到所述目标框的中心点；第二层空洞卷积用于计算得到所述目标框的宽和高的值；

通过全连接网络从所述场景中多类物品的子特征图中筛选出具有异常物品的子特征图，并计算出所述具有异常物品的子特征图的坐标，并在所述场景检测图中用所述目标框圈出所述异常物品。

2.根据权利要求1所述的方法，其特征在于，所述孪生网络具有两个子网络，所述将场景检测图与场景标准图分别输入到对应的孪生网络的子网络中，分别获得所述场景检测图的特征图与所述场景标准图的特征图，包括：

将场景检测图输入到所述孪生网络的第一子网络中，获得所述场景检测图的特征图，将场景标准图输入到所述孪生网络的第二子网络中，获得所述场景标准图的特征图。

3.根据权利要求1所述的方法，其特征在于，所述孪生网络具有三个子网络，所述将场景检测图与两张场景标准图分别输入到对应的孪生网络的子网络中，分别获得所述场景检测图的特征图与所述两张场景标准图的特征图，包括：

将场景检测图输入到所述孪生网络的第一子网络中，获得所述场景检测图的特征图，将第一场景标准图输入到所述孪生网络的第二子网络中，获得所述第一场景标准图的特征图；将第二场景标准图输入到所述孪生网络的第三子网络中，获得所述第二场景标准图的特征图。

4.根据权利要求1所述的方法，其特征在于，所述场景中多类物品，包括：

在商场通道场景中，所述多类物品包括人、门、灭火器、警示牌和异常物品；其中，所述异常物品为在物理空间中相邻且没有分隔的除人、门、灭火器和警示牌以外的物品。

5.根据权利要求4所述的方法，其特征在于，所述多类物品的采集方法，还包括：

采集场景标准图；

在所述场景中放入新的物品，采集对应的场景检测图，并将所述新的物品标记为异常物品；其中，所述场景为除商场通道以外的场景。

6.根据权利要求1所述的方法，其特征在于，所述孪生网络中的子网络由残差网络与特征金字塔网络构成骨干网络。

7.根据权利要求1所述的方法，其特征在于，所述将所述场景检测图的特征图与所述场景标准图的特征图进行融合，得到共同特征图，包括：

将所述场景检测图的特征图与所述场景标准图的特征图沿通道数进行堆叠；

将堆叠后得到的特征图与卷积核进行运算，得到所述共同特征图；其中，所述卷积核的大小为3x3、步长为1、数量为通道数一半。

8.根据权利要求1所述的方法，其特征在于，所述采用多个空洞卷积分别与所述共同特征图进行计算得到用目标框圈出的场景中多类物品的子特征图，包括：

采用扩张率分别为0、1和2的三个空洞卷积分别与所述共同特征图进行计算得到三个预目标框；

将所述三个预目标框进行堆叠，并压缩得到一个目标框；

用所述目标框圈出的场景中多类物品的子特征图。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述方法还包括：

采用所述具有异常物品的子特征图的坐标作为反馈信号，调整所述空洞卷积中的第一层结构。

10.一种场景中异常物品的检测装置，其特征在于，所述装置包括：

孪生网络特征提取单元、孪生网络特征融合单元、空洞卷积计算单元与异常物品检测单元；

所述孪生网络特征提取单元，用于将场景检测图与场景标准图分别输入到对应的孪生网络的子网络中，分别获得所述场景检测图的特征图与所述场景标准图的特征图；其中，所述孪生网络中的子网络的架构相同；所述场景检测图与场景标准图具有相同的场景标识；

所述孪生网络特征融合单元，用于将所述场景检测图的特征图与所述场景标准图的特征图进行融合，得到共同特征图；其中，所述共同特征图具有所述场景检测图与所述场景标准图的所有特征；

所述空洞卷积计算单元，用于采用多个空洞卷积分别与所述共同特征图进行计算得到用目标框圈出的场景中多类物品的子特征图；其中，所述空洞卷积具有两层结构，第一层空洞卷积用于计算得到所述目标框的中心点；第二层空洞卷积用于计算得到所述目标框的宽和高的值；

所述异常物品检测单元，用于通过全连接网络从所述场景中多类物品的子特征图中筛选出具有异常物品的子特征图，并计算出所述具有异常物品的子特征图的坐标，并在所述场景检测图中用所述目标框圈出所述异常物品。