[发明专利]一种强遮挡条件下洗衣机内衣物类型的深度判别方法

说明书

本发明公开了一种强遮挡条件下洗衣机内衣物类型的深度判别方法，属于智能制造及人工智能技术领域。本发明通过设计一个基于图像的目标检测网络完成洗衣机内衣物类型的检测，且针对洗衣机内衣物存在强遮挡的情况，提出一种基于双向多尺度融合的区域生成网络，通过多尺度特征的正向与方向融合，实现不同层特征间的信息交流，提高检测网络对目标尺度变化的适应性。

技术领域

本发明涉及一种强遮挡条件下洗衣机内衣物类型的深度判别方法，属于智能制造及人工智能技术领域。

背景技术

传统洗衣机不具有“慧眼”功能，洗衣者需要人为根据已知衣物类型，通过自身经验值设置洗衣模式；恩智浦半导体在德国纽伦堡举行的全球嵌入式系统展会上展出其采用了RFID和NFC技术的智能洗衣机演示机型，洗衣机可以从内置RFID标签的钮扣中读取有关织物纤维类型及颜色等信息，优化洗涤程序，但该项技术需要对衣物进行改造；深圳大学曾磐等人(曾磐.基于深度学习的智能洗衣机系统构建[D].深圳大学,2017.)在洗衣机内部放置一个高清摄像头，通过该摄像头采集到待洗衣物的图像，将问题转化成图像分割和纹理图像分类领域的问题，通过设计一个基于卷积神经网络的图像分割算法和纹理图像分类算法，得出洗衣机内部衣物量和衣物的材质信息；但该方案需设计两个深度卷积神经网络，分别为图像分割网络和图像分类网络，且衣物为人为规则摆放，并非在洗衣机内环境下各类衣物相互遮挡的自然状态。

发明内容

为了解决上述至少一个问题，本发明利用洗衣机内拍摄的图片，将其转化为目标检测问题，通过对传统目标检测网络Faster-R-CNN做出改进，提供了一种强遮挡条件下洗衣机内衣物类型的深度判别方法。

本发明主要是通过设计一个基于图像的目标检测网络完成洗衣机内衣物类型的检测，且针对洗衣机内衣物存在强遮挡的情况，提出一种基于双向多尺度融合的区域生成网络，通过多尺度特征的正向与方向融合，实现不同层特征间的信息交流，提高检测网络对目标尺度变化的适应性。

本发明能在各种类型衣物混合、相互遮挡的洗衣环境下完成桶内衣物类型的精确判别。

本发明的第一个目的是提供了一种强遮挡条件下洗衣机内衣物类型的深度判别方法，操作步骤如下：

S01：训练基于双向多尺度融合区域生成网络的目标检测网络(BMS-R-CNN)；

S02：将测试衣物图片输入BMS-R-CNN，得到测试图片中衣物类型检测结果。

在一种实施方式中，所述的衣物类型为毛衣、衬衫、羽绒服、牛仔、文胸和户外服中的一种或几种。

可选的，所述的检测方式具体为：

S01：在现有目标检测网络Fast-R-CNN的基础上，设计基于双向多尺度融合的区域生成网络(BMS-RPN)代替原区域生成网络(RPN)，使用训练衣物数据{(I_k,y_k)}_{k＝1,2,...,M}对目标检测网络进行端到端训练，获得基于双向多尺度融合区域生成网络的目标检测网络(BMS-R-CNN)，其中(I_k,y_k)为第k个衣物样本的图像及标定数据，I_k为第k个图像样本，y_k＝{[c_i,x_i,y_i,w_i,h_i]}_i＝1,2,..,T为第k个样本的标定数据，T为该样本中目标的个数，[c_i,x_i,y_i,w_i,h_i]表示该样本中第i个目标的类型以及在图像中的位置，x_i,y_i为该目标框的左上角坐标，w_i,h_i为该目标框的宽和高，M为训练图像个数；