[发明专利]一种基于多模态融合深度学习的物体材质分类方法

说明书

本发明涉及一种基于多模态融合深度学习的物体材质分类方法，属于计算机视觉、人工智能和材质分类技术领域。本发明是基于多模态融合深度学习的物体材质分类方法‑‑一种基于多尺度局部感受野的超限学习机的多模态融合方法。本发明将物体材质的不同模态的感知信息(包括视觉图像、触觉加速度信号和触觉声音信号)进行融合，最终实现物体材质的正确分类。该方法不仅可以利用多尺度局部感受野对现实复杂材质进行高代表性特征提取，而且可以有效融合各个模态信息，实现模态之间信息互补。利用本发明的方法可以提高复杂材质分类的鲁棒性和准确性，使之有更大的适用性和通用性。

技术领域

本发明涉及一种基于多模态融合深度学习的物体材质分类方法，属于计算机视觉、人工智能和材质分类技术领域。

背景技术

大千世界，材质种类繁多，可以分为塑料、金属、陶瓷，玻璃、木材、纺织品、石材、纸、橡胶和泡沫等种类。最近，物体材质分类已经极大地引起社会环保，工业界以及学术界的关注。比如材质的分类可以有效的用于材料的循环利用；包装材料的四大支柱：纸，塑料，金属和玻璃，在不同的市场需求下需要不能材质的包装。对于需要长距离运输但对运输质量无特殊要求，一般选用纸，纸板以及包装箱纸板；对于食品包装应该符合卫生标定，糕点等直接入口食品的包装应使用纸盒纸板，食盐等防光防潮的使用罐装，快餐盒的制造可以使用天然植物纤维；合理使用装饰材料是室内装饰成功的关键。基于上述问题的需求，研究一套能够自动对物体材质分类的方法就显得十分必要。

物体材质分类主流的方法是使用包含丰富信息的视觉图像，但是对于外观极其相似的两个物体仅用视觉图像是不能够区分的。假设有两个物体：一个红色粗糙的纸和一个红色的塑料箔，视觉图像对这两个物体具有较小的区分能力。但是对于上述假设，人脑会本能的将同一物体的不同模态感知特征进行融合，从而达到对物体材质分类的目的。受此启发，要使计算机实现对物体材质的自动分类，可以同时使用物体不同模态信息来进行物体材质分类。

当前也有公开技术用于物体材质分类，如中国专利申请CN105005787A—一种基于灵巧手触觉信息的联合稀疏编码的材质分类。此发明对材质分类仅使用了触觉序列，并未将材质的多种模态信息结合起来。观察到仅使用视觉图像对物体材质分类不能鲁棒地捕获材质特征，如硬度或粗糙度。可以假设当刚性工具拖动或移动到不同物体的表面上时，工具将产生不同频率的振动和声音，因此可以使用与视觉互补的触觉信息来进行物体材质的分类。然而，如何有效地将视觉模态与触觉模态结合仍然是一个具有挑战性的问题。

发明内容

本发明目的是提出一种基于多模态融合深度学习的物体材质分类方法，在基于多尺度局部感受野的超限学习机方法的基础上实现多模态信息融合的物体材质分类，以提高分类的鲁棒性和准确性，并有效地融合物体材质的多种模态信息进行材质分类。

本发明提出的基于多模态融合深度学习的物体材质分类方法，包括以下步骤：

(1)设训练样本个数为N₁，训练样本材质种类为M₁个，记每类材质训练样本的标签为其中1≤M₁≤N₁，分别采集所有N₁个训练样本的视觉图像I₁、触觉加速度A₁和触觉声音S₁，建立一个包括I₁、A₁和S₁的数据集D₁，I₁的图像大小为320×480；