[发明专利]多模态零件信息识别方法、装置、设备和计算机可读介质

说明书

本公开的实施例公开了多模态零件信息识别方法、装置、设备和计算机可读介质。该方法的一具体实施方式包括：响应于检测到作用于图像导入控件的选择操作，获取零件图像组集；对零件图像组集中各个零件图像组包括的零件图像进行文字识别，得到零件文字识别结果组集；对零件图像组集和零件文字识别结果组集进行类型检索处理，得到零件类型检索结果集合；在相关联的显示设备上对零件类型检索结果集合中的零件类型检索结果所对应的零件标准三维图进行展示。该实施方式提高了确定零件型号信息的效率。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及多模态零件信息识别方法、装置、设备和计算机可读介质。

背景技术

工作人员组装零件时，通常需要先确定零件型号信息，以挑选出待组装的零件，再进行组装。目前，在挑选出待组装的零件前，通常确定零件型号信息的方式为：工作人员根据大量零件图像对零件型号进行辨认，得到零件型号信息。此外，也可以通过对零件图像进行目标识别的方式，以得到零件型号信息。

然而，当采用上述方式确定零件型号信息时，经常会存在如下技术问题：

第一，工作人员辨认的效率较低，此外，通过目标识别的方式无法确认零件尺寸，导致只能确认零件类别，无法确认零件的具体型号，仍需工作人员二次辨认，未能有效提高效率。

第二，对零件图像组集和零件文字识别结果组集进行类型检索处理时，需要对预设零件向量数据库中存储的每个预设零件向量确定相似度，导致确定零件型号信息的效率较低。

第三，根据零件型号信息组装零件后，无法对组装后得到的组件是否正确进行验证，造成无法确认组件是否可以投入实际生产使用。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了多模态零件信息识别方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种多模态零件信息识别方法，该方法包括：响应于检测到作用于图像导入控件的选择操作，获取零件图像组集，其中，上述零件图像组集中的零件图像组对应于同一个零件，上述零件图像组集中零件图像组中的零件图像包括零件文字标注；对上述零件图像组集中各个零件图像组包括的零件图像进行文字识别，得到零件文字识别结果组集；对上述零件图像组集和上述零件文字识别结果组集进行类型检索处理，得到零件类型检索结果集合，其中，上述零件类型检索结果集合中的零件类型检索结果对应于上述零件图像组集中的零件图像组；在相关联的显示设备上对上述零件类型检索结果集合中的零件类型检索结果所对应的零件标准三维图进行展示。

第二方面，本公开的一些实施例提供了一种多模态零件信息识别装置，装置包括：获取单元，被配置成响应于检测到作用于图像导入控件的选择操作，获取零件图像组集，其中，上述零件图像组集中的零件图像组对应于同一个零件，上述零件图像组集中零件图像组中的零件图像包括零件文字标注；识别单元，被配置成对上述零件图像组集中各个零件图像组包括的零件图像进行文字识别，得到零件文字识别结果组集；类型检索单元，被配置成对上述零件图像组集和上述零件文字识别结果组集进行类型检索处理，得到零件类型检索结果集合，其中，上述零件类型检索结果集合中的零件类型检索结果对应于上述零件图像组集中的零件图像组；展示单元，被配置成在相关联的显示设备上对上述零件类型检索结果集合中的零件类型检索结果所对应的零件标准三维图进行展示。

第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。