[发明专利]多模态零件信息识别方法、装置、设备和计算机可读介质

权利要求书

1.一种多模态零件信息识别方法，包括：

响应于检测到作用于图像导入控件的选择操作，获取零件图像组集，其中，所述零件图像组集中的零件图像组对应于同一个零件，所述零件图像组集中零件图像组中的零件图像包括零件文字标注；

对所述零件图像组集中各个零件图像组包括的零件图像进行文字识别，得到零件文字识别结果组集；

对所述零件图像组集和所述零件文字识别结果组集进行类型检索处理，得到零件类型检索结果集合，其中，所述零件类型检索结果集合中的零件类型检索结果对应于所述零件图像组集中的零件图像组；

在相关联的显示设备上对所述零件类型检索结果集合中的零件类型检索结果所对应的零件标准三维图进行展示；

控制通信连接的拣货机器人在仓库中拣选对应的零件型号与上述零件类型检索结果集合中的零件类型检索结果相同的零件，得到拣选零件集合；

选择对应的零件型号与零件类型检索结果集合中的零件类型检索结果相同的预设零件模型作为待拼接零件，得到待拼接零件模型集合；然后，对上述待拼接零件模型集合中的待拼接零件模型进行拼接，得到组件模型；

根据上述组件模型，生成组件模型三视图；

对上述组件模型三视图进行显示。

2.根据权利要求1所述的方法，其中，所述方法还包括：

根据所述零件类型检索结果集合，控制相关联的拣货机器人对仓库中的零件进行零件拣选处理，得到拣选零件集合；

控制相关联的装配机器人对所述拣选零件集合中的拣选零件进行组装，得到组装后的零件作为组件。

3.根据权利要求1所述的方法，其中，所述对所述零件图像组集中各个零件图像组包括的零件图像进行文字识别，包括：

对所述零件图像组集中各个零件图像组包括的零件图像进行图像二值化处理，得到二值化零件图像组集；

对于所述二值化零件图像组集中每个二值化零件图像组包括的每个二值化零件图像，确定所述二值化零件图像中每个像素的至少一个梯度，得到对应所述二值化零件图像的梯度组集；

将所得到的各个梯度组集中包括的各个梯度均为0的梯度组所对应的像素从对应的二值化零件图像中删除，得到删除处理后的二值化零件图像组集作为待识别图像组集；

对所述待识别图像组集中待识别图像组包括的待识别图像进行文字识别，得到零件文字识别结果组集。

4.根据权利要求1所述的方法，其中，所述对所述零件图像组集和所述零件文字识别结果组集进行类型检索处理，包括：

对所述零件图像组集中零件图像组包括的零件图像进行特征向量提取处理，得到零件图像特征向量组集；

将所述零件文字识别结果组集中零件文字识别结果组包括的零件文字识别结果转换为零件文字向量，得到零件文字向量组集；

对所述零件图像特征向量组集和所述零件文字向量组集中对应于同一零件的零件图像特征向量组和零件文字向量组进行特征融合处理，得到零件特征融合向量，以生成零件特征融合向量集合。

5.根据权利要求4所述的方法，其中，所述对所述零件图像组集和所述零件文字识别结果组集进行类型检索处理，还包括：

对于所述零件特征融合向量集合中的每个零件特征融合向量，执行以下相似度向量确定操作：

确定所述零件特征融合向量和预设零件向量数据库中存储的各个预设零件向量的相似度，得到零件向量相似度集合；

将所述零件向量相似度集合中满足预设相似度条件的零件向量相似度确定为目标零件向量相似度；

将所述目标零件向量相似度对应的预设零件向量确定为目标零件向量；

将所述目标零件向量对应的零件类型确定为零件类型检索结果。

6.根据权利要求1所述的方法，其中，所述方法还包括：

在所述显示设备上对所述零件类型检索结果集合中的零件类型检索结果所对应的零件标准名称和零件标准尺寸进行展示。