[发明专利]菜单识别方法、装置、电子设备及存储介质

权利要求书

1.一种菜单识别方法，其特征在于，包括：

获取目标菜单的菜单图像；所述菜单图像中包括文本信息和产品图像；

根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；

根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；

根据所述候选产品名称对所述产品名称进行校正；

其中，所述根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息的步骤，包括：

根据所述菜单图像中的文本信息，确定所述目标菜单中待录入的产品名称；以及，

根据所述菜单图像中的产品图像、所述菜单图像的位置属性其中至少一项，确定校正所述产品名称的辅助信息；

所述菜单图像的位置属性为采集所述菜单图像的地理位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息的步骤，包括：

根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息；

其中，所述根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息的步骤，进一步包括：

将所述菜单图像中文本区域包含的文本信息输入至预设的文本分类模型；

将所述文本分类模型输出的产品类别，确定为校正所述产品名称的辅助信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述菜单图像中的产品图像、所述菜单图像的位置属性其中至少一项，确定校正所述产品名称的辅助信息的步骤，包括：

根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息；

其中，所述根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息的步骤，进一步包括：

通过对所述菜单图像进行版面分析，确定所述菜单图像中与所述产品名称对应的产品图像；

通过对所述产品图像进行分类识别，确定所述产品图像对应的产品名称和/或产品类别；

当对所述产品图像进行分类识别得到的分类结果中包括产品类别时，将所述产品类别作为校正所述产品图像对应的所述产品名称的辅助信息；

当对所述产品图像进行分类识别得到的分类结果中仅包括产品名称时，将分类识别得到的所述产品名称作为校正所述产品图像对应的所述产品名称的辅助信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述菜单图像中的产品图像、所述菜单图像的位置属性其中至少一项，确定校正所述产品名称的辅助信息的步骤，包括：

根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息；

其中，根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息的步骤，进一步包括：

根据所述菜单图像的位置属性，确定所述位置属性对应的商家；

将所述商家关联的产品类别，作为校正所述菜单图像上的所述产品名称的辅助信息。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称的步骤之前，还包括：

当确定的所述辅助信息中包括根据所述菜单图像的至少两项信息确定的辅助信息时，按照预设融合策略对根据所述至少两项信息确定的辅助信息进行融合处理，其中，所述预设融合策略包括以下任意一项或多项：

根据确定的所述辅助信息的置信度分别择优选择所述至少两项信息中每项信息对应的预设数量的辅助信息；

取根据所述至少两项信息确定的辅助信息的交集中的辅助信息；

取根据所述至少两项信息确定的辅助信息的并集中的辅助信息。