[发明专利]用于直接从图像识别实体的系统和方法

权利要求书

1.一种计算机实施的方法，所述方法包括：

由一个或多个计算设备并且从多个图像中识别描绘实体的一个或多个图像；

由一个或多个计算设备确定与描述实体的一个或多个图像相关联的定位信息；

由一个或多个计算设备并且至少部分地基于与描绘实体的一个或多个图像相关联的定位信息从实体目录中识别一个或多个候选实体简档；

由一个或多个计算设备提供描绘实体的一个或多个图像和一个或多个候选实体简档作为机器学习模型的输入，所述机器学习模型包括神经网络和至少一个递归神经网络，所述神经网络包括深度卷积神经网络(CNN)，所述至少一个递归神经网络包括长短期记忆网络(LSTM)，所述CNN被配置为接收指示描述实体的一个或多个图像的数据，从描述实体的一个或多个图像提取特征，并向LSTM提供指示所提取特征的数据，所述LSTM被配置为接收指示一个或多个候选实体简档的数据，从一个或多个候选实体简档获得文本相关信息，并将来自候选实体简档的结构化信息的至少一部分建模为字符序列，使得可以确定提取的特征和来自候选实体简档的数据之间的匹配分数；

由一个或多个计算设备生成机器学习模型的一个或多个输出，每个输出包括与至少一个候选实体简档和描绘实体的图像相关联的匹配分数；以及

由一个或多个计算设备至少部分地基于机器学习模型的一个或多个生成的输出来更新实体目录。

2.如权利要求1所述的计算机实施方法，还包括：

由一个或多个计算设备从用户设备接收指示对访问与实体相关联的信息的用户请求的数据；并且

由一个或多个计算设备至少部分地基于更新的实体目录向用户设备提供所请求的信息。

3.如权利要求1所述的计算机实施方法，其中生成至少一个匹配分数而无需明确地转录在对应图像中描绘的文本。

4.如权利要求1所述的计算机实施方法，其中每个匹配分数提供图像中描绘的实体与候选实体简档相对应的置信度。

5.如权利要求1所述的计算机实施方法，还包括：

由一个或多个计算设备将每个匹配分数与匹配阈值比较；并且

当与特定候选实体简档和描绘实体的图像相关联的匹配分数大于匹配阈值时，由一个或多个计算设备将所述实体与所述特定候选实体简档相关联。

6.如权利要求5所述的计算机实施方法，还包括，当与特定候选实体简档和描绘实体的图像相关联的匹配分数大于匹配阈值时，将描绘实体的一个或多个图像中的至少一个图像与特定候选实体简档相关联。

7.如权利要求1所述的计算机实施方法，其中识别一个或多个候选实体简档包括：

由一个或多个计算设备访问实体目录，所述实体目录包括多个实体简档；并且

由一个或多个计算设备至少部分地基于与描绘实体的一个或多个图像相关联的定位信息过滤实体目录以识别一个或多个候选实体简档。

8.如权利要求1所述的计算机实施方法，还包括：

由一个或多个计算设备获得具有验证的关联实体信息的多个训练图像；并且

由一个或多个计算设备至少部分地基于多个训练图像和验证的关联实体信息训练机器学习模型。

9.如权利要求8所述的计算机实施方法，其中由一个或多个计算设备训练机器学习模型包括至少部分地基于多个训练图像和验证的关联实体信息调整机器学习模型。

10.如权利要求1所述的计算机实施方法，其中更新实体目录包括至少部分地基于机器学习模型的一个或多个生成的输出修改至少一个实体简档。

11.如权利要求1所述的计算机实施方法，其中更新实体目录包括至少部分地基于机器学习模型的一个或多个生成的输出创建新的实体简档。

12.如权利要求1所述的计算机实施方法，其中所述实体是企业，并且其中所述至少一个候选实体简档包括与企业相关联的数据。