[发明专利]图文匹配结果确定方法、装置、电子设备及可读存储介质

说明书

本公开提供了一种图文匹配结果确定方法、装置、电子设备及可读存储介质。包括：获取目标业务方，及与所述目标业务方关联的目标图像；根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。本公开能够提升图文匹配的泛化性及图文匹配判断的有效性。

技术领域

本公开的实施例涉及图文匹配技术领域，尤其涉及一种图文匹配结果确定方法、装置、电子设备及可读存储介质。

背景技术

随着科学技术的发展及经济水平的提升，越来越多的用户会通过订单平台完成各种用品的购买，如餐饮、衣物、家具等等。

目前，在大多数订单平台的网页推荐中，商家是以商家名称，图片的二元组形式展现给用户，图文展示形式可以给用户直观的视觉感知。但是，也存在部分的商家名称与图片展示的内容不一致的问题，例如，某商家的名称为“xxx烤鸭店”，而在订单平台内展现的图片中显示的是蛋炒饭等，此种情况会使用户产生迷惑心理，影响用户的购买判断，降低了用户的体验。

为了保证图文一致性，目前常用的解决方式为应用语义信息并结合实体关联关系来解决图文匹配问题，然而实体关联关系的确定强依赖于人工定义和历史数据，泛化性差，也不可避免地影响图文匹配判断的有效性。

发明内容

本公开的实施例提供一种图文匹配结果确定方法、装置、电子设备及可读存储介质，用以提升图文匹配的泛化性，且提高图文匹配判断的有效性。

根据本公开的实施例的第一方面，提供了一种图文匹配结果确定方法，包括：

获取目标业务方，及与所述目标业务方关联的目标图像；

根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；

基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；

在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。

可选地，所述根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果，包括：

对所述业务方名称进行实体识别处理，得到所述业务方名称对应的第一实体识别结果；

对所述目标图像中包含的目标业务对象进行实体识别处理，得到所述目标图像对应的第二实体识别结果；

根据实体关联列表，获取所述第一实体识别结果和所述第二实体识别结果的语义关联关系；

根据所述语义关联关系，确定所述第一图文匹配结果。

可选地，所述基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，包括：

将所述业务方名称和所述目标图像输入至所述图文相关性模型；

调用所述图文相关性模型获取所述业务方名称对应的第一向量，及所述目标图像对应的第二向量，并根据所述第一向量和所述第二向量，计算得到所述业务方名称和所述目标图像的相关性分值。

可选地，在所述根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果之后，还包括：