[发明专利]一种数据导入的方法、装置和存储介质

说明书

本发明实施例提供了一种数据导入的方法、装置和存储介质，所述方法包括：接收待导入的数据，所述待导入的数据包括待导入条目；根据所述待导入条目，获取本地数据库中的候选条目；对所述待导入条目与所述候选条目进行比对，获得比对结果，所述比对结果包括属性匹配结果及其置信度；识别所述属性匹配结果及其置信度，以确定匹配条目；将所述匹配条目导入所述本地数据库，方便了在将外部数据源中的数据导入本地数据库时的处理过程，增加了能够获取确切匹配结果的条目数量并保证了数据之间的匹配性，有利于实现对本地数据库的扩充。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据导入的方法、一种数据导入的装置和一种存储介质。

背景技术

互联网票务平台集媒体内容、在线购票、用户互动社交、衍生品销售等功能于一体，能够为用户提供一站式的服务。例如，用户可以在该平台上查阅电影信息、购买电影票及文化产品、撰写影评等等。

互联网票务平台的数据库中收录有电影或电视剧的大量信息，为了实现对该数据库的扩充，经常需要导入外部数据源，以对数据库中的信息作进一步的完善。以电影影人数据库为例，在扩充该数据库时需要抓取其他网站的电影影人条目，再导入本地的影人数据库中。在导入过程中，需要判断待导入条目是否已经存在于本地数据库中。如果已经存在，则可以将该条目与匹配到的本地条目的属性值进行合并，如果不存在，则可以将该条目作为新增条目加入到本地数据库中。

在将待导入条目和本地条目的属性进行合并时，现有技术中主要是针对待导入条目与本地条目之间的各个属性进行简单的语义判断，并产生两种结果，一种是相同，另一种则是不同。只有当各个属性完全相同时，才认为待导入条目与本地条目匹配。

但是，在现实的数据中，存在很多缺失值和模糊值，根本无法准确地用相同或不同两种结果来衡量。此外，对于某些脏数据，按照现有技术中的匹配或导入方法也无法解决。例如，在某些数据源中，电影的上映日期条目可能是错误的，但该电影的影片名、导演、简介，以及演员等条目的内容都相同，按照现有技术的处理方式，则无法将上述影片名、导演、简介，以及演员等条目的正确内容导入到本地数据库中。由于存在上述种种无法处理的情况，就会导致能够得到确切匹配结果的条目较少，不利于对本地数据库的扩充。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据导入的方法、一种数据导入的装置和相应的一种存储介质。

为了解决上述问题，本发明实施例公开了一种数据导入的方法，包括：

接收待导入的数据，所述待导入的数据包括待导入条目；

根据所述待导入条目，获取本地数据库中的候选条目；

对所述待导入条目与所述候选条目进行比对，获得比对结果，所述比对结果包括属性匹配结果及其置信度；

识别所述属性匹配结果及其置信度，以确定匹配条目；

将所述匹配条目导入所述本地数据库。

可选地，所述根据所述待导入条目，获取本地数据库中的候选条目的步骤包括：

确定所述待导入条目的多个基本属性；

提取本地数据库中包含所述待导入条目的至少一个基本属性的候选条目。

可选地，所述对所述待导入条目与所述候选条目进行比对，获得比对结果的步骤包括：

确定所述候选条目的多个基本属性；

逐个比对所述待导入条目和所述候选条目的多个基本属性，生成属性匹配结果及其置信度。

可选地，所述属性匹配结果的置信度通过如下方式确定：

确定所述属性匹配结果是否冲突；