[发明专利]一种多源异构数据的处理方法、装置、介质及电子设备

说明书

本公开实施例公开了一种多源异构数据的处理方法、装置、介质及电子设备。该方法包括：确定原始房源数据中的原始房源特征；基于所述原始房源特征对所述原始房源数据进行数据聚合处理，根据聚合结果确定所述原始房源数据中的第一真实房源数据；基于所述原始房源特征对所述第一真实房源数据进行数据清洗处理，根据清洗结果确定所述第一真实房源数据中的第二真实房源数据；将所述第二真实房源数据中的原始房源特征映射为标准房源特征，基于所述标准房源特征得到第一标准房源数据，实现对不同来源的房源数据进行去重、校验和标准化处理，以统一的格式向用户展示处理后的房源数据。

技术领域

本公开实施例涉及计算机技术领域，尤其涉及一种多源异构数据的处理方法、装置、介质及电子设备。

背景技术

随着互联网技术的发展，网络提供给用户的信息越来越丰富。例如，用户可以通过网络平台浏览房产信息，从而满足租房或买房的需求。

以二手房交易领域为例，存在多个提供二手房源信息的房产中介，每个房产中介可能有自己的房源系统用于展示房源信息。由于每个房产中介的房源系统可能采用不同的数据存储格式进行数据存储，因此，如何联合不同数据来源的房源数据，并且向用户提供统一格式的二手房的房源数据，是目前亟待解决的技术问题。

发明内容

本公开实施例提供一种多源异构数据的处理方法、装置、介质及电子设备，可以将不同来源且不同格式的房源数据以统一的格式向用户展示。

第一方面，本公开实施例提供了一种多源异构数据的处理方法，包括：

确定原始房源数据中的原始房源特征；

基于所述原始房源特征对所述原始房源数据进行数据聚合处理，根据聚合结果确定所述原始房源数据中的第一真实房源数据；

基于所述原始房源特征对所述第一真实房源数据进行数据清洗处理，根据清洗结果确定所述第一真实房源数据中的第二真实房源数据，其中，所述数据清洗处理是确定并删除异常房源数据的过程，所述异常房源数据的至少一个房源特征不符合预设数据清洗规则，所述房源特征是所述原始房源特征或标准房源特征；

将所述第二真实房源数据中的原始房源特征映射为标准房源特征，基于所述标准房源特征得到第一标准房源数据。

上述方案中，可选的是，基于所述原始房源特征对所述原始房源数据进行数据聚合处理，根据聚合结果确定所述原始房源数据中的第一真实房源数据，包括：

确定所述原始房源数据的特征向量，根据所述特征向量之间的距离对所述原始房源数据进行分组处理，得到房源集合；

根据预设数据聚合规则确定每个所述房源集合包含的原始房源数据中的第一真实房源数据。

进一步的，确定所述原始房源数据的特征向量，根据所述特征向量之间的距离对所述原始房源数据进行分组处理，得到房源集合，包括：

将所述原始房源特征映射至设定数字区间，得到所述原始房源特征的特征向量；

计算所述特征向量之间的距离；

若所述距离不超过设定第一阈值，则确定参与距离计算的特征向量对应的原始房源数据属于同一房源集合；

若所述距离超过设定第一阈值，则确定参与距离计算的特征向量对应的原始房源数据属于不同房源集合。

上述方案中，可选的是，基于所述原始房源特征对所述第一真实房源数据进行数据清洗处理，根据清洗结果确定所述第一真实房源数据中的第二真实房源数据，包括：

将每个所述第一真实房源数据的所述原始房源特征与预设数据清洗规则进行匹配；

根据匹配结果确定所述原始房源特征符合所述预设数据清洗规则的第二真实房源数据。