[发明专利]整合跨平台商品数据的方法、系统和计算机可读介质

说明书

本发明提供了一种整合跨平台商品数据的方法、系统和计算机可读介质。该方法包括以下步骤：从多个商品平台拉取商品清单数据，存入流处理平台；监听所述流处理平台拉取到的商品清单数据，并将所述商品清单数据存入原始数据库中；对所述商品清单数据进行数据清洗，获得结构化的平台元数据，并存储在结构化数据库中；以及将所述平台元数据与商户数据关联，获得带映射关系的映射元数据，并存储在异构结果数据库中。

技术领域

本发明主要涉及数据处理领域，尤其涉及一种整合跨平台商品数据的方法、系统和计算机可读介质。

背景技术

随着商品订单平台的增多，同一个商户可能需要在多个商品订单平台上经营，每个平台都有自己的商品系统。这些商品系统之家的数据是异构的，难以统一。这给商户处理它自身的商品数据造成了很大困难。

发明内容

本发明要解决的技术问题是提供一种整合跨平台商品数据的方法、系统和计算机可读介质，可以整合多个商品平台的商品数据，以便统一进行分析。

为解决上述技术问题，本发明提供了一种整合跨平台商品数据的方法，包括以下步骤：从多个商品平台拉取商品清单数据，存入流处理平台；监听所述流处理平台拉取到的商品清单数据，并将所述商品清单数据存入原始数据库中；对所述商品清单数据进行数据清洗，获得结构化的平台元数据，并存储在结构化数据库中；以及将所述平台元数据与商户数据关联，获得带映射关系的映射元数据，并存储在异构结果数据库中。

在本发明的一实施例中，对所述商品清单数据进行数据清洗的步骤包括：去除所述商品清单数据中的特殊字符；去除所述商品清单数据中的重复数据；对所述商品清单数据进行一致性检查；根据业务要求过滤所述商品清单数据中的无效数据；以及解析所述商品清单数据中的特殊格式，以获得所述结构化的平台元数据。

在本发明的一实施例中，将所述平台元数据与商户数据关联，获得带映射关系的映射元数据的步骤包括：a.判断当前商品是否存在映射的本地商品标识，如果存在则结束，否则进入步骤b；b.判断所述当前商品是否支持外部商品标识，如果是，如果则进入步骤c，否则进入步骤d；c.判断所述当前商品是否已配置外部商品标识，如果是则进入步骤e，否则进入步骤d； d.根据关键字搜索相关本地商品标识，将所述当前商品与搜索到的本地商品标识关联。

在本发明的一实施例中，将所述平台元数据与商户数据关联，获得带映射关系的映射元数据的步骤还包括：当所述步骤d中未搜索到相关本地商品标识时，生成包括未映射商品的异常事件；将所述异常事件提醒用户。

在本发明的一实施例中，将所述平台元数据与商户数据关联，获得带映射关系的映射元数据的步骤还包括：接收用户对未映射商品与本地商品标识的人工绑定。

在本发明的一实施例中，根据关键字搜索相关本地商品标识的方法包括确定有穷自动机算法。

在本发明的一实施例中，对所述商品清单数据进行一致性检查的步骤包括：根据每个变量的合理取值范围和相互关系，检查商品清单数据是否符合要求。

在本发明的一实施例中，上述方法还包括利用所述异构结果数据库中的映射元数据对所述商品清单数据进行聚合分析。

本发明的另一方面提出一种整合跨平台商品数据的系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的方法。

本发明的另一方面提出一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。

与现有技术相比，本发明在获取多个商品平台的商品数据后，通过数据清洗、建立映射关系等步骤，抽象出统一的商品整合系统，从而能在此基础上进行统一分析，大幅提高了商户的数据处理效率。

附图说明