[发明专利]一种数据处理方法、系统、存储介质及电子设备

说明书

本发明公开了一种数据处理方法、系统、存储介质及电子设备，对获取到的原始数据进行转换，得到内置标签数据，原始数据由数据仓库中的表构成，内置标签数据由原始数据转换成包含用户属性的表构成，采用类MapReduce模型的计算框架对内置标签数据和外置标签数据进行标签位图构建与计算，得到人群位图。通过上述方案，读取外置标签数据，即外部异构数据源后，通过扩展类MapReduce模型的计算框架使其支持位图构建与计算，通过SQL语言与扩展后的类MapReduce模型的计算框架进行整合，使位图构建与计算的过程中可通过SQL语言调用，使得外部异构数据源参与到人群位图构建的过程中，降低生成人群位图方式的局限性。

技术领域

本发明涉及位图处理技术领域，更具体地说，涉及一种数据处理方法、系统、存储介质及电子设备。

背景技术

人群位图的构建通常用于在用户画像系统中。在用户画像系统中，用户通过不同标签之间的组合(如性别，民族等)生成一个筛选条件，并根据该筛选条件获取数据库中符合该条件的用户集合。

目前，用户画像系统的标签生成主要由大数据平台完成，而人群生成则是由支持位图计算的外部数据库完成。由于标签系统有大量的业务方(使用方)的自定义标签，自定义标签不同于系统内部的标签只存在于大数据平台中，自定义标签是根据业务方使用的技术不同散落在业务方的存储中，如MongoDB、HBase、MySQL等数据库，或者是业务方的大数据平台。而上述这些数据库很难与位图计算的外部异构数据库进行直接的交互。

自定义的标签很难融入到上述的数据流中参与人群位图计算，使得自定义的标签很难与用户画像系统的内置标签进行组合筛选，只能通过内置标签生成人群位图，从而限制了生成人群位图的方式。

因此，现有生成人群位图方式的局限性高。

发明内容

有鉴于此，本发明公开了一种数据处理方法、系统、存储介质及电子设备，实现降低生成人群位图方式的局限性的目的。

为了实现上述目的，其公开的技术方案如下：

本发明第一方面公开了一种数据处理方法，所述方法包括：

对获取到的原始数据进行转换，得到内置标签数据，所述原始数据由数据仓库中的表构成，所述内置标签数据由所述原始数据转换成包含用户属性的表构成；

采用类MapReduce模型的计算框架，对所述内置标签数据和获取到的用户自定义的外置标签数据进行标签位图处理操作，得到人群位图。优选通过预设的SQL语言和预设的类MapReduce模型的计算框架进行上述操作。

优选的，所述对获取到的原始数据进行转换，得到内置标签数据，包括：

通过预设转换脚本，对获取到的原始数据进行转换，得到内置标签数据。

优选的，获取用户自定义的外置标签数据的过程，包括：

通过预设计算框架，获取用户自定义的外置标签数据。

优选的，采用类MapReduce模型的计算框架，对所述内置标签数据和获取到的用户自定义的外置标签数据进行标签位图处理操作，得到人群位图，包括：

对类MapReduce模型的计算框架创建第一类扩展和第二类扩展；

通过预设的SQL语言和所述第一类扩展，对所述内置标签数据和获取到的用户自定义的外置标签数据进行位图构建，得到待处理位图；

通过预设的SQL语言和所述第二类扩展，对所述待处理位图进行位运算，得到人群位图。

本发明第二方面公开了一种数据处理系统，所述系统包括：