[发明专利]一种数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括如下步骤：

利用数据同步工具将数据仓库确定的待处理数据同步至数据库；

利用预设工具从所述数据库中获取所述待处理数据并推送至消息中间件；

从所述消息中间件获取所述待处理数据，根据图谱关系将所述待处理数据转换成目标格式的图库数据，并将所述图库数据写入目标图数据库；

其中，所述目标格式的图库数据包括RDF格式数据，目标图数据库包括DGraph图数据库；

所述从所述消息中间件获取所述待处理数据，根据图谱关系将所述待处理数据转换成目标格式的图库数据，并将所述图库数据写入目标图数据库，包括：

设置基于java代码开发数据处理应用程序，所述数据处理应用程序接收到所述消息中间件推送过来的消息后，对所述消息进行解析，获取所述待处理数据；

根据业务方之前提供的图概念的数据模型进行加工处理，整理成为所述DGraph图数据库可以识别的RDF格式的图库数据，最后通过调用所述DGraph图数据库的GRPC接口，将图库数据写进所述DGraph图数据库；

其中，所述利用数据同步工具将数据仓库确定的待处理数据同步至数据库，包括：

根据业务增量数据的时间维度设置ETL的定时任务，抽取出数据仓库中的待处理数据，通过预设的业务数据模型进行数据清洗，将清洗后的数据写进图谱对接业务方的通用数据模型的Mysql表中。

2.根据权利要求1所述的数据处理方法，其特征在于，所述待处理数据包括增量数据，所述方法还包括数据仓库确定待处理数据的过程，包括：

接收业务数据，将所述业务数据与对应的原数据进行比较，确定出增量数据。

3.根据权利要求2所述的数据处理方法，其特征在于，所述业务数据至少包括业务方录入的数据、利用爬虫技术获取的数据以及从其他数据源获取的数据中的一种。

4.根据权利要求1或2所述的数据处理方法，其特征在于，所述利用预设工具从所述数据库中获取所述待处理数据并推送至消息中间件包括：

预设工具向所述数据库发送数据请求，接收所述数据库根据所述数据请求返回的待处理数据，将所述待处理数据推送至消息中间件。

5.根据权利要求1或2所述的数据处理方法，其特征在于，所述将所述图库数据写入目标图数据库包括：

获取所述目标图数据库中所有可用机器信息，根据预设规则确定执行所述图库数据的写入操作的目标机器。

6.一种用于实现权利要求1所述方法的数据处理装置，其特征在于，所述装置包括：

数据同步模块，用于利用数据同步工具将数据仓库确定的待处理数据同步至数据库；

数据转发模块，用于利用预设工具从所述数据库中获取所述待处理数据并推送至消息中间件；

数据转换模块，用于从所述消息中间件获取所述待处理数据，根据图谱关系将所述待处理数据转换成目标格式的图库数据；

数据写入模块，用于将所述图库数据写入目标图数据库。

7.根据权利要求6所述的数据处理装置，其特征在于，所述装置还包括：

数据比较模块，用于接收业务数据，将所述业务数据与对应的原数据进行比较，确定出增量数据。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。