[发明专利]一种数据处理方法、装置、计算机设备及存储介质

说明书

本发明公开了一种方法、装置、计算机设备及存储介质，该方法包括：利用数据同步工具将数据仓库确定的待处理数据同步至数据库；利用预设工具从所述数据库中获取所述待处理数据并推送至消息中间件；从所述消息中间件获取所述待处理数据，根据图谱关系将所述待处理数据转换成目标格式的图库数据，并将所述图库数据写入目标图数据库。本发明通过图数据库来存储图谱关系的大数据，实现数据的及时更新，从而实现近实时的图谱关系数据在线查找，并且提升在多变的业务场景中的扩展性和性能。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

随着互联网的广泛应用，推动着人工智能的不断发展。人工智能极大的提高了社会生产效率，将人们从繁重的重复劳动中解放出来。人工智能所依赖的知识图谱越来越受到各行各业的关注。然而要构建一个行业或者业务场景的完善的知识图谱，则需要存储庞大的数据量以及数据之间的关系数据。在大数据领域，知识图谱的底层数据平台的构建方案，目前一般都是采用neo4j图库，但是neo4j不支持分布式计算和存储，所以，一方面，在数据量很大的时候，存储上会达到单台机器的上限。另一方面，在多维度查询的时候计算上会受限于单台机器的资源。虽然改用DGraph分布式原生图数据库可以解决分布式问题、单机磁盘存储问题和查询计算的性能问题等，但是，目前现有技术中并没有用于处理增量数据导入的相关工具，因此并不能解决增量数据导入的问题。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据处理方法、装置、计算机设备以及存储介质，以克服现有技术中没有用于处理增量数据导入的相关工具，不能解决增量数据导入等问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

第一方面，提供了一种数据处理方法，该方法包括如下步骤：

利用数据同步工具将数据仓库确定的待处理数据同步至数据库；

利用预设工具从所述数据库中获取所述待处理数据并推送至消息中间件；

从所述消息中间件获取所述待处理数据，根据图谱关系将所述待处理数据转换成目标格式的图库数据，并将所述图库数据写入目标图数据库。

进一步的，所述待处理数据包括增量数据，所述方法还包括数据仓库确定待处理数据的过程，包括：

接收业务数据，将所述业务数据与对应的原数据进行比较，确定出增量数据。

进一步的，所述业务数据至少包括业务方录入的数据、利用爬虫技术获取的数据以及从其他数据源获取的数据中的一种。

进一步的，所述利用数据同步工具将数据仓库确定的待处理数据同步至数据库：

利用数据同步工具定时抽取所述数据仓库中的待处理数据，按照预设数据模型对所述待处理数据进行清洗，将清洗后的待处理数据写进数据库对应的数据表中。

进一步的，所述利用预设工具从所述数据库中获取所述待处理数据并推送至消息中间件包括：

预设工具向所述数据库发送数据请求，接收所述数据库根据所述数据请求返回的待处理数据，将所述待处理数据推送至消息中间件。

进一步的，所述将所述图库数据写入目标图数据库包括：

获取所述目标图数据库中所有可用机器信息，根据预设规则确定执行所述图库数据的写入操作的目标机器。

第二方面，提供了一种数据处理装置，所述装置包括：

数据同步模块，用于利用数据同步工具将数据仓库确定的待处理数据同步至数据库；

数据转发模块，用于利用预设工具从所述数据库中获取所述待处理数据并推送至消息中间件；