[发明专利]数据准实时分发方法、装置、设备及存储介质

说明书

本申请涉及数据同步技术领域，揭示了一种数据准实时分发方法、装置、设备及存储介质，其中方法包括：通过后端系统，将待落库的数据存储到目标数据库，生成落库成功信号；通过后端系统的异步线程管理模块，根据落库成功信号生成异步线程得到目标异步线程；通过目标异步线程，根据目标数据库中的待落库的数据分别进行标签生成和数据包封装得到待推送的标签和待推送的数据包，将待推送的标签和待推送的数据包作为关联数据推送给目标Kafka；通过消费服务系统，根据目标Kafka中的待推送的标签和目标数据分发配置数据，对目标Kafka中的待推送的数据包进行分发。实现了数据的准实时分发，使数据输出实现了最小化原则。

技术领域

本申请涉及到数据同步技术领域，特别是涉及到一种数据准实时分发方法、装置、设备及存储介质。

背景技术

随着数字化应用推广，内容数据及埋点数据需要被其他应用系统准实时使用到。目标采用Sqoop(用来将Hadoop和关系型数据库中的数据相互转移的工具)根据关系型数据实时同步的方案，该方案存在以下问题：(1)Sqoop无法做到准实时，而且一旦授权，第三方应用将获取整张数据表的数据的读权限，无法做到数据输出最小化原则，影响了数据安全；(2)关系型数据在实时同步，将浪费数据库链接数资源，因埋点数据的数据表的数据量巨大，同步时查询很容易引起数据库CPU或内存使用过高，影响了应用服务业务，同时也存在数据表一旦授权同步用户，无法做到数据输出最小化原则，影响了数据安全。

发明内容

本申请的主要目的为提供一种数据准实时分发方法、装置、设备及存储介质，旨在解决现有技术采用Sqoop根据关系型数据实时同步的方案，无法做到准实时，无法做到数据输出最小化原则的技术问题。

为了实现上述发明目的，本申请提出一种数据准实时分发方法，所述方法包括：

通过后端系统，获取目标应用发送的数据推送请求，所述数据推送请求携带有待落库的数据；

通过所述后端系统，响应所述数据推送请求，将所述待落库的数据存储到目标数据库，生成落库成功信号；

通过所述后端系统的异步线程管理模块，根据所述落库成功信号生成异步线程，得到目标异步线程；

通过所述目标异步线程，根据所述目标数据库中的所述待落库的数据分别进行标签生成和数据包封装，得到待推送的标签和待推送的数据包；

通过所述目标异步线程，将所述待推送的标签和所述待推送的数据包作为关联数据推送给目标Kafka；

通过消费服务系统，获取目标数据分发配置数据，根据所述目标Kafka中的所述待推送的标签和所述目标数据分发配置数据，对所述目标Kafka中的所述待推送的数据包进行分发。

进一步的，所述根据所述目标数据库中的所述待落库的数据分别进行标签生成和数据包封装，得到待推送的标签和待推送的数据包的步骤，包括：

根据所述目标数据库中的所述待落库的数据获取目标标签生成规则；

采用所述目标标签生成规则的目标字段名称集合，根据所述目标数据库中的所述待落库的数据进行标签拼接，得到所述待推送的标签；

根据所述目标数据库中的所述待落库的数据获取目标数据包封装规则；

根据所述目标数据包封装规则，根据所述目标数据库中的所述待落库的数据进行数据包封装，得到所述待推送的数据包。

进一步的，所述采用所述目标标签生成规则的目标字段名称集合，根据所述目标数据库中的所述待落库的数据进行标签拼接，得到所述待推送的标签的步骤，包括：

根据所述目标字段名称集合，从所述目标数据库中的所述待落库的数据中获取标签值数据，得到待拼接的数据集合；