[发明专利]一种数据流分发进程配置的动态更新方法及系统

说明书

本发明提供了一种数据流分发进程配置的动态更新方法及系统，应用于调度进程，所述方法包括：A：获取目标数据流分发进程在当前时刻的第一配置数据，并获取当前时刻时针对目标数据流分发进程的第二配置数据，其中，所述目标数据流分发进程包括：kafka stream；B：比较第一配置数据是否与第二配置数据相同；C：若否，在缓存中生成对应于目标数据流分发进程的备份数据流分发进程；将备份数据流分发进程作为目标数据流分发进程，以使目标数据流分发进程将数据流分发至数据处理进程，所述数据流包括：日志数据流。应用本发明实施例，可以提高配置数据的动态更新效率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据流分发进程配置的动态更新方法及系统。

背景技术

在数据流处理过程中，经常会遇到需要对与数据流有关的进程的配置进行更新的情况，例如，现有技术中申请号为201410314207.6的发明专利申请公开了一种宽带接入网的逻辑文件动态加载方法，通过TCP协议实现FPGA逻辑文件动态加载，在加载完成之后不需重启系统，并且在单板运行过程中，任何时候均可以加载新版本的FPGA逻辑文件去替代当前运行的FPGA逻辑文件，这样在保证了传输效率和可靠性的同时又提高了系统的灵活性；在实际运行过程中，只需要将客户端的连接IP地址设置为单板的IP地址，这样又扩大了应用范围，且简单易行符合当前嵌入式系统发展的需要。但是，由于该技术方案加载的是逻辑文件，而不是针对数据流处理进程的配置文件，因此可以采取直接覆盖的形式进行数据更新。

为了解决上述问题，现有技术中申请号为201810541847.9的发明专利申请公开了一种服务器内存性能测试方法和装置，其中，该方法包括：步骤一：在预先部署的stream测试环境下，导出待测试服务器上的BIOS默认配置文件；步骤二：从预先设置的配置更改参数列表中选择一个配置更改参数，对默认配置文件进行修改；步骤三：将修改后的配置文件重新导入待测试服务器并自动重启；步骤四：运行stream测试，并记录测试结果；重复上述步骤二～步骤四，直至配置更改参数列表中的所有配置更改参数测试完成。该发明公开的服务器内存性能测试方法和装置，节省了测试时间，提高了测试效率和准确度。

但是，发明人发现，现有技术中虽然实现了配置文件的更新，但是在更新配置文件时，需要先加载配置文件，然后重启对应的服务器。但是，重启服务器耗时较长，导致配置信息动态更新效率较低。

发明内容

本发明所要解决的技术问题在于如何提供一种数据流分发进程配置的动态更新方法及系统以解决现有技术中存在的数据流的处理分发进程的配置动态更新效率较低的技术问题。

本发明通过以下技术手段实现解决上述技术问题的：

本发明实施例提供了一种数据流分发进程配置的动态更新方法，应用于调度进程，所述方法包括：

A：获取目标数据流分发进程在当前时刻的第一配置数据，并获取当前时刻时针对目标数据流分发进程的第二配置数据，其中，所述目标数据流分发进程包括：kafkastream；

B：比较第一配置数据是否与第二配置数据相同；

C：若否，在缓存中生成对应于目标数据流分发进程的备份数据流分发进程；将备份数据流分发进程作为目标数据流分发进程，以使目标数据流分发进程将数据流分发至数据处理进程，所述数据流包括：日志数据流。

可选的，所述步骤A中的获取当前时刻时针对目标数据流分发进程的第二配置数据步骤，包括：

使用动态代理方法拦截用户输入的第二配置数据。

可选的，所述步骤B，包括：

将所述第一配置数据作为值，以对应的数据处理进程的标识信息作为关键字生成第一键值对；将所述第二配置数据作为值，以对应的第二数据处理进程的标识信息作为关键字生成第二键值对；

比较第一键值对与第二键值对是否完全一致；