[发明专利]共用数据流处理拓扑的方法、装置、设备及介质

说明书

本发明实施例提供一种共用数据流处理拓扑的方法、装置、设备及介质。该方法包括：对预先生成的XML配置文件进行解析，获取数据源参数；将解析获取的数据源参数与运行中拓扑的目标XML配置文件的数据源参数进行比对；若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接；若不存在一致的数据源，则为该XML配置文件分配新的资源，构建拓扑结构。

技术领域

本发明涉及计算机技术领域，尤其涉及一种共用数据流处理拓扑的方法、装置、设备及介质

背景技术

大数据时代，数据呈现海量化、多样化、快速化和价值化的特性。大数据蕴含大信息，大信息提炼大知识，大知识将在更高的层面、更广的视角、更大的范围帮助用户提高洞察力、提升决策力，将为各行各业创造前所未有的重大价值。大数据的产生、传播的速度极快，无穷无尽，在不同时空中流转，呈现出鲜明的流式特征，更为重要的是，数据价值的有效时间急剧减少，也要求越来越高的数据计算和使用能力，因此拥有低延时、高吞吐的大数据流式计算能力，并能够便捷、高效、平稳的支撑变化多端的业务场景至关重要。

现有技术提供了一些流处理的方法和装置，如通过可配置的方式降低流处理的使用门槛，动态调整流处理逻辑减少对线上系统的影响，满足对大数据业务场景的高效、平稳支撑，但都可能存在性能缺陷。

例如，一个相关技术提供了一种基于Storm的流处理方法及系统，该系统根据用户提供的配置文件自动构建拓扑进行数据流处理，降低了数据流处理的使用门槛，满足对大数据业务场景的高效支撑，但存在性能缺陷，当用户提供的配置文件构建的不同拓扑使用了同样的数据源，将造成数据源I/O压力，导致性能下降。

又如，一个相关技术公开了一种数据流处理方法和装置，该方法提供了对实时计算系统拓扑结构的动态调整，减少对运行时系统的影响，但该方法是针对硬编码的流式计算系统，使用门槛高、开发效率较低，面对多变的大数据业务场景，支撑效率偏低，且也可能存在多个拓扑使用同一个数据源的情况，造成性能问题。

又一相关技术提供一种基于Storm的可变逻辑的通用数据处理系统，该系统也可根据配置动态调整流计算任务逻辑，满足多变的业务场景，但依然可能存在多个拓扑使用同一个数据源导致性能下降的问题。

综上所述，多用户配置数据流处理场景下性能优化问题是亟需要解决的技术问题。

发明内容

本发明实施例提供了一种共用数据流处理拓扑的方法、装置、设备及介质，用以解决多用户配置数据流处理场景下性能优化问题。

第一方面，本发明实施例提供了一种共用数据流处理拓扑的方法，方法包括：

对预先生成的XML配置文件进行解析，获取数据源参数；

将解析获取的数据源参数与运行中拓扑的目标XML配置文件的数据源参数进行比对；

若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接；

若不存在一致的数据源，则为该XML配置文件分配新的资源，构建拓扑结构。

优选的是所述对预先生成的XML配置文件进行解析，获取数据源参数的步骤，具体包括：

获取预先生成的XML配置文件的编号、版本信息，根据预先存储的解析过的XML配置文件的编号、版本信息，判断该XML配置文件是否被解析过；

多该XML配置文件未被解析过，则对该XML配置文件进行解析，获取数据源参数。

进一步优选的是，，所述数据源参数为XML配置文件被解析出的Spout组件的参数。

优选的是，所述若存在一致的数据源，则调整运行中的拓扑的目标XML配置文件，以使目标配置文件与该XML配置文件对接的步骤，具体包括：