[发明专利]数据处理方法、装置、设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

扫描获取操作维护中心OMC设备上指定后缀的增量文件；

下载所述增量文件，并监测所述增量文件是否被正确下载；在监测到所述增量文件被正确下载后，生成所述增量文件对应的通知消息，所述通知消息用于表征所述增量文件已正确下载，所述通知消息包括所述增量文件的文件描述信息和文件路径；

在监测到所述通知消息时，从所述文件路径加载所述增量文件，对所述增量文件进行数据解析，并为所述增量文件中的每条性能测量记录从缓存服务器中获取的对应资源字典数据，得到主消息流，将所述主消息流推送至第一数据库的第一消息队列；

采用数据处理框架调取所述主消息流，并通过流连续查询语言对所述主消息流进行关键性能指标KPI汇总，得到KPI汇总结果；

向输出目标发送KPI汇总结果，所述输出目标包括所述第一数据库和第二数据库，所述第一数据库用于缓存，所述第二数据库用于持久化存储。

2.根据权利要求1所述的数据处理方法，其特征在于，所述监测所述增量文件是否正确下载，包括：

监测所述增量文件的下载过程是否报错；

若所述增量文件的下载过程不存在报错，则在下载完成所述增量文件后，确定所述增量文件的校验码与所述OMC设备提供的所述增量文件的校验码是否相等；

若相等，则确定所述增量文件是正确下载的。

3.根据权利要求1所述的数据处理方法，其特征在于，所述扫描获取OMC设备上指定后缀的增量文件，包括：

基于预设文件传输协议，扫描获取所述OMC设备上指定后缀的增量文件，所述预设文件传输协议包括文件传输协议FTP和/或安全文件传输协议SFTP。

4.根据权利要求3所述的数据处理方法，其特征在于，所述扫描获取OMC设备上指定后缀的增量文件，还包括：

采用多线程方式，扫描获取OMC设备上指定后缀的增量文件，其中，每个扫描线程负责一个OMC设备的增量文件扫描。

5.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，所述下载所述增量文件，包括：

确定所述增量文件的个数；

将所述个数的增量文件分配给预设线程数的下载线程进行增量文件的下载。

6.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，所述生成所述增量文件对应的通知消息之后，还包括：

将所述通知消息存储至缓存服务器中的第二消息队列；

相应地，所述监测到所述通知消息，包括：在所述第二消息队列中监测到所述通知消息。

7.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，所述数据处理方法应用于数据处理平台，所述数据处理平台部署在服务器集群中的每个节点，所述服务器集群中的节点包括所述缓存服务器。

8.一种数据处理装置，其特征在于，包括：

扫描模块，用于扫描获取操作维护中心OMC设备上指定后缀的增量文件；

下载模块，用于下载所述增量文件，并监测所述增量文件是否被正确下载；在监测到所述增量文件被正确下载后，生成所述增量文件对应的通知消息，所述通知消息用于表征所述增量文件已正确下载，所述通知消息包括所述增量文件的文件描述信息和文件路径；

解析模块，用于在监测到所述通知消息时，从所述文件路径加载所述增量文件，对所述增量文件进行数据解析，并为所述增量文件中的每条性能测量记录从缓存服务器中获取的对应资源字典数据，得到主消息流，将所述主消息流推送至第一数据库的第一消息队列；

汇总模块，用于采用数据处理框架调取所述主消息流，并通过流连续查询语言对所述主消息流进行关键性能指标KPI汇总，得到KPI汇总结果；以及，向输出目标发送KPI汇总结果，所述输出目标包括所述第一数据库和第二数据库，所述第一数据库用于缓存，所述第二数据库用于持久化存储。