[发明专利]数据处理方法、装置、设备和存储介质

说明书

本申请提供一种数据处理方法、装置、设备和存储介质，涉及大数据技术领域。扫描获取OMC设备上指定后缀的增量文件；下载增量文件，并在监测到增量文件被正确下载后，生成增量文件对应的通知消息，通知消息包括增量文件的文件描述信息和文件路径；在监测到通知消息时，从文件路径加载增量文件，对增量文件进行数据解析，得到主消息流，将主消息流推送至第一数据库的第一消息队列；采用数据处理框架调取主消息流，并通过流连续查询语言对主消息流进行KPI汇总，得到KPI汇总结果并发送到数据库进行缓存或持久化存储。通过正确下载增量文件后生成的通知消息实时触发解析、汇总等处理得到KPI汇总结果，提高数据处理的速度，降低处理时延。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据处理方法、装置、设备和存储介质。

背景技术

现阶段，通信运营商的设备定期(假如，默认每15分钟)会产生对应的性能计数器(Counter)数据文件，为了评估网络质量，需要制定一系列的关键性能指标(KeyPerformance Indicator，KPI)来记录在网络中运行的业务质量状态，通过对KPI进行分析获得网络质量。

相关技术中，常规的KPI汇总是将采集的不同的性能计数器数据文件存储至数据库(DataBase，简称DB)中，之后，再从数据库中提取数据进行汇总分析等预处理后再临时存入数据库中，最后进行汇总调度。但该方法整体性能的处理延迟时间较长，如小时维度的汇总，最快也需要延迟1个小时以上。

发明内容

本申请提供一种数据处理方法、装置、设备和存储介质，用以解决KPI汇总处理延迟时间较长的问题。

第一方面，本申请提供一种数据处理方法，包括：

扫描获取OMC设备上指定后缀的增量文件；

下载增量文件，并监测增量文件是否被正确下载；

在监测到增量文件被正确下载后，生成增量文件对应的通知消息，通知消息用于表征增量文件已正确下载，通知消息包括增量文件的文件描述信息和文件路径；

在监测到通知消息时，从文件路径加载增量文件，对增量文件进行数据解析，并为增量文件中的每条性能测量记录从缓存服务器中获取的对应资源字典数据，得到主消息流，将主消息流推送至第一数据库的第一消息队列；

采用数据处理框架调取主消息流，并通过流连续查询语言对主消息流进行KPI汇总，得到KPI汇总结果；

向输出目标发送KPI汇总结果，输出目标包括第一数据库和第二数据库，第一数据库用于缓存，第二数据库用于持久化存储。

一种可能的实施方式中，监测增量文件是否正确下载，包括：监测增量文件的下载过程是否报错；若增量文件的下载过程不存在报错，则在下载完成增量文件后，确定增量文件的校验码与OMC设备提供的增量文件的校验码是否相等；若相等，则确定增量文件是正确下载的。

一种可能的实施方式中，扫描获取OMC设备上指定后缀的增量文件，包括：基于预设文件传输协议，扫描获取OMC设备上指定后缀的增量文件，预设文件传输协议包括FTP和/或SFTP。

一种可能的实施方式中，扫描获取OMC设备上指定后缀的增量文件，还包括：采用多线程方式，扫描获取OMC设备上指定后缀的增量文件，其中，每个扫描线程负责一个OMC设备的增量文件扫描。

一种可能的实施方式中，下载增量文件，包括：确定增量文件的个数；将个数的增量文件分配给预设线程数的下载线程进行增量文件的下载。

一种可能的实施方式中，生成增量文件对应的通知消息之后，还包括：将通知消息存储至缓存服务器中的第二消息队列；相应地，监测到通知消息，包括：在第二消息队列中监测到通知消息。