[发明专利]数据处理方法、装置及系统

说明书

本发明公开了一种数据处理方法、装置及系统，涉及大数据技术领域，其中，该方法包括：获取监控周期中的性能监控数据，并根据预定规则生成性能监控数据的性能指标图表；基于预先设置的阈值对获取的性能监控数据进行量化分析，并根据量化分析结果确定监控周期中的关键时段；基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理，根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性；将所述关键时段、所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作。通过本发明，可以提高后续的数据分析的效率。

技术领域

本发明涉及大数据技术领域，具体涉及一种数据处理方法、装置及系统。

背景技术

随着银行业务的不断丰富，以及互联网金融带来的用户量的激增，银行系统的规模不断变大，特别是在分布式转型下，节点数量不断增长，海量节点产生的监控数据量急剧膨胀。现有的数据归档、存放、分析方式在成本控制下已无法满足需要，具体有如下三个方面的问题：

1、数据量较大，历史数据的存放对于数据存储有较大的成本压力。

2、由于存量数据较大，从大量数据中获取有价值信息的成本较高，包括解压、检索成本等。

3、目前数据以图像存储为主，会忽略较多细节，且很难进行量化和定量分析。

发明内容

有鉴于此，本发明提供一种数据处理方法、装置及系统，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种数据处理方法，所述方法包括：

获取监控周期中的性能监控数据，并根据预定规则生成性能监控数据的性能指标图表；

基于预先设置的阈值对获取的性能监控数据进行量化分析，并根据量化分析结果确定监控周期中的关键时段；

基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理，根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性；

将所述关键时段、所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作。

根据本发明的第二方面，提供一种数据处理装置，所述装置包括：

数据获取单元，用于获取监控周期中的性能监控数据；

图表生成单元，用于根据预定规则生成性能监控数据的性能指标图表；

关键时段确定单元，用于基于预先设置的阈值对获取的性能监控数据进行量化分析，并根据量化分析结果确定监控周期中的关键时段；

分类单元，用于基于图像分析技术对所述关键时段对应的关键性能指标图表进行分类处理；

图表类型确定单元，根据分类处理结果确定所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性；

存储单元，用于将所述关键时段、所述关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性关联存储，以便于后续的还原图表操作。

根据本发明的第三方面，提供一种数据处理系统，所述系统包括上述的数据处理装置、以及数据库，所述数据库用于存储所述数据处理装置获取的性能监控数据、以及关联存储的关键时段、关键性能指标图表的图表类型以及与该图像类型相应的性能指标属性。

根据本发明的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

根据本发明的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。