[发明专利]一种数据处理方法、系统、计算机及可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，应用于中央集群，所述中央集群包括收发组件、协调写入组件及数据库组件；所述方法包括：

通过所述收发组件与边缘集群中的服务端点建立连接，获取所述服务端点的端点信息，根据所述端点信息生成连接随机数；

获取连接建立范围，若所述连接随机数属于所述连接建立范围，则接收所述边缘集群中的服务端点发送的采集指标数据；所述收发组件中集成有数据推送功能；

基于所述收发组件中的所述数据推送功能，对所述采集指标数据进行预聚合处理，得到预聚合指标数据，将所述预聚合指标数据推送至所述协调写入组件；

基于所述协调写入组件将所述预聚合指标数据转换成具有目标存储格式的转换指标数据，对所述转换指标数据进行归并处理，得到存储指标数据；

将所述存储指标数据写入所述数据库组件中，基于所述数据库组件将所述存储指标数据写入存储磁盘。

2.如权利要求1所述的方法，其特征在于，所述收发组件包括指标代理组件及监控收集组件；所述指标代理组件集成有第一数据推送功能，所述监控收集组件集成有第二数据推送功能；

所述通过所述收发组件接收边缘集群发送的采集指标数据，包括：

通过所述收发组件所包括的所述指标代理组件，与边缘集群建立网络长连接，通过所述网络长连接接收所述边缘集群发送的采集指标数据；

所述基于所述收发组件中的所述数据推送功能，对所述采集指标数据进行预聚合处理，得到预聚合指标数据，将所述预聚合指标数据推送至所述协调写入组件，包括：

基于所述指标代理组件的所述第一数据推送功能，将所述采集指标数据推送至所述监控收集组件；

基于所述监控收集组件获取所述采集指标数据的指标信息，获取指标聚合属性及指标转换算法，对与所述指标聚合属性相匹配的指标信息所对应的采集指标数据，执行所述指标转换算法，得到预聚合指标数据；

基于所述监控收集组件的所述第二数据推送功能，向所述协调写入组件发送远程写入请求，基于所述远程写入请求将所述预聚合指标数据推送至所述协调写入组件。

3.如权利要求2所述的方法，其特征在于，所述通过所述网络长连接接收所述边缘集群发送的采集指标数据，包括：

通过所述网络长连接接收所述边缘集群发送的待处理指标数据；

基于指标代理组件获取所述待处理指标数据的指标属性标签，将具有相同的指标属性标签的待处理指标数据进行归并处理，得到采集指标数据；

所述基于所述指标代理组件的所述第一数据推送功能，将所述采集指标数据推送至所述监控收集组件，包括：

基于所述指标代理组件将所述采集指标数据缓存至待发送指标队列中；

通过所述指标代理组件的所述第一数据推送功能及所述待发送指标队列，将所述采集指标数据推送至所述监控收集组件。

4.如权利要求1所述的方法，其特征在于，所述对所述转换指标数据进行归并处理，得到存储指标数据，包括：

对所述转换指标数据进行降采样处理，得到降采样指标数据；

获取所述转换指标数据的转换存储期限，将具有相同的转换存储期限的降采样指标数据进行归并处理，得到存储指标数据。

5.如权利要求1所述的方法，其特征在于，所述数据库组件的数量为N，N为正整数；

所述将所述存储指标数据写入所述数据库组件中，包括：

获取所述存储指标数据的存储指标名称及存储指标属性标签，生成所述存储指标名称及所述存储指标属性标签对应的存储哈希值；

根据所述存储哈希值确定存储分片标识，将所述存储指标数据写入所述存储分片标识对应的目标数据库组件中；所述目标数据库组件属于N个数据库组件。

6.如权利要求1所述的方法，其特征在于，所述基于所述数据库组件将所述存储指标数据写入存储磁盘，包括：

基于所述数据库组件对所述存储指标数据进行冷热分析处理，得到所述存储指标数据中所包括的热指标数据及冷指标数据；

获取存储磁盘中的热数据存储区域及冷数据存储区域，将所述热指标数据写入所述热数据存储区域，将所述冷指标数据写入所述冷数据存储区域。