[发明专利]一种基于异构数据源的海量数据处理方法及系统

权利要求书

1.一种基于异构数据源的海量数据处理方法，其特征在于，所述方法包括：

S1.服务调用数据写入存储，所述存储包括mongodb和Elasticsearch；

S2.查询服务调用数据；

S3.定时清理数据文件；

S4.通过shell脚本进行智能预警。

2.根据权利要求1所述的基于异构数据源的海量数据处理方法，其特征在于，步骤S1中所述服务调用数据包括API服务调用时间、apiId、应用名称、参数、耗时、出错信息、错误码信息记录json串。

3.根据权利要求2所述的基于异构数据源的海量数据处理方法，其特征在于，步骤S1中所述服务调用数据写入存储，包括：

S11.将服务调用数据的具体信息异步写入mongodb，用于数据统计查询，并每天为mongodb新建collection；

S12.将服务调用数据的具体信息异步写入Elasticsearch，用于用户查询，并每月为Elasticsearch滚动创建新索引；

S13.每10秒钟对mongodb的数据，按年、月、日、小时的维度对接口调用量、平均耗时、失败次数、调用次数进行统计，并将统计数据保存到mysql统计表；

S14.每年为mysql创建新数据表。

4.根据权利要求3所述的基于异构数据源的海量数据处理方法，其特征在于，当系统在运行中出现数据库和/或服务器压力突然剧增，资源空间不足时，采用下述方式进行扩容：

(1)针对mysql，通过mysql分表策略，当出现资源空间不足时，给mysql增加机器，分库存储历史数据和当前数据；

(2)针对mongodb，mongodb只存储临时数据，作为临时存储中间件，当出现资源空间不足时，只保留1天数据，删除中间表数据；

(3)针对Elasticsearch，评估需要增加的服务器资源，根据调用量计算需要扩容的机器个数，进行水平扩容；

(4)针对应用服务器，根据总并发量及单服务器配置支持的并发量，评估需要增加的服务器资源，进行水平扩容。

5.根据权利要求3所述的基于异构数据源的海量数据处理方法，其特征在于，步骤S2中所述查询服务调用数据，包括：

(1)单表查询

①查询API服务调用统计信息，通过查询mysql统计表，获取年、月、日、小时维度的统计数据信息；

②查询API服务调用数据信息，通过查询Elasticsearch，获取API服务名称、调用时间、应用名称、数据内容、参数、耗时、错误码的数据信息；

(2)跨数据源查询

①配置Presto的catalog，在Presto安装目录下找到catalog目录，然后在catalog目录下添加connector文件，创建mysql.properties、mongodb.properties、Elasticsearch.properties，并配置连接器信息；

②编写混合查询的sql，查询的表名写为catalog.schame.tableName，完成跨数据源查询。

6.根据权利要求5所述的基于异构数据源的海量数据处理方法，其特征在于，单表查询中所述查询API服务调用数据信息还包括基于查询获取到的数据信息，进行聚合分析；

所述聚合分析包括错误数据分布分析、错误类型分布分析、以及报错最多时间段分析。