[发明专利]基于规则的大数据离线批处理性能容量扫描方法及装置

说明书

本申请实施例提供一种基于规则的大数据离线批处理性能容量扫描方法及装置，涉及大数据技术领域，也可用于金融领域，方法包括：根据预设间隔符对HQL脚本程序代码进行拆分，得到至少一个HQL语句；依次对所述HQL语句进行脚本解析，判断经过所述脚本解析后的HQL语句是否符合预设性能隐患语法规则，若符合，则将对应的HQL语句、HQL脚本程序代码以及性能隐患语法输出至设定汇总文件；本申请能够有效、准确和便捷得对HQL脚本的性能容量进行隐患排查。

技术领域

本申请涉及大数据技术领域，也可用于金融领域，具体涉及一种基于规则的大数据离线批处理性能容量扫描方法及装置。

背景技术

企业的大数据服务云平台为各类专业大数据分析应用提供数据接入、存储、计算、安全管理、资源管理等服务，随着平台构建的不断完善，其技术体系日益庞大，承载的业务功能日益丰富，在平台运维体系不断扩大的同时，各个应用场景的具体模型和逻辑在新技术架构下的性能表现逐渐成为产品研发流程关注的焦点之一。这也对“多应用、多租户”框架体系下的大数据平台的性能容量测试方法、工具提出了更高的要求。

发明人发现，现有技术中当接入大数据服务云的离线批处理业务系统达到一定数量(例如上百个)后，在每期基于大数据服务云的项目研发上线、迭代优化过程中，各开发人员需要通过hive sql(以下简称HQL)脚本对数据湖或数据仓库中的基础数据或主题数据进行业务逻辑加工等关联操作，由于编写HQL脚本的开发人员编码风格各异，同时对于HQL语法的掌握水平参差不齐，在各项目开发过程中会掺杂各种低效写法导致作业运行效率缓慢，同时消耗大数据分布式集群资源巨大，该类离线批处理脚本存在着较大优化空间。而对于复杂逻辑的HQL脚本实现或基于大表(TB级别)的基础数据关联HQL脚本实现则更需要注重性能隐患，因此，对HQL脚本中存在的低效写法进行校验排查并反馈整改的重要性不言而喻。

发明内容

针对现有技术中的问题，本申请提供一种基于规则的大数据离线批处理性能容量扫描方法及装置，能够有效、准确和便捷得对HQL脚本的性能容量进行隐患排查。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种基于规则的大数据离线批处理性能容量扫描方法，包括：

根据预设间隔符对HQL脚本程序代码进行拆分，得到至少一个HQL语句；

依次对所述HQL语句进行脚本解析，判断经过所述脚本解析后的HQL语句是否符合预设性能隐患语法规则，若符合，则将对应的HQL语句、HQL脚本程序代码以及性能隐患语法输出至设定汇总文件。

进一步地，所述判断经过所述脚本解析后的HQL语句是否符合预设性能隐患语法规则，包括：

提取经过所述脚本解析后的HQL语句中的设定源表，并确定所述源表中的设定条件语句；

判断所述条件语句是否包含有分区限定字段，若无，则判定所述HQL语句符合预设全表扫描隐患语法规则，否则判定所述HQL语句正常。

进一步地，所述判断经过所述脚本解析后的HQL语句是否符合预设性能隐患语法规则，包括：

提取经过所述脚本解析后的HQL语句中的设定源表，并确定所述源表中的设定插入语句；

判断所述插入语句是否包含有分区限定字段，若无，则判定所述HQL语句符合预设全表插入隐患语法规则，否则判定所述HQL语句正常。

进一步地，所述判断经过所述脚本解析后的HQL语句是否符合预设性能隐患语法规则，包括：

判断经过所述脚本解析后的HQL语句中是否包含有设定查询语句、设定笛卡尔积查询语句、设定排序语句、设定统计语句以及设定记录插入函数中的任意一种，若是，则判定所述HQL语句符合预设性能隐患语法规则，否则判定所述HQL语句正常。