[发明专利]单用户多工作负载之间JSON解析优化方法和系统

说明书

本发明公开了单用户多工作负载之间JSON解析优化方法和系统，属于软件开发领域。包括：基于用户的JSONPath历史访问信息，预测会被该用户重复访问的JSONPath；将预测的JSONPath对应的JSON字段提前缓存到缓存表；当用户的查询包含预测的JSONPath时，直接从缓存表中读取对应的JSON字段。本发明基于用户的查询历史记录，针对各个用户的查询习惯进行预测，预测用户在将来大概率会重复访问的JSON字段，并提前缓存到分布式存储中。减少了数据中心中关于JSON数据查询的重复解析时间，进而提高了查询的响应时间，节省了CPU运行时间。由于将JSONPath的值提前解析出来存储在缓存表中，当用户的Workload中有关于JSONPath的值过滤条件，可以提前在缓存表中进行过滤从而减少读表开销。

技术领域

本发明属于软件开发领域，更具体地，涉及单用户多工作负载之间JSON解析优化方法和系统。

背景技术

在许多Web和企业应用程序中，JSON是一种非常受欢迎的数据交换格式。JSON吸引人的功能包括灵活性，简单性，可读性和高表达能力。因此，十个最受欢迎的WebAPI(主要由Google、Facebook和Twitter等大公司提供的API组成)中的九个以JSON格式公开数据。许多数据分析引擎(例如，Spark、Flink、Storm、Drill)本身都支持加载和查询JSON数据。但是，与关系型数据不同，JSON是半结构化格式，因此必须在进一步分析和查询之前对其进行解析。最近的研究表明，查询原始数据的关键瓶颈在于解析数据本身，大约80％的执行时间花费在解析JSON数据上。

以前的许多研究都集中在构建有效的解析器上以降低解析成本。有些研究者利用SIMD指令基于特殊结构字符(如方括号和冒号)为JSON字符串构建字段索引。另外一些研究者开发了一种新方法，该方法基于对许多真实世界应用的观察，在解析之前将过滤器应用于JSON原始字节流，由于应用具有高选择性，因此可以在解析前过滤大量的JSON记录。尽管这些工作使得解析速度有了显著提高，但是对于大量的JSON和复杂的JSONPath而言，开销仍然很大。实际上，许多企业面临着每天在数千台服务器上对大量JSON数据执行大量查询的挑战性问题，因此，除了提高解析速度外，研究如何减少解析的发生也很重要。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了单用户多工作负载之间JSON解析优化方法和系统，其目的在于利用工作负载中JSONPath的高重复性，缓存被重复解析的JSONPath对应的JSON字段值以避免在不同查询之间的重复解析开销。

为实现上述目的，按照本发明的第一方面，提供了一种单用户多工作负载之间JSON解析优化方法，该方法包括以下步骤：

S1.基于用户的JSONPath历史访问信息，预测会被该用户重复访问的JSONPath；

S2.将预测的JSONPath对应的JSON字段提前缓存到缓存表；

S3.当用户的查询包含预测的JSONPath时，直接从缓存表中读取对应的JSON字段。

优选地，步骤S1包括以下子步骤：

S11.从历史数据表中按照用户名称，收集各个用户的所有Workload中访问的JSONPath的历史数据信息；

S12.根据收集的历史数据信息，基于长短期记忆网络和条件随机场，预测会被该用户重复访问的JSONPath。

优选地，所述历史数据信息包括：JSONPath路径、JSONPath所在的数据库名称、JSONPath所在的原用户表名、JSONPath所在的列名、JSONPath被访问的次数、查询被执行的日期。

优选地，步骤S12包括以下子步骤：