[发明专利]一种基于日志文件的分析结果定位系统资源瓶颈的方法

说明书

技术领域

本发明涉及一种互联网信息数据的分析方法，尤其涉及一种利用对网络服务器的日志文件进行分析而定位系统资源瓶颈的方法。

背景技术

随着互联网上信息服务的发展，许多机构都已经拥有或正在建设自己的网站。在这些网站的后台，均运行着一个或者多台网络服务器以及应用服务器，网络服务器是一个用于管理网络页面的软件，并使这些页面通过本地网络或Internet供客户浏览器使用。现在较常用的网络服务器包括Apache、IIS和Iplanet的Enerprise服务器。应用服务器包含jboss，beaWeblogic，ibmwebspere等。由于网络的应用越来越复杂，各种软件框架及第三方的软件开发包不断地增加，网络应用系统的整体性能迅速下降，为此有效地定位系统资源的瓶颈显得尤为重要。

在现有技术中，为了定位网络应用系统资源的瓶颈，主要采取了三种方式：其一，在源程序中针对每个方法所处的代码段加入调用次数、调用时长和调用链信息，并将其部署在生产环境上。该方式需要记录大量的数据，而这些数据每次写入日志将带来巨大的IO资源占用，尤其是对于访问量庞大的网站来说，使用该方法将极大地影响用户体验，甚至使访问路径失真和系统停机；其二，在开发环境中使用Profile工具监控分析方法调用。使用这种方式时，无法获取精确的用户访问模型，以致访问路径可能与生产环境相去甚远，无法有效地调整优化；其三，根据经验估算用户访问模型，并利用LoadRunner执行性能测试和Profile监控。使用该方法时，用于性能测试的用例选取和访问频率误差较大，并不能有效地反映系统的压力状况。

发明内容

针对在定位系统资源瓶颈时存在的上述缺陷，本发明提供了一种基于日志文件的分析结果定位系统资源瓶颈的方法。该方法不仅能建立准确度较高的业务访问模型，而且将业务日志文件以科学、量化的方式复制生产系统的真实负载到性能测试场景，从而在多个环节实现无缝衔接并准确地定位系统资源瓶颈。

按照本发明的一个方面，提供了一种定位系统资源瓶颈的方法，该定位方法利用对业务访问日志文件的分析来建立精确的业务访问模型和高匹配度的性能测试场景。它包括以下步骤：

生成业务访问日志；

加载监控软件对系统的硬件和应用性能数据进行监控和采集；

分析所述业务访问日志，并得到分析结果；

根据所述分析结果以及监控与采集性能数据建立具有高匹配度的性能测试场景；

在增加另外的监控软件(statspack，JRockit Mission Control)后，利用所述性能测试场景再次执行性能测试，并分析测试结果以确定系统资源瓶颈；以及

截获热点调用的方法和解析、执行热点结构化查询语句。

具体地，生成业务访问日志还包括用户在自主开发地源程序中添加自定义的日志代码；利用业务层输出业务访问日志；将该自主开发的源程序加载到各个网络服务器和应用服务器；以及这些服务器记录业务访问日志；

具体地，加载监控软件以监控和采集硬件、应用等性能数据还包括设置软件监控平台；在网络服务器上安装和配置NET-SNMPD软件包；在Oracle服务器上安装和配置NET-SNM PD软件包；在监控平台上添加硬件和应用等性能数据的监控模块；利用NET-SNMPD软件包中的snmpget命令定时采集被监控的网络服务器和Oracle服务器上的性能数据；

具体地，分析业务访问日志可包括下载各网络服务器的业务访问日志文件；使用业务日志的层级过滤来预处理业务访问日志；加载配置文件使日志分析工具中LogFormat字段与生成业务访问日志所采用的Format相对应；对业务访问日志进行分析并输出分析结果；

具体地，建立具有高匹配度的性能测试场景可以通过如下的步骤来实现：

获取来自日志分析工具的关于业务访问日志的分析结果；

抽取测试用例；

录制脚本；

建立和调节性能测试场景；

执行性能测试并监控系统的各项性能数据；

对比模拟负载和所监控到的生产系统的真实负载，并计算二者的误差值；以及

若误差值超过预先设定的阈值，则返回至调节性能测试场景步骤；若误差值在允许的阈值范围内，则生成具有高匹配度的性能测试场景。

进一步，选定的测试用例可以是被调用次数排名靠前的方法和用户体验度较差的用例；

进一步，性能测试场景的调节采用闭环反馈的形式，将生产系统的真实负载与模拟负载之间的误差回馈至所述的性能测试场景，以获得具有较高匹配度的性能测试场景。