[发明专利]一种能够感知存储设备带宽的程序并行度控制方法

摘要

本发明公开了一种能够感知存储设备带宽的程序并行度控制方法，该方法是一种自适应的根据应用程序运行平台的存储设备综合性能和实时负载状况，动态调整应用程序的并行度，即进程或线程个数，以使应用程序保持可获得最佳I/O效率的并行度。该方法通过实时监控并记录应用程序I/O效率信息，把它作为反馈信息来控制调整应用程序的并行度。该方法通过逐步探测渐进增加程序的并行度直至达到I/O实际效率的拐点，然后进行微调以获取针对不同应用程序平台的最佳并行度；进而根据不同应用程序平台的实时负载状况进行周期性的，主动调整与被动调整相结合的动态自适应操作来完成应用程序的最佳并行度获取。

主权项

1.一种能够感知存储设备带宽的程序并行度控制方法，应用程序平台上运行的程序依据程序I/O效率可分为三个状态，即初态、稳态和终态；初态是指应用程序开启以较低并行度运行时的一种状态；稳态是指应用程序经初态之后进入稳定运行时的一种状态；终态是指应用程序经过稳态之后维持较高I/O效率运行时的一种状态；其特征在于：所述的程序并行度控制方法包括有下列处理步骤：步骤一：I/O效率的实时监控步骤101：记录地址截取－效率监控的读写函数的字节数在第i个I/O效率监控时间T_i里，采用地址截取的方式，将操作系统提供的读操作的入口函数read标记为带有I/O效率监控的读函数c_read，并记录下所述c_read读函数的字节数记为将操作系统提供的写操作的入口函数write标记为带有I/O效率监控的写函数c_write，并记录下所述c_write写函数的字节数记为则有，在T_i条件下的地址截取－效率监控的读写函数的字节数用集合表达为RSYSTi=Rc_readTi+Rc_writeTi;]]>在应用程序运行时间T_总条件下，所有地址截取－效率监控的读写函数的字节数记为简称为地址截取－效率监控－字节数步骤102：记录函数重载－效率监控的读写函数的字节数在第i+1个I/O效率监控时间T_i+1里，采用函数重载方式向用户提供带有监控功能的读函数u_read和写函数u_write；所述u_read读函数的字节数记为所述u_write写函数的字节数记为则有，在T_i+1条件下的函数重载－效率监控的读写函数的字节数用集合表达为在T_总条件下，所有函数重载－效率监控的读写函数的字节数记为简称为函数重载－效率监控－字节数步骤103：记录接口信息－效率监控的读写函数的字节数在第i个I/O效率监控时间T_i里，采用操作系统提供的I/O统计信息接口，进行预处理内核产生的原始数据，并完成I/O效率的监控，得到的系统监控读函数s_read和写函数s_write；所述s_read读函数的字节数记为所述s_write写函数的字节数记为则有，在T_i条件下的接口信息－效率监控的读写函数的字节数用集合表达为在T_总条件下，所有接口信息－效率监控的读写函数的字节数记为简称为接口信息－效率监控－字节数步骤二：读写函数的字节数的去噪处理应用程序运行时包括有不同的I/O效率监控类型MODE，即MODE包括有地址截取－效率监控类型SYS、函数重载－效率监控类型USR和接口信息－效率监控类型INT，即MODE＝{SYS,USR,INT}；依据去噪条件对读写函数的字节数进行滤除干扰处理，得到过滤后字节数；若取值是“1”则选取并进行并行度提取处理，再进行快速定位，若取值是“0”则放弃的并行度提取，直接进行快速定位；q表示I/O效率监控时间的个数；i表示任意一个I/O效率监控时间；表示在I/O效率监控时间T_i条件下，任意一I/O效率监控类型MODE的读写函数的字节数；表示在I/O效率监控时间T_i+1条件下，任意一I/O效率监控类型MODE的读写函数的字节数；C_阈值表示去噪设置的判断波动现象发生的临界值；依据去噪条件E对地址截取－效率监控－字节数的去噪处理后，得到的函数重载－效率监控－过滤后字节数记为依据去噪条件E对函数重载－效率监控－字节数的去噪处理后，得到的函数重载－效率监控－过滤后字节数记为依据去噪条件E对接口信息－效率监控－字节数的去噪处理后，得到的函数重载－效率监控－过滤后字节数记为步骤三：并行度的快速定位所述并行度P的取值为2的幂，则有P＝1,2,4,8,…,2^p，p表示幂数；应用程序开启后以并行度P＝1开始运行，在P＝1的条件下取得的过滤后字节数记为在取值P＝1之后，并行度按照P＝2^p运行，并得到过滤后字节数记为按照并行度从小至大对不同并行度下的过滤后字节数进行直方图构建，得到并行度－I/O效率直方图；通过比较所述并行度－I/O效率直方图中的字节数，选取出最大字节数该最大字节数则为I/O效率监测的拐点，如图3A所示；将并行度P＝1的条件下取得的地址截取－效率监控－过滤后字节数记为将并行度P＝2的条件下取得的地址截取－效率监控－过滤后字节数记为将并行度P＝4的条件下取得的地址截取－效率监控－过滤后字节数记为将并行度P＝8的条件下取得的地址截取－效率监控－过滤后字节数记为将并行度P＝16的条件下取得的地址截取－效率监控－过滤后字节数记为将并行度P＝32的条件下取得的地址截取－效率监控－过滤后字节数记为将并行度P＝2^p的条件下取得的地址截取－效率监控－过滤后字节数记为将不同并行度下的过滤后字节数载入以并行度P为横坐标，字节数为纵坐标的直方图中，得到地址截取－效率监控直方图；通过比较所述地址截取－效率监控直方图中的字节数，选取出最大字节数该最大字节数则为地址截取的I/O效率监测的拐点；将并行度P＝1的条件下取得的函数重载－效率监控－过滤后字节数记为将并行度P＝2的条件下取得的函数重载－效率监控－过滤后字节数记为将并行度P＝4的条件下取得的函数重载－效率监控－过滤后字节数记为将并行度P＝8的条件下取得的函数重载－效率监控－过滤后字节数记为将并行度P＝16的条件下取得的函数重载－效率监控－过滤后字节数记为将并行度P＝32的条件下取得的函数重载－效率监控－过滤后字节数记为将并行度P＝2^p的条件下取得的函数重载－效率监控－过滤后字节数记为将不同并行度下的过滤后字节数载入以并行度P为横坐标，字节数为纵坐标的直方图中，得到函数重载－效率监控直方图；通过比较所述函数重载－效率监控直方图中的字节数，选取出最大字节数该最大字节数则为函数重载的I/O效率监测的拐点；将并行度P＝1的条件下取得的接口信息－效率监控－过滤后字节数记为将并行度P＝2的条件下取得的接口信息－效率监控－过滤后字节数记为将并行度P＝4的条件下取得的接口信息－效率监控－过滤后字节数记为将并行度P＝8的条件下取得的接口信息－效率监控－过滤后字节数记为将并行度P＝16的条件下取得的接口信息－效率监控－过滤后字节数记为将并行度P＝32的条件下取得的接口信息－效率监控－过滤后字节数记为将并行度P＝2^p的条件下取得的接口信息－效率监控－过滤后字节数记为将不同并行度下的过滤后字节数载入以并行度P为横坐标，字节数为纵坐标的直方图中，得到接口信息－效率监控直方图；通过比较所述接口信息－效率监控直方图中的字节数，选取出最大字节数该最大字节数则为接口信息的I/O效率监测的拐点；步骤四：获取最佳并行度依据不同并行度下的过滤后字节数的直方图中记录的粗并行度P_粗，并在粗并行度P_粗的两边以每次减少2个并行度单位进行的读写效率字节数的记录，以获得最佳并行度P_精；当获得最佳并行度P_粗后，应用程序平台上运行的程序将依据P_粗重新开始步骤一至步骤四的运行，直到应用程序运行结束；在获得最佳并行度P_粗后，应用程序会进行主动和被动的动态自适应调整，这样便能够提高I/O带宽，同时也能够使应用程序获得更大加速效果和更高的吞吐率。