[发明专利]一种用于手机APP无障碍读屏软件的焦点陷入检测方法

权利要求书

1.一种用于手机APP无障碍读屏软件的焦点陷入检测方法，其特征在于包括以下步骤：

S1：打开手机上的无障碍读屏软件，获取手机为无障碍功能提供的额外信息，用焦点框框出当前聚焦的位置，并用语音描述当前的元素；

S2：打开被测软件，调用机械臂在屏幕上做一次滑动操作后截屏并上传到服务端；

S3：服务端通过焦点检测算法识别并返回当前焦点的位置信息；

步骤S3中所使用的焦点检测算法，具体步骤如下：

S31：对S2中的得到的截图，提取焦点框的颜色对应的RGB矩阵，叠加背景得到RGB的范围；

S32：对S2中得到的截图提取S31中得到的RGB范围的像素，得到一个单通道图像；

S33：对S32得到的单通道图像进行边缘检测，得到焦点框的边缘；

S34：对S33得到的边缘进行直线检测，得到直线的直角坐标系方程；

S35：筛选S34得到的方程，得到焦点框对应的直线，由此计算得到焦点框的左下角坐标和高度、宽度；

S36：定义焦点框位置信息矩阵为[X,Y,H,W]，其中X，Y代表当前焦点框左下角的横纵坐标，H，W代表高和宽，通过S35中获得的左下角坐标和长宽，填入后得到当前定位的焦点框位置信息矩阵；

S4：把S3中获取到的焦点框位置信息矩阵记录到检测历史中，然后输入到单组件焦点陷入检测模块，得到单组件检测结果；

步骤S4中所使用的单组件焦点陷入检测模块，具体如下：

S41：判断当前焦点框信息矩阵是否和过往n次焦点信息矩阵相同，即任意的F(x-i)＝F(x),i∈[1,n]；

S42：若相同，则说明当前页面存在单组件焦点陷入问题，不需要继续执行程序，可以直接输出结果；

S43：若不同，则说明不存在单组件焦点陷入问题，继续执行检测流程；

S5：把S3中获取到的焦点框位置信息矩阵输入到多组件循环焦点陷入检测模块，得到多组件循环焦点陷入的检测结果；

步骤S5中所使用的多组件循环焦点陷入检测模块，具体如下：

S51：首先判断新进入的信息矩阵是否在任意的检测历史中出现过，即存在F(n)＝F(x)；

S52：若不存在，则未检测出多组件循环焦点陷入问题；

S53：若存在，则需要进一步判断是否在最近n次历史中是否存在结构上的重复，即任意F(n-i)＝F(x-i),i∈[1,n]；

S531：若不存在，则说明没有检测到多组件循环焦点陷入问题；

S532：若存在，则需要计算最大连续组合的覆盖率，覆盖率的计算公式为：其中w、h代表焦点框的宽和高，即计算从n开始到m位置的所有聚焦框的面积之和是否大于指定的阈值，若大于阈值，则需要排除，若小于阈值，则说明存在多组件循环焦点陷入问题；

S6：结果输出模块输出当前页面的焦点陷入检测结果。

2.根据权利要求1所述的一种用于手机APP无障碍读屏软件的焦点陷入检测方法，其特征在于：所述步骤S4中，其中检测历史的具体存储结构的优选为哈希表。

3.根据权利要求1所述的一种用于手机APP无障碍读屏软件的焦点陷入检测方法，其特征在于：所述步骤S41中，其中过往n次焦点信息矩阵的优选值为5次。

4.根据权利要求1所述的一种用于手机APP无障碍读屏软件的焦点陷入检测方法，其特征在于：所述步骤S53中，其中最近n次历史的优选值为5次。

5.根据权利要求1所述的一种用于手机APP无障碍读屏软件的焦点陷入检测方法，其特征在于：所述步骤S532中，指定的阈值优选值为0.9。