[发明专利]一种用于手机APP无障碍读屏软件的焦点陷入检测方法

说明书

一种用于手机APP无障碍读屏软件的焦点陷入检测方法，本发明结合了软硬件方法，利用系统的无障碍功能，实现了非侵入式、普适性强、错误率低的一种移动端焦点陷入检测方法。首先，打开手机无障碍读屏软件和被测软件，使用机械臂模拟人的点击行为，服务端通过焦点检测算法获取到当前焦点的位置。然后，把得到的焦点位置作为识别方法的数据输入，依次使用单组件焦点陷入检测模块和多组件循环焦点陷入检测模块进行检测，循环以上步骤直到完成单页面的遍历，得到检测结果。该方法覆盖率高，面对复杂的页面也能够达到100％的检测，当遇到焦点陷入情况就会退出程序，减少冗余遍历，时间消耗少，并且此方法具有高召回率，几乎可以覆盖所有的焦点陷入情况。

技术领域：

本发明涉及信息无障碍领域，特别是涉及一种用于手机APP无障碍读屏软件 焦点陷入的检测方法。

背景技术：

2020年3月1日，由全国信息技术标准化技术委员会提出、浙江大学牵头、 深圳市信息无障碍研究会参与起草的新国标《GB/T 37668-2019信息技术互联 网内容无障碍可访问性技术要求与测试方法》正式实施，是我国互联网信息无障 碍领域第一个国家标准。标准指出：“在网页中,如果焦点能移到某个组件上, 则应将焦点从该组件上移开；如果除了点击未经更改的方向键、制表键或使用其 他标准退出方式之外还需要其他的操作,则应告知用户移开焦点的方法。”这强 调了在读屏情况下，软件在任何时刻都必须有退出或者前进入口，保证用户可以 离开当前页面。这意味着，当用户无法通过左滑右滑操作进行APP遍历的时候， 就认为页面产生了焦点陷入。例如，当电商APP大促时，软件通常会弹出红包浮层来提醒用户参与活动或者领取红包，当读屏软件打开时，会出现聚焦框锁死的 情况，用户无法通过左滑、右滑来关闭浮窗，从而无法继续使用软件，给用户造 成了使用障碍。其他类似的例子还有，轮播图或者滚动组件容易出现焦点框小范 围循环遍历的情况，即用户只能遍历滚动组件中的内容，影响了用户遍历页面的 其他内容。可以看出焦点陷入是一个十分影响用户体验的同时也是十分容易发生 的问题，一旦页面出现了焦点陷入，APP此页的功能对于盲人来说就是一片漆黑。

目前，网页端已实现了对焦点陷入规则的检测，但是客户端与网页端有很大 不同，网页端可以从代码侧轻松的获取到tab焦点的位置信息，而客户端无法通 过非侵入的手段获取到焦点框的位置。另外，两者的页面布局也不同。网页端的 页面布局相对来说单一，移动端的页面布局则要复杂很多，并且Android与iOS 系统间的布局也存在一定的差异。除此以外，网页端的发生滚动时，获取的tab 信息是相对于UI原点的绝对位置信息，但是移动端是相对于屏幕左上角的相对 位置。

因此网页端的方法无法直接用于客户端。客户端的焦点陷入规则检测存在以 下的困难和挑战：

(1)数据获取难：移动端的封装特性以及系统差异，导致焦点框位置的获 取成为了问题。

(2)如何更好的定义焦点陷入：如何通过代码的角度去定义一种现象属于 焦点陷入是检测问题的核心。

(3)如何解决两端差异：Android与iOS系统底层对于无障碍的实现差异， 导致焦点的遍历表现出现差异，如何提高代码复用率，尽量做到一份代码两侧复 用。

发明内容：

针对以上问题和难点，本发明提出了一种用于手机APP无障碍读屏软件的 焦点陷入检测方法，使用本发明的方法可以自动化、非侵入式地检测APP是否 存在焦点陷入问题，本方法具有高覆盖率、低时间消耗、高召回率等优点，可以 方便地作为一个功能模块接入到现有的无障碍检测系统，具有很好的实用性。

一种用于手机APP无障碍读屏软件的焦点陷入检测方法，包括如下步骤：

S1：打开手机上的无障碍读屏软件，获取手机为无障碍功能提供的额外信息， 用焦点框框出当前聚焦的位置，并用语音描述当前的元素；

S2：打开被测软件，调用机械臂在屏幕上做一次滑动操作后截屏并上传到服 务端；