[发明专利]一种模拟用户行为的屏幕触控检测方法及系统

说明书

本发明公开了模拟用户行为的屏幕触控检测方法，包括对用户单手指滑动和用户击键时的个性化数据进行采集，对原始数据进行预处理，包括无用数据过流、连续击键行为的分割、运动传感器序列的截取和缺失值处理，提取动态滑动模态、击键模态和手机运动模态的特征，并将滑动模态特征矢量与运动模态特征矢量连接为滑动融合矢量，将击键模态的特征矢量与运动模态的特征矢量连接为击键融合矢量，对数据集中用户滑动屏幕时的运动传感器数据进行预处理和特征提取，将运动模态特征向量集作为训练集，使用姿态感知算法训练用户单指滑动屏幕时识别用户姿态的多分类器得到屏幕触控的检测结果，有效地去处理图像噪声，提高了屏幕检测的精确度。

技术领域

本发明属于图像处理技术领域，尤其涉及一种模拟用户行为的屏幕触控检测方法及系统。

背景技术

用户在使用智能手机时，尤其是在使用社交软件时会产生大量的击键数据，击键数据包含丰富的可用于认证用户身份的个人信息，合理利用击键数据对提高认证准确度有较大作用，此外，对用户使用手机时的击键数据进行采集是隐式的，对用户透明无打扰。击键认证的缺点在于击键行为易受用户情绪、环境等外部因素的影响，且用户的击键模式可能会随用户对输入文本和输入设备的熟悉程度发生变化，因此击键认证不适合作为用户认证的唯一方式，只适合与其他行为模态结合为传统认证方式添加辅助保护。

发明内容

有鉴于此，本发明提供了一种模拟用户行为的屏幕触控检测方法及系统，解决了在图像采集捕获图像过程中检测用户对屏幕触控的精度，同时也提高了对图像采集到的图像进行校正，提高了模板样本与待测样本的一致性，提升了手机屏幕缺陷检测的正确率，具体采用以下技术方案来实现。

第一方面，本发明提高了一种模拟用户行为的屏幕触控检测方法，包括以下步骤：

对用户单手指滑动和用户击键时的个性化数据进行采集，其中，采集的数据包括屏幕的滑动数据、用户打字时的击键数据和用户在滑动操作时与击键动作时的加速度计、陀螺仪、方向计和磁力计在X、Y、Z三条轴上的采样数据序列；

对原始数据进行预处理，包括无用数据过流、连续击键行为的分割、运动传感器序列的截取和缺失值处理；

提取动态滑动模态、击键模态和手机运动模态的特征，并将滑动模态特征矢量与运动模态特征矢量连接为滑动融合矢量，将击键模态的特征矢量与运动模态的特征矢量连接为击键融合矢量；

对数据集中用户滑动屏幕时的运动传感器数据进行预处理和特征提取，将运动模态特征向量集作为训练集，使用姿态感知算法训练用户单指滑动屏幕时识别用户姿态的多分类器得到屏幕触控的检测结果。

作为上述技术方案的进一步改进，对用户单手指滑动和用户击键时的个性化数据进行采集得到图像数据，包括：

将采集到的手机屏幕图像进行图像定位，通过仿射变换实现图像的校正和目标区域的裁剪；

采用剪切变换将图像分解成低频和高频两部分，构造0°、45°、90°和135°四种方向的原始形状对低频部分进行灰度闭运算操作，对高频部分进行N×M中值滤波去噪处理，再通过剪切逆变换生成增强图像；

将模板图像进行去噪处理，并对去噪后的模板图像进行模板处理和保持图像细节的原型，获取包含缺陷信息的像素集合的残差图像；

对图像进行分割、执行连通性分析并将缺陷像素连接。执行形态学处理对图像信息进行裁剪和填充，以对缺陷特征进行计算测量，获取缺陷的形态参数得到需要的缺陷特征信息。

作为上述技术方案的进一步改进，将采集到的手机屏幕图像进行图像定位，通过仿射变换实现图像的校正和目标区域的裁剪，包括：创建一个目的像素并设置其坐标通过反向变换得到的浮点坐标为(i+u，j+v)，其中i、j均为浮点坐标的整数部分，u、v为浮点坐标的小树部分，取值[0,1)区间的浮点数，该像素的值f(i+u,j+v)表示为：