[发明专利]虚拟隐形键盘的在线考试方法及系统

权利要求书

1.一种虚拟隐形键盘的在线考试方法，其特征在于，包括：

基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像，并从所述各个操作图像中提取具有连续手势操作的图像序列；

对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本；

响应于识别到所述考生触发所述虚拟键盘的第一光效区域，将所述答题文本输入与所述第一光效区域关联的答题框；

响应于识别到所述考生触发了所述虚拟键盘的第二光效区域，基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理；

在所述基于摄像头获取考生在考试过程中对虚拟键盘的各个操作图像之前，还包括：

响应于确定所述考生触发了与所述虚拟键盘关联的启动指令，基于姿态传感器获取终端设备当前的姿态，并基于所述摄像头获取当前场景的图像；

将所述图像输入至预先构建的平整度识别模型中，以确定当前所述终端设备所在桌面对应的平整度；

在所述平整度大于预设阈值，且所述姿态满足预设条件的情况下，启动激光光源，以在所述桌面上投射所述虚拟键盘对应的光效展示区域，其中，所述光效展示区域中包含有虚拟按键区域。

2.根据权利要求1所述的方法，其特征在于，所述对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本，包括：

其中，所述摄像头至少有四个，各个所述摄像头对应的拍摄角度不同，所述图像序列的组数与所述摄像头的数量相同，每个所述摄像头对应一组所述图像序列，每组所述图像序列对应有一个所述拍摄角度，

基于每组所述图像序列对应的所述摄像头的所述拍摄角度，对所述图像序列中所述考生的手势操作进行手指识别，以确定每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置；

根据每个所述操作图像中手指上的各个关键点对应的位置信息、以及每个关键点对应的键盘映射位置，确定每组所述图像序列对应的各个所述手指的抬起下落动作，以及对应的先后顺序；

根据所述各个所述手指的抬起下落动作，以及对应的先后顺序，确定所述考生当前的敲击的各个按键的先后顺序，进而根据所述敲击的各个按键的先后顺序，生成所述考生当前的答题文本。

3.根据权利要求1所述的方法，其特征在于，在所述对所述图像序列中所述考生的手势操作进行识别，以确定所述考生当前的答题文本之后，还包括：

将所述答题文本输入至预先训练生成的文本纠错模型，以对所述答题文本进行文本纠正，生成纠正后的文本；

将所述纠正后的文本展示在显示屏中的候选项中；

响应于接收到用户对所述候选项点击的确认操作，将所述纠正后的文本作为所述答题文本。

4.根据权利要求1所述的方法，其特征在于，所述基于所述第二光效区域关联的预设操作，对所述答题框中的答题文本进行处理，包括：

确定所述考生触发所述第二光效区域的触发方式；

基于预设的映射关系，获取与所述触发方式和所述第二光效区域关联的预设操作；

基于所述预设操作，对所述答题框中的答题文本进行处理；

将处理后的结果通知所述考生进行确认。