[发明专利]一种基于图像识别的交互系统及交互方法

说明书

本申请公开了一种基于图像识别的交互系统及交互方法，其中，该系统通过影像模块在目标区域形成影像画面，通过信息获取模块获取所述影像画面中用户摆放的预设教具的排列信息或操作体的运动轨迹，最后通过结果匹配模块将所述预设教具的排列信息或所述操作体的运动轨迹与所述影像画面对应的期望结果进行匹配，在匹配一致时，控制所述影像模块输出第一结果信息，在匹配不一致时，控制所述影像模块输出第二结果信息。所述基于图像识别的交互系统在提供操作体交互方式的同时，还提供了一种全新的方式实现人、机和实物(预设教具)之间的交互，有助于实现场景化学习和个性化学习，实现了丰富交互系统的交互方式，提升用户对于交互内容的兴趣的目的。

技术领域

本申请涉及人机交互技术领域，更具体地说，涉及一种基于图像识别的交互系统及交互方法。

背景技术

人机交互，又称人机互动(Human–Computer Interaction或Human–MachineInteraction，简称HCI或HMI)，是一门研究系统与用户之间的交互关系的学问。

人机交互技术越来越广泛地应用于娱乐和远程教育等领域，以远程教育为例，用户利用客户端获取学习界面，并通过输入设备反馈学习成果，实现远程学习和成果验收。

最初的人机交互系统的模式单一，用户需要通过键盘等输入设备实现信息输入，系统通过输出设备实现信息输出或输入信息反馈。随着新技术的不断发展，语音、手势等新的输入方式出现，在一定程度上丰富了人机交互系统的交互方式。但对于应用于远程教育的人机交互系统而言，如何进一步丰富交互方式，以提升用户对于学习内容的兴趣，成为相关技术人员的研究方向之一。

发明内容

为解决上述技术问题，本申请提供了一种基于图像识别的交互系统及交互方法，以实现丰富交互系统的交互方式，提升用户对于交互内容的兴趣的目的。

为实现上述技术目的，本申请实施例提供了如下技术方案：

一种基于图像识别的交互系统，包括：

影像模块，用于在目标区域形成影像画面；

信息获取模块，用于获取所述影像画面中预设教具的排列信息或操作体的运动轨迹；

结果匹配模块，用于将所述预设教具的排列信息或所述操作体的运动轨迹与所述影像画面对应的期望结果进行匹配，并在匹配一致时，控制所述影像模块输出第一结果信息，在匹配不一致时，控制所述影像模块输出第二结果信息。

可选的，所述信息获取模块包括：

图像获取单元，用于获取所述目标区域的图像信息，所述图像信息包括所述影像画面和排列于所述目标区域中的预设教具或包括轨迹影像序列，所述轨迹影像序列包括多张目标区域图像，每张所述目标区域图像包括所述影像画面和所述操作体在所述目标区域的位置信息；

信息识别单元，用于对所述图像信息进行分类或识别，以获取所述影像画面中预设教具的排列信息或操作体的运动轨迹。

可选的，所述信息识别单元包括：

教具识别模型，用于对包括所述影像画面和排列于所述目标区域中的预设教具的图像信息进行分类，以获取所述预设教具的排列信息；

轨迹识别模型，用于对所述轨迹影像序列进行信息提取，以获取每张所述目标区域图形中的操作体在所述目标区域的位置信息，并将所有所述目标区域图形中的操作体在所述目标区域的位置信息进行组合，以获取所述操作体的运动轨迹。

可选的，所述教具识别模型为预先经过训练样本训练的深度学习网络模型；

所述深度学习网络模型的训练过程包括：

获取训练样本，所述训练样本为预先标记所述预设教具在目标区域中的排列信息的图像；