[发明专利]交互方法、装置、设备及存储介质

说明书

本发明提供了一种交互方法、装置、设备及存储介质。为应用中的视图组件配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件；为一个或多个视图组件提供交互命令识别服务，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。由此，通过为视图组件添加对交互命令的支持，就像传统的触控事件可以直达视图组件一样，可以让非接触式交互事件直达视图组件，从而可以提升用户的非接触式交互体验。

技术领域

本发明涉及交互领域，特别是涉及一种交互方法、装置、设备及存储介质。

背景技术

目前语音交互方式(Voice-UI)正在流行起来，而基于视觉(如双/多目摄像头)的交互方式逐渐也应用比较广泛。虽然这些自然交互方式是下一步发展的方向，但目前最常见的交互方式还是Graphics UI(图形用户界面，GUI)，如果能在GUI基础上增加这些新型的自然交互方式，将极大提升用户交互时的体验。这种交互方式可以称为“多模态交互界面(Multi-Modal Interface，简称MMI)”。本质上这些交互方式都是相对于以鼠标、键盘、触摸等为代表的传统的接触式交互方式的一种扩展。

以语音交互为例，目前业界常见的做法都是类似语音助手的方案，如Android的Google Assistant和iOS的Siri，主要的做法是通过语音识别将用户的语音转换成对应的文字，再通过NLU理解成为一个Action。然后通过这个Action以操作系统进程间通讯的机制返回来并发送给对应的应用。应用在收到这个Action后，去执行对应的功能。

这种方式主要存在如下主要缺点：

1)无法做到语音和应用的深度集成，无法比较方便的实现沉浸式体验。因为语音和应用是处于完全两个进程，因此只能通过约定一系列进程间通讯的接口来完成相关的功能；

2)应用无法及时将语音识别的上下文告之另一个应用，从而无法方便地对语音输入进行限定，无法做高效的语音识别；

3)由于语音助手的方案，很多语音相关的交互逻辑是集中在语音助手应用中的，使得本该属于自己应用的语音和GUI这块相关逻辑分散在语音助手和自己应用这两个应用中，开发起来复杂，扩展性和可维护性差，无法满足未来大量的语音+GUI交互的需求；

4)没有考虑到“多模态”交互方式，因为目前iOS/Android的UI还是传统的GUI，交互方式还是以触摸、鼠标、键盘这些传统交互模式为主，语音助手虽然可以提供一定程度上的语音模态的支持，但如果以后再支持多模态，又会需要另一个模态助手或者扩展语音助手的能力来支持其他模态，这会对开发这类应用无论在扩展性和可维护性都提出更大的挑战。

因此，针对语音、视觉等新型的交互方式，仍然需要一种改进的交互方案。

发明内容

本发明的一个目的在于，提供一种支持语音、视觉等非接触式交互方式的交互方案，以解决背景技术部分提及的至少一种问题。

根据本发明的第一个方面，提供了一种交互方法，包括：为应用中的视图组件配置一个或多个交互命令，交互命令用于描述与其对应的非接触式交互事件，非接触式交互事件是以非接触式交互方式输入的事件；为一个或多个视图组件提供交互命令识别服务，交互命令识别服务用于识别非接触式交互事件所对应的交互命令。

可选地，非接触式交互方式包括以下至少一种：语音交互方式：和/或视觉交互方式。

可选地，为应用中的视图组件配置一个或多个交互命令的步骤包括：在视图组件上集成第一接口，第一接口用于为视图组件添加一个或多个交互命令；并且/或者在视图组件上集成第二接口，第二接口用于为视图组件删除一个或多个交互命令。