[发明专利]一种输入的方法及相关装置

说明书

本申请公开了一种输入的方法及相关装置，该方法包括：获取多模态输入信息，多模态输入信息包括用户输入信息和辅助输入信息；基于用户输入信息、辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；基于用户输入特征、辅助输入特征和特征交互网络，获得用户输入信息对应的目标输入内容。可见，在用户输入信息的基础上，结合辅助输入信息实现多模态输入，输入不再依赖于单模态的用户输入信息，而是感知更多输入来源，通过用户输入特征和辅助输入特征的特征交互实现多模态交互，联合获得准确性更高的用户输入信息对应的目标输入内容，该输入方式适用于复杂输入环境，使得用户输入更加高效、更加智能，从而提高用户输入体验。

技术领域

本申请涉及输入法技术领域，尤其涉及一种输入的方法及相关装置。

背景技术

近年来，输入法作为人机交互的关键环节得到快速发展，智能终端设备中大多数输入法主要集中于键盘输入、手写输入和语音输入等。

发明人经过研究发现，目前输入法一般是接收用户预先确定的单模态的用户输入信息，上述键盘输入、手写输入和语音输入只有在安静环境下输入准确率较高，当在嘈杂、混乱场景下键盘输入、手写输入和语音输入的输入错误率会由于周围环境以及用户自身因素的影响大大降低；而且上述键盘输入、手写输入和语音输入等也不能完全反映用户与智能终端设备之间真正的人机交互，真正的人机交互不仅仅包括语言交互还包括非语言交互，比如面部表情或者手势姿态等。即，上述键盘输入、手写输入或语音输入在复杂输入环境中输入效率低、输入效果差，导致用户输入体验差。

发明内容

本申请所要解决的技术问题是，提供一种输入的方法及相关装置，获得准确性更高的用户输入信息对应的目标输入内容，该输入方式适用于复杂输入环境，使得用户输入更加高效、更加智能，从而提高用户输入体验。

第一方面，本申请实施例提供了一种输入的方法，该方法包括：

获取多模态输入信息，所述多模态输入信息包括用户输入信息和辅助输入信息；

基于所述用户输入信息、所述辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；

基于所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

可选的，所述用户输入信息包括键盘输入信息、手写输入信息或语音输入信息；当所述用户输入信息包括键盘输入信息时，所述用户输入特征包括键盘输入特征；当所述用户输入信息包括手写输入信息时，所述用户输入特征包括手写特征；当所述用户输入信息包括语音输入信息时，所述用户输入特征包括语音特征。

可选的，所述辅助输入信息包括传感器输入信息和/或视觉输入信息；当所述辅助输入信息包括传感器输入信息时，所述辅助输入特征包括传感器特征；当所述辅助输入信息包括视觉输入信息时，所述辅助输入特征包括视觉特征；当所述辅助输入信息包括传感器输入信息和视觉输入信息时，所述辅助输入特征包括传感器特征和视觉特征。

可选的，所述特征提取器包括可训练特征提取器、不可训练特征提取器或混合特征提取器；其中，所述可训练特征提取器是基于输入信息样本训练浅层网络或者深层网络获得的。

可选的，所述特征交互网络是基于多模态输入特征样本训练浅层网络或者深层网络获得的。

可选的，所述方法还包括：

获得用户个性化特征；

对应地，所述基于所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容，具体为：

基于所述用户个性化特征、所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

可选的，所述用户个性化特征包括用户个性化生理特征和/或用户个性化行为特征。