[发明专利]一种基于连续语音与轨迹纠错的多通道输入方法及终端设备

说明书

本发明公开了一种基于连续语音与轨迹纠错的多通道输入方法及终端设备。本方法为：1)终端设备将采集的语音信号发送给语音识别模块；2)语音识别模块将所述语音信号转化为文本识别结果，并对该文本识别结果中的每个字、词生成一对应的候选字、词列表；然后在终端设备的文本输出区域显示出该文本识别结果；3)当用户判定该文本识别结果中出现错误字或错误词时，在所述错误字或所述错误词的首字上绘制对应正确目标字的特征笔划轨迹；4)根据错误字、词及其对应的所述特征笔划轨迹，从对应候选字、词列表中过滤出目标输入字或错误词替换对应的错误字或错误词，得到最终的输出。本发明可以在保持输入自然性的同时提高输入的效率。

技术领域

本发明属于人机交互领域，涉及一种适用于多种交互设备的中文文本输入，具体为一种基于连续语音与轨迹纠错的多通道输入方法及终端设备。

背景技术

一直以来，文本输入是人机交互领域研究的关键问题之一。中文作为一种发音和结构的结合体，它是一个单音节多声调的语言。在汉语中只有400多个无调音节，有1600多个带调音节，但常用的汉字却有40000多个，所以在汉语中一音多字和一字多音的情况非常普遍。由此可知，复杂的中文输入给人机交互领域中的文本输入带来了很大的挑战。

目前，主流的输入方法大多是单通道的输入方法，比如语音输入、拼音输入和手写输入。语音输入不仅输入效率高而且使用自然，但是由于中文的复杂性和语音本身的易干扰性，语音输入的准确性受到用户发音的准确性与环境等因素的影响较大。拼音输入不适合移动设备中的小屏幕，比如在移动设备中的9宫格输入情景下，每输入一个汉字都需要多次的按键次数；在移动设备中的全键盘输入情景下，很容易发生误触。而且拼音输入对于不会拼音的用户来说门槛较高。手写输入输入时间长，而且用户在书写时经常出现连笔的现象，所以手写识别较低效。综上，单输入通道的输入方法存在速度慢与识别准确率低的缺点。

经研究表明，多通道融合的输入方式可以有效的提高输入效率与识别的准确率(参考：Oviatt,S.Ten Myths of Multimodal Interaction,Communications of the ACM,42,9(1999),74-81)。目前已经有一些工作研究多通道输入，Yue等人发现语音辅助手写的输入方法可以有效地提高用户的输入效率，但存储空间的成本太大，而且只对不连续的输入有效(参考文献：H.Wang W.Yue and G.Wang.2005.Research on speech assistedhandwriting input of discontinuous Chinese characters.Joint AcademicConference on building a harmonious human-machine environment 1,1(2005),1606–1612)；Bo在移动设备上将语音和键盘结合用于文本输入，系统将语音作为主要的输入通道，将键盘作为确认或纠错通道，但是将交互终端限制在移动设备中(参考文献：Hsu,B.J.,Mahajan,M.and AAcero,A.Multimodal Text Entry on MobileDevices.IEEE Workshopon Automatic Speech Recognition and Understanding(ASRU)2005)；Jiang等人将基于键盘的精确的输入方法与基于语音的模糊的输入方法相结合实现多通道输入，但适用的交互终端为移动设备(参考文献：Yingying Jiang,Xugang Wang,Feng Tian,Xiang Ao,Guozhong Dai,and Hongan Wang.2008.Multimodal Chinese text entry with speechand keypad on mobile devices)；Ao和Wang用语音来纠正手写中文识别中的错误(参考文献：Ao,X.,Wang,X.G.,Tian,F.Dai,G.Z.and Wang H.A.Crossmodal error dorrectionofcontinuous handwriting recognition by speech.In Proc.IUI 2007.ACM Press(2007),243-250)，但将手写作为主要的输入通道，这在一定程度上降低了输入的效率。