[发明专利]基于手势识别的辅助语义识别系统

说明书

本发明涉及人机交互技术领域，具体公开了基于手势识别的辅助语义识别系统，包括输入模块和图像采集模块；输入模块用于采集语音信息并将语音信息转换为第一文字文本；还包括：图像处理模块、姿势识别模块和语义识别模块，语义识别模块用于判断第一文字文本的内容与第二文字文本的内容是否一致，如果一致，语义识别模块还用于从第一文字文本并提取咨询关键词，语义识别模块还用于将咨询关键词与法律词库中的法律关键词进匹配，并获取匹配成功的法律关键词对应的法律条文；语义识别模块还用于将法律条文输出。采用本发明的技术方案能够准确识别输入的语句是否出现错误。

技术领域

本发明涉及人机交互技术领域，特别涉及基于手势识别的辅助语义识别系统。

背景技术

由于法律具有较高的专业性，非专业人才很难掌握和灵活运用。因此，人们在遇到法律问题时往往需要求助律师进行相关法律问题的咨询。然而，因为律师的从业人数相对较少，咨询费用相对较贵，律师的咨询服务并不能够满足所有人的咨询要求。为了解决普通大众的法律咨询问题，能提供自助服务的法律咨询机器人应运而生。

人们通过法律咨询机器人进行法律问题咨询时，需要被咨询者输入咨询问题，系统可以根据咨询问题自动匹配对应的解答发送给咨询者。

目前咨询者输入咨询问题的方式主要为键盘输入。但是对于部分人群来说，还是存在着不会使用键盘输入或者使用键盘输入不熟练导致效率低的问题。为了让所有人都能顺利的进行咨询，需要引入额外的输入方式，例如语音输入。

但是与键盘输入相比，语音输入比较直接，想法不需要进行二次转换就能直接表述出来，导致思考的时间比较少，容易出现叙述错误的情况。

为了提高语音输入的准确性，需要一种辅助语义识别的系统。

发明内容

本发明提供了基于手势识别的辅助语义识别系统，能够准确识别输入的语句是否出现错误。

为了解决上述技术问题，本申请提供如下技术方案：

基于手势识别的辅助语义识别系统，包括输入模块和图像采集模块；图像采集模块用于采集图像数据；输入模块用于采集语音信息并将语音信息转换为第一文字文本；还包括：

图像处理模块，用于获取图像数据并划分姿势识别区；

姿势识别模块，用于识别姿势识别区的手势并记录手势的运动轨迹信息；姿势识别模块还用于将手势及手势的运动轨迹信息输入预设的手势识别模型中并获取识别结果；识别结果为第二文字文本；

语义识别模块，用于获取第一文字文本和第二文字文本，将第一文字文本的内容与第二文字文本的内容进行对比，判断第一文字文本的内容与第二文字文本的内容是否一致，如果一致，语义识别模块还用于从第一文字文本并提取咨询关键词，语义识别模块还预存有法律词库，法律词库包括若干法律关键词，以及与法律关键词对应的法律条文；语义识别模块还用于将咨询关键词与法律词库中的法律关键词进匹配，并获取匹配成功的法律关键词对应的法律条文；语义识别模块还用于将法律条文输出。

基础方案原理及有益效果如下：

本方案中，通过实时采集图像数据，并不断识别手势以及记录手势的运动轨迹信息；可以在用户用手势表达信息时，实时的将手势转换为第二文字文本，实现对手势输入的识别。

用于将第一文字文本的内容与第二文字文本的内容进行对比，判断第一文字文本的内容与第二文字文本的内容是否一致，能有效避免咨询者所说的和所想的不一致的情况。语义识别模块能从第一文字文本中提取咨询关键词，通过咨询关键词匹配法律关键词，以及匹配法律关键词对应的法律条文，整个过程实现了从用户输入的长句到法律条文的识别，顺利实现了人机交互，便于后续在线咨询的顺利进行。

进一步，所述语义识别模块在未获取到第一文字文本时，还用于从第二文字文本中提取咨询关键词。