[实用新型]具有文本及语音处理功能的混合现实智能眼镜

权利要求书

1.具有文本及语音处理功能的混合现实智能眼镜，其特征在于，包括：所述混合现实智能眼镜至少包括，深度双目图像采集模组，SLAM处理器，数字光显示呈像装置，数据处理器，语音采集输出模组，OCR处理器；

深度双目图像采集模组获取外部信息，OCR处理器对所述外部信息进行识别，判断是否含有文字信息；

若含有所述文字信息，则所述SLAM处理器结合所述外部信息，对所述文字信息对应的文字进行定位；

所述数据处理器将文字信息翻译为用户需要的目标语言，根据定位将其在所述数字光显示呈像装置上进行显示，同时可进行语音播报；

其中，所述混合现实智能眼镜至少有一组所述深度双目图像采集模组，所述语音采集输出模组包括：语音输入组件、语音识别组件、语音输出组件。

2.如权利要求1所述的混合现实智能眼镜，其特征在于，所述深度双目图像采集模组获取外部信息，OCR处理器对所述外部信息进行识别，判断是否含有文字信息，具体包括：

所述深度双目图像采集模组拍摄当前环境状态，得到所述外部信息，所述语音输入组件记录当前环境声音；

所述OCR处理器提取特征库中的文字特征，用于对外部信息进行检测，若检测结果为所述外部信息具有文字特征，则提取文本区域；

所述数据处理器根据所述文字特征，结合所述语音识别组件对所述语音输入组件记录的环境声音进行识别，得到语音识别结果。

3.如权利要求2所述的混合现实智能眼镜，其特征在于，所述数据处理器根据所述文字特征，结合所述语音识别组件对所述语音输入组件记录的环境声音进行识别，得到语音识别结果，具体包括：

所述语音识别组件通过声音特征提取的方式对所述环境声音提取声音帧，将所述声音帧发送给所述数据处理器，所述数据处理器根据声纹模型，得到所述环境声音包含的具体内容；

OCR处理器将所述环境声音包含的具体内容显示在所述数字光显示呈像装置上，同时所述数据处理器根据用户需求将所述具体内容翻译为目标语言，所述OCR处理器将所述目标语言进行显示。

4.如权利要求1所述混合现实智能眼镜，其特征在于，所述若含有所述文字信息，则所述SLAM处理器结合所述外部信息，对所述文字信息对应的文字进行定位，包括：

SLAM处理器根据所述深度双目图像采集模组获取的外部信息，通过深度双目图像采集模组中的光飞传感器和三维重建算法对外部环境进行建立，之后对文字信息中的文字进行坐标建立，将文字坐标放入已经建立的外部环境中，从而对所述文字进行定位。

5.如权利要求1所述的混合现实智能眼镜，其特征在于，所述处理器将文字信息翻译为用户需要的目标语言，根据定位将其在所述数字光显示呈像装置上进行显示，同时可进行语音播报，包括：

所述混合现实智能眼镜上的所述语音输出组件根据用户需求可直接将所述目标语言以声音的形式输出。

6.如权利要求4所述的混合现实智能眼镜，其特征在于，所述对所述文字进行定位，还包括：

计算所述文字的三维位置，根据该三维位置信息和所述外部信息对所述文字的位置跟踪。

7.如权利要求3所述的混合现实智能眼镜，其特征在于，所述语音识别组件通过声音特征提取的方式对所述环境声音提取声音帧，将所述声音帧发送给所述数据处理器，所述数据处理器根据声纹模型，得到所述环境声音包含的具体内容，包括：

建立声纹模型，所述声纹模型用于对所述环境声音进行识别，判断是否包含文字信息；其中，所述声纹模型中有音素帧，大于自然数零的音素帧数量组成文字；

通过机器学习、深度学习、神经网络的学习方式对以上识别结果进行学习，并在后续识别时结合学习结果对声音进行识别。

8.根据权利要求1-7任一所述的混合现实智能眼镜，其特征在于，将翻译结果以混合现实的呈现方式在所述数字光显示呈像装置上显示。