[发明专利]一种基于XR的模拟多人交互系统

权利要求书

1.一种基于XR的模拟多人交互系统，其特征在于：该系统包括XR头戴设备、字幕显示模块、虹膜控制模块和XR处理模块；

所述XR头戴设备佩戴在用户头上，用于对虚拟交互的场景和内容进行显示，所述字幕显示模块用于对若干个用户交互过程中的语音信号进行识别并转化为文字显示在XR头戴设备上，所述虹膜控制模块利用用户的虹膜对整个多人交互的内容进行控制，所述XR处理模块用于对扩展现实的交互场景进行处理；

所述XR处理模块为处理器，对扩展现实的交互场景进行生成和渲染；

所述字幕显示模块的输出端电性连接XR头戴设备和虹膜控制模块的输入端，所述XR头戴设备与虹膜控制模块电性连接，所述虹膜控制模块的输出端电性连接XR处理模块的输入端，所述XR处理模块的输出端电性连接XR头戴设备的输入端；

所述XR头戴设备包括陀螺仪、眼球追踪单元和透视显示镜片；

所述陀螺仪安装在XR头戴设备内部，用于对用户佩戴XR头戴设备时头部的转动角度进行采集，所述眼球追踪单元安装在XR头戴设备内部，用于对用户的眼球进行追踪，确定用户的目光所停留的位置，所述透视显示镜片用于对扩展现实场景进行显示；

所述陀螺仪和眼球追踪单元的输出端电性连接虹膜控制模块的输入端，所述处理器、字幕显示模块和虹膜控制模块的输出端电性连接透视显示镜片的输入端；

所述字幕显示模块包括语音识别单元、语音转换单元、频率分析单元、语音区分单元和文字显示单元；

所述语音识别单元用于对用户的语音信号进行识别，所述频率分析单元用于对语音识别单元所识别的语音信号的频率进行分析，所述语音区分单元根据频率分析单元的分析结果判定该语音信号是否属于用户自身，所述语音转换单元用于将属于用户自身的语音信号转换为文字信息，所述文字显示单元用于将语音转换单元所转换的文字信息以字幕的形式显示在多人交互场景下他人的透视显示镜片上；

所述语音识别单元的输出端电性连接虹膜控制模块和频率分析单元的输入端，所述频率分析单元的输出端电性连接语音区分单元的输入端，所述语音区分单元的输出端电性连接语音转换单元的输入端，所述语音转换单元的输出端电性连接文字显示单元的输入端，所述文字显示单元的输出端电性连接透视显示镜片的输入端；

所述虹膜控制模块包括距离测算单元、定点显示单元、移动分析单元、位置确定单元和操作执行单元；

所述距离测算单元用于对用户虹膜与透视显示镜片之间的垂直距离进行测算，用户虹膜与透视显示镜片之间垂直距离的交点为中心点，所述定点显示单元用于在透视显示镜片的特定位置显示训练点，所述移动分析单元用于对XR头戴设备的转动角度和用户虹膜的转动角度与用户视线在透视显示镜片的移动距离之间的关系进行分析，所述位置确定单元用于根据XR头戴设备的转动角度和用户虹膜的转动角度确定用户视线在透视显示镜片上的位置，以便于根据用户的目光对多人交互场景进行控制，所述操作执行单元用于根据用户视线在透视显示镜片上的位置以及语音识别单元识别的语音信号对透视显示镜片上的显示内容进行控制；

所述陀螺仪和眼球追踪单元的输出端电性连接距离测算单元和移动分析单元的输入端，所述定点显示单元的输出端电性连接透视显示镜片和距离测算单元的输入端，所述距离测算单元的输出端电性连接移动分析单元的输入端，所述移动分析单元的输出端电性连接位置确定单元的输入端，所述位置确定单元和语音识别单元的输出端电性连接操作执行单元的输入端，所述操作执行单元的输出端电性连接处理器的输入端。

2.根据权利要求1所述的一种基于XR的模拟多人交互系统，其特征在于：在进行模拟多人交互前，用户需要对模拟多人交互系统进行训练，所述用户按照训练内容读一段文字，利用所述语音识别单元对用户所读的文字进行识别，利用所述频率分析单元对用户的语音信号的频率进行分析，确定用户的语音信号频率为f±a，其中，f表示用户的正常语音信号的频率，a表示用户语音信号频率上下波动的阈值；

在进行模拟多人交互时，所述频率分析单元对多人语音交互过程中的语音信号的频率进行分析，确认属于用户频率的语音信号，利用语音区分单元对属于用户的语音信号进行语音转换，对不属于用户的语音信号进行丢弃，利用所述文字显示单元将语音转换单元所转换的语音信号显示在他人的透视显示镜片上。