[发明专利]一种虚拟场景与真实场景融合的模型系统与方法

摘要

本发明提供一种用于虚拟场景与真实场景融合的模型系统与方法。本发明拍摄用户所在真实场景的影像，在用户视角下提取真实场景对象，并全面采集真实环境中的各种环境参数；进而，本发明判断各个真实场景对象和真实环境因素在用户进入虚拟现实的过程中对用户感知的影响权重；根据该影响权重的排序，选取其中影响权重较高的真实场景对象和真实环境因素与虚拟场景相融合，而忽略其中影响权重低于阈值的对象和因素；并且综合考虑影响权重的大小以及真实场景对象本身的空间位置，协调真实场景对象与虚拟场景对象共同显示；对于真实场景对象，判定其与虚拟场景的兼容程度，并相应调整真实场景对象的成像模型。

主权项

1.一种虚拟场景与真实场景融合的模型系统，其特征在于，包括：真实场景拍摄单元，用于以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；真实场景对象提取单元，用于以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实场景对象；真实环境参数采集单元，用于采集用户所在真实环境的真实环境参数；用户行为拍摄和识别单元，用于拍摄用户的实时画面，从中识别和提取用户的行为动作，并确定用户的行为动作与真实场景对象的关联度；虚拟场景生成单元，用于以所述用户视角作为虚拟场景影像的成像视角，生成初始的虚拟场景影像，所述虚拟场景影像包括至少一个虚拟成像对象；影响权重计算单元，用于根据所述真实场景对象在用户视角下的真实场景影像中所处于的空间位置，以及根据所述用户的行为动作与真实场景对象的关联度，计算各个真实场景对象对用户感知的影响权重；以及根据预定的经验性标准计算真实环境参数对用户感知的影响权重；融合目标判定单元，用于根据所述影响权重，选取其中影响权重大于等于选择阈值的真实场景对象和真实环境因素作为与虚拟场景融合的融合目标；真实场景对象模型单元，针对作为融合目标的真实场景对象，为该真实场景对象建立真实场景对象模型并渲染，作为初始的真实场景对象影像；真实场景对象模型重构单元，用于根据作为融合目标的真实场景对象在用户视角下所处的空间位置，计算其与虚拟成像对象的最小距离；当该最小距离小于距离阈值时，根据该真实场景对象的影响权重，缩小其真实场景对象模型的尺度，并根据缩小后的真实场景对象模型重新渲染生成最终真实场景对象影像；虚拟场景调整单元，根据作为融合目标的真实环境因素，判定该真实环境因素与初始的虚拟场景影像的匹配度；当匹配度不满足预定匹配阈值时，调整所述虚拟场景影像；场景融合单元，用于根据作为融合目标的真实场景对象在用户视角下所处的空间位置，将最终真实场景对象影像放置在虚拟场景影像的成像空间内，从而与虚拟场景影像共同构成显示影像。