[发明专利]一种基于影片观看体验的虚拟现实交互方法及装置

权利要求书

1.一种基于影片观看体验的虚拟现实交互方法，其特征在于，包括以下步骤：

S1根据人物设定制作N个结局，同时设置不同结局对应的达成条件，其中N为正整数；

S2采集用户观看影片时的面部表情数据和语音数据，分析处理后生成用户对不同角色理解的数据库；

S3对S2数据库中的用户理解数据进行相似度分析，生成用户理解的结局相似度分析；

S4用户选择是否更改角色结局，不更改则结束播放，更改则自动进行预设结局匹配并播放重制后的结局片段。

2.根据权利要求1所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，S1包括以下子步骤：

S11根据人物设定编写N个结局；

S12设定达成结局一的条件；

S13根据第一个结局剧本制作男一号A角色和女一号B角色的结局，并预留好男一号和女一号的造型素材数据库和骨骼模型数据库；

S14设定达成其他结局的条件，并根据该结局剧本进行制作，重复S11-S13，得到其他结局的用户观看体验情感数据库。

3.根据权利要求1所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，S2包括以下子步骤：

S21输入用户观看A角色和B角色之间对手戏片段时采集到的面部表情视频，将其转换为视频图像序列，并进行人脸识别和图像的旋转校正、人脸定位、图像尺度归一、灰度化处理；

S22利用LBP算子提取表情特征；

S23输入用户观看A角色和B角色之间对手戏片段时采集到的音频，对音频进行预处理；

S24计算每一帧的短时傅里叶变换，将时域数据转换为频域数据；

S25将A角色和B角色之间对手戏片段的用户观看时的面部数据和语音数据录入到用户理解的结局一数据库；

S26输入用户观看不同角色对手戏片段时采集到的面部表情数据和语音数据进行分析，再录入到用户理解结局面部数据库和语音数据库，重复S21到S25，生成用户理解结局数据库及数据集合。

4.根据权利要求3所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，利用LBP算子提取表情特征，以中心像素为标准，将相邻的周围8像素的灰度值与中心点相比较，若周围像素的值大于中心像素，则标记为1，若小于中心像素，则标记为0；

LBP计算公式为：

其中(XC,YC)是中心像素，i_c是中心像素的灰度值，i_n是相邻像素的灰度值，S是符号函数，即；

利用上述公式得到表情图像的LBP特征直方图，并根据LBP特征直方图对表情图像进行分类，包括高兴、悲伤、愤怒、恐惧、惊讶、厌恶及中性。

5.根据权利要求3所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，计算每一帧的短时傅里叶变换，将时域数据转换为频域数据，计算公式为X(i,k)＝FFT[X_i(t)]，其中i表示第i帧语音，k为对应信号在频域中的第k条谱线；

在频域数据的基础上取绝对值和平方获得谱线能量E(i,k)＝[X(i,k)]²，然后将谱线能量通过由多个带宽不等的三角滤波器组成的梅尔频率滤波器组进行滤波以模拟人耳对不同频段声音的感知能力，计算公式为,

其中M为滤波器的个数，N表示帧长；

最后求得梅尔频率倒谱系数，2，…,M.其中m是第m个滤波器，M为滤波器总数，q为DCT后的谱线，并根据梅尔频率倒谱系数对音频进行分类。