[发明专利]一种融入真实人物形象的孤独症干预系统

权利要求书

1.一种融入真实人物形象的孤独症干预系统，其特征在于，包括：

人物形象模拟单元，用于根据包括受干预对象在内的人物真实照片进行模拟生成与真实人物相像的3D模拟人物形象；

社交情境仿真单元，用于呈现模拟人物形象、社交场景和故事情节，按照故事情节的发展需求向人物驱动单元发送动作指令；

人物行为驱动单元，用于接收动作指令，根据动作指令驱动模拟人物形象完成相应的动作。

2.根据权利要求1所述的融入真实人物形象的孤独症干预系统，其特征在于，所述人物形象模拟单元包括：

2D人脸-3D人头变换模块，用于将2D人脸照片变换为3D人头模型；

人物拼接模块，用于将3D人头模型与3D人物身体模型拼接，进而渲染为完整的模拟人物形象；

预测试模块，用于呈现模拟人物形象，以测试受干预对象是否可准确识别人物身份，若不能准确识别，则启动人物形象调整模块；

人物形象调整模块，用于对模拟人物形象的细节进行调整，直到人物身份能被受干预对象准确识别。

3.根据权利要求1或2所述的融入真实人物形象的孤独症干预系统，其特征在于，所述2D人脸-3D人头变换模块的具体实现方式为：

(S1011)在2D人脸照片上检测人脸的位置；

(S1012)在检测到的人脸上定位人脸特征点；

(S1013)根据定位的人脸特征点旋转、缩放人脸，与标准人脸对齐；

(S1014)采用深度卷积神经网络完成2D人脸与3D点云之间的映射，其中深度卷积神经网络的参数通过海量标准的2D人脸与3D点云训练得到；

(S1015)对3D点云进行纹理渲染，生成3D人头模型。

4.根据权利要求3所述的融入真实人物形象的孤独症干预系统，其特征在于，所述3D人头模型采用二元组＜D,C＞表示,其中D是3D形状模型，为一组3D点云的坐标值；C为颜色模型，为各个3D点对应的颜色值；

3D人头模型中D表示为：其中E为分别通过大量3D人头样本3D点云统计得到的均值和特征向量矩阵，λ为重建参数。

5.根据权利要求3或4所述的融入真实人物形象的孤独症干预系统，其特征在于，所述2D人脸-3D人头变换模块步骤中采用的深度卷积神经网络的训练方法为：

(S10141)准备样本集其中I_j为人脸照片，D_j为I_j对应的3D点云数据，M为样本数量；

(S10142)将每个样本的3D点云表示为：收集人脸照片和对应3D点云的重建参数E为分别通过大量3D人头样本3D点云统计得到的均值和特征向量矩阵；

(S10143)选择一个通过人脸识别数据集预训练的深度神经网络，并将输出层改为输出重建参数λ；

(S10144)使用反复迭代微调(S10143)中建构的深度神经网络，微调时损失函数为：其中为当前深度神经网络输出的重建参数。

6.根据权利要求2所述的融入真实人物形象的孤独症干预系统，其特征在于，所述人物拼接模块使用3D人头变换模块生成的3D人头模型的点云替换掉3D人物身体模型上对应位置的点云，完成人物的拼接。

7.根据权利要求2或6所述的融入真实人物形象的孤独症干预系统，其特征在于，所述3D人物身体模型带有骨架，以方便人物行为驱动单元驱动人物身体姿态发生变化。

8.根据权利要求1或2所述的融入真实人物形象的孤独症干预系统，其特征在于，所述社交情境仿真单元包括：

故事情节设置模块，用于选择或创作故事情节，并选择或创作故事场景；

人物形象输入模块，用于呈现故事情节涉及的人物列表以及人物与接受干预的孤独症儿童的社会交往关系，按照人物列表输入对应人物的真实照片以供人物形象模拟单元生成3D模拟人物形象；

社交情境仿真模块，用于呈现故事场景和故事情节，按照故事情节的发展需求向人物驱动单元发送动作指令。

9.根据权利要求8所述的融入真实人物形象的孤独症干预系统，其特征在于，所述动作指令包括身体姿态指令、面部表情指令、视角指令、声音指令中的一种或多种。