[发明专利]一种基于神经网络的创业者路演能力测评方法及其测评系统

权利要求书

1.一种基于神经网络的创业者路演能力测评方法，其特征在于，包括以下步骤：

（1）招募N位受试者进行模拟路演，采集模拟路演过程中受试者的路演视频信息、音频信息和视线信息，模拟路演结束后对受试者的路演能力进行评定，根据评定结果将受试者分为路演能力好、中、差三个类别，得到每位受试者的路演能力类别标签；

（2）提取受试者路演视频信息中的人体视频序列，分析统计人体视频序列中不同行为类别的占比和不同表情类别的占比；

（3）对受试者的路演音频信息进行预处理，获取音频信息的声谱图，对声谱图进行处理分析，得到受试者的感情倾向结果、感召力倾向结果和语言素养评分；

（4）对受试者的视线信息进行处理分析，获取受试者路演过程中与观看者的眼神交流次数；

（5）以步骤（2）得到的每位受试者路演中不同行为类别、表情类别占比，步骤（3）得到的每位受试者感情倾向结果、感召力倾向结果和语言素养评分，步骤（4）得到的每位受试者眼神交流次数，合并作为每位受试者对应的输入数据，以受试者的输入数据结合步骤（1）得到的每位受试者的路演能力类别标签构建N位受试者的数据集，然后采用构建的数据集训练路演能力测评网络模型，优化路演能力测评网络模型的参数，得到训练后的路演能力测评网络模型；

（6）采集待测评创业者路演视频信息、音频信息和视线信息，对采集的视频信息、音频信息和视线信息进行处理分析，得到待测评创业者路演过程中不同行为类别占比、不同表情类别占比、感情倾向结果、感召力倾向结果、语言素养评分和眼神交流次数，将上述得到的待测评创业者的各参数指标输入训练后的路演能力测评网络模型，得到待测评创业者的路演能力评分结果；然后根据评分结果从路演能力评价语料库中调取相应的评价结果，获得待测评创业者的路演能力评分和相应的评价结果；

步骤（2）的具体操作为：

采用人体区域切分模块提取路演视频信息中的人体视频序列，然后将人体视频序列分别输入行为识别模块和表情检测模块，行为识别模块对人体视频序列进行处理，将人体视频序列中的每一帧视频进行行为分类，得到每一帧视频对应的行为类别，所述行为类别包括三类：加分行为、中性行为和减分行为，根据每种行为类别的帧数占人体视频序列总帧数的比例，统计每种行为类别的占比；表情检测模块对人体视频序列进行处理，获取人脸区域视频序列，然后将人脸区域视频序列的每一帧视频进行表情分类，得到每一帧视频对应的表情类别，所述表情类别包括三类：加分表情、中性表情和减分表情，根据每种表情类别的帧数占人脸区域视频序列总帧数的比例，统计每种表情类别的占比；

所述人体区域切分模块包括人体区域检测网络和人体切分程序，所述人体区域检测网络是以YOLO网络作为基础构建的，在YOLO网络源代码最后加入对人类别之外的输出的屏蔽代码，使YOLO网络只输出人的坐标位置及类别标签；采用人体区域切分模块提取路演视频中的人体视频序列的具体操作为：将路演视频信息输入人体区域检测网络，人体区域检测网络对路演视频进行处理分析后输出受试者的人体坐标位置，将人体坐标位置映射回原路演视频得到原路演视频中受试者的位置，结合原视频和受试者的位置，采用人体切分程序自动提取出路演视频中受试者的人体视频序列；所述行为识别模块包括行为识别网络，所述行为识别网络是以AlexNet网络为基础构建的，在AlexNet网络基础上减少了三个卷积层，输出层为三个神经元，得到三类结果，三类结果分别为加分行为、中性行为和减分行为；所述行为识别网络的输入是人体视频序列，输出是人体视频序列中每一帧视频对应的行为类别。

2.根据权利要求1所述的创业者路演能力测评方法，其特征在于，所述表情检测模块包括人脸检测网络、人脸分割程序和表情识别网络三部分；人脸检测网络用于检测人体视频序列中的人脸区域坐标，人脸分割程序用于从人体视频序列中获取人脸区域视频序列，表情识别网络用于对人脸区域视频序列中每一帧视频进行表情分类；人体视频序列经预处理后输入人脸检测网络，得到人脸区域坐标，将人脸区域坐标输入人脸分割程序，人脸分割程序采用腐蚀和膨胀方法对人脸区域坐标进行放大，同时结合前后帧情况，使人脸区域坐标变化平滑，然后将人脸区域坐标映射回原始路演视频，使用人脸分割程序自动化分割出人脸区域，得到人脸区域视频序列；将人脸区域视频序列输入到表情识别网络中，表情识别网络对人脸区域视频序列中每一帧视频的人脸表情进行分类，得到每一帧视频对应的表情类别。