[发明专利]一种客户体验的采集方法及系统

权利要求书

1.一种客户体验的采集方法，其特征在于，该方法包括如下步骤：

S1、实时采集客户进入商户直至客户离开的全过程图像；

S2、采用人脸识别技术，通过对S1采集到的客户图像分析，生成客户情绪指标。

2.根据权利要求1所述客户体验的采集方法，其特征在于，所述S2包括：

S21、建立人脸情绪表情数据库；

S22、采用人脸识别技术检测人脸面部特征，准确标出人脸的位置和大小，获取客户面部图像，经预处理后存储，再进行人脸图像特征提取，将提取出的人脸图像特征与人脸情绪表情数据库中的表情图像做比对，生成客户情绪指标。

3.根据权利要求2所述客户体验的采集方法，其特征在于，所述S22中通过人脸图像特征提取，获得客户面部表情图像，将客户面部表情图像与人脸情绪表情数据库中的表情图像逐一比对，选取人脸情绪表情数据库中与客户面部表情相似度最高的表情图像，该表情图像所对应的情绪指标，即为客户当前情绪指标。

4.根据权利要求3所述客户体验的采集方法，其特征在于，所述S22中将客户面部表情图像与人脸情绪表情数据库中的表情图像逐一比对时，采用几何特征提取方法，分别将客户面部表情图像中、人脸情绪表情数据库的表情图像中的嘴、眉毛、鼻子、眼睛这些人脸表情的显著特征的形状和位置变化进行定位和测量，确定出各自图像中嘴、眉毛、鼻子、眼睛形状、大小、距离及相互比例，最后将客户面部表情图像中嘴、眉毛、鼻子、眼睛形状、大小、距离及相互比例与人脸情绪表情数据库的表情图像中的嘴、眉毛、鼻子、眼睛形状、大小、距离及相互比例进行比对。

5.根据权利要求2所述客户体验的采集方法，其特征在于，所述S21在人脸情绪表情数据库中，对每种情绪指标赋予数值；

所述S22中得到客户情绪指标后，建立以客户进入商户直至离开商户时间为横轴，客户情绪指标赋予的数值为纵轴的函数关系，并生成可视化显示。

6.根据权利要求2所述客户体验的采集方法，其特征在于，所述S22中获取客户面部图像时，还包括将从S1获取的客户图像实时分析视频帧，从视频帧中提取人脸图像序列、采集图像的时间、以及采集客户图像装置的IP地址信息。

7.根据权利要求6所述客户体验的采集方法，其特征在于，所述S22中还包括根据采集图像的时间、采集客户图像装置的IP地址信息进行时间区段、位置区域客户情绪指标的统计分析。

8.根据权利要求2所述客户体验的采集方法，其特征在于，所述S21中还包括创建商户输入区域，商户可输入与客户交流得到的客户情绪指标，在人脸情绪表情数据库添加商户上传、选取的客户面图像和客户情绪指标，进行深度学习。

9.一种客户体验的采集系统，其特征在于，该系统包括图像采集模块、与图像采集模块连接的客户情绪分析模块；

图像采集模块用于实时采集客户进入商户直至客户离开商户的全过程图像；

客户情绪分析模块用于通过对采集到的客户图像分析，生成客户情绪指标。

10.根据权利要求9所述客户体验的采集系统，其特征在于，所述客户情绪分析模块包括人脸情绪表情数据库、人脸识别芯片、比对模块、生成客户情绪指标模块；

人脸识别芯片包括相互连接的人脸检测模块、获取客户面部图像模块、人脸图像预处理模块、人脸图像特征提取模块；

人脸情绪表情数据库用于建立人脸情绪表情数据库；

人脸识别芯片用于检测人脸面部特征，准确标出人脸的位置和大小，获取客户面部图像，经预处理后存储，再进行人脸图像特征提取；

比对模块用于将提取出的人脸图像特征与人脸情绪表情数据库中的表情图像做比对；

生成客户情绪指标模块用于接收比对模块的结果，将结果进行可视化显示；

人脸情绪表情数据库包括设置情绪指标模块，设置情绪指标模块将人脸情绪表情数据库中每种情绪指标赋予数值；

生成客户情绪指标模块包括分析客户情绪趋势模块，分析客户情绪趋势模块用于得到客户情绪指标后，建立以客户进入商户直至离开商户时间为横轴，客户情绪指标赋予的数值为纵轴的函数关系，并生成可视化显示；

生成客户情绪指标模块包括实时分析视频帧模块，实时分析视频帧模块用于从获取的客户面部图像中从视频帧中提取人脸图像序列、采集图像的时间、以及采集客户图像装置的IP地址信息；

生成客户情绪指标模块包括与实时分析视频帧模块连接的客户情绪指标统计分析模块，客户情绪指标统计分析模块用于根据从实时分析视频帧模块获取的人脸图像序列、采集图像的时间、采集客户面部图像装置的IP地址信息进行时间区段、位置区域客户情绪指标的统计分析；

人脸情绪表情数据库包括商户输入模块，用于商户输入与客户交流得到的客户情绪指标，添加商户上传、选取的客户面图像和对应的情绪指标，使人脸情绪表情数据库进行深度学习。