[发明专利]一种商场综合热力图的生成方法和系统

权利要求书

1.一种商场综合热力图的生成方法，其特征在于，包括：

在第一时刻，获取商场各区域的视频摄像头拍摄的视频画面，以及热成像摄像头采集的区域像素温度；

基于各区域的所述视频画面，确定各区域的情绪欢乐度、人数拥挤度和提袋率；

基于各区域的所述区域像素温度，确定各区域的区域热力值和热力拥挤度；

根据各区域的所述情绪欢乐度、所述人数拥挤度、所述提袋率、所述区域热力值以及所述热力拥挤度，确定各区域在所述第一时刻的消费指数；

在显示屏显示的商场区域分布图中，以颜色的明亮度显示各区域在所述第一时刻的消费指数，作为第一时刻的商场综合热力图，区域的消费指数越高，区域中颜色越明亮；

其中，所述情绪欢乐度用于表示区域中人员情绪的欢乐程度；所述人数拥挤度用于表示区域中人员拥挤情况；所述提袋率用于表示区域中人员购买区域中商品的数量；所述区域热力值用于表示区域中的人体像素温度均值情况；所述热力拥挤度用于表示区域中像素温度均值情况。

2.根据权利要求1所述的方法，其特征在于，所述基于各区域的所述视频画面，确定各区域的情绪欢乐度、人数拥挤度和提袋率，具体包括：

基于各区域的所述视频画面以及人体检测模型，获取各区域的所述提袋率以及所述人数拥挤度；

基于各区域的所述视频画面以及人脸情绪模型，获取各区域的所述情绪欢乐度。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

使用本商场采集的多组属于不同的温度区间的已标记视频画面作为人体模型训练数据，训练得到多组适应于不同温度范围的所述人体检测模型；所述人体模型训练数据中采用在本商场采集的且标注了人体的视频画面以及人体数量作为正样本，在本商场采集的不包含人体的视频画面作为负样本；

使用从本商场的视频画面中提取出的已标注数据作为人脸情绪训练数据，训练得到所述人脸情绪模型；所述人脸情绪训练数据中采用在本商场采集的且标注了人脸位置以及人脸情绪的人体画面作为正样本，采用在本商场采集的不包括人脸的视频画面作为负样本。

4.根据权利要求2或3所述的方法，其特征在于，所述基于各区域的所述视频画面以及人体检测模型，获取各区域的所述提袋率以及所述人数拥挤度，具体包括：

使用所述人体检测模型，从所述各区域的视频画面中检测出人体画面及人数；

对所述人体画面使用购物袋识别模型，识别出提有各区域商家当季购物袋的数目；

基于各区域的所述人数和所述提有各区域商家当季购物袋的数目，计算各区域的所述提袋率，所述提袋率与区域中所述商家当季购物袋的数目呈正比例关系、与所述人数呈反比例关系；

基于各区域的面积和所述人数，计算各区域的所述人数拥挤度，所述人数拥挤度与所述人数呈正比例关系、与所述面积呈反比例关系。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

使用已标记的包括本商场各区域商家不同购物季的购物袋的画面作为购物袋训练数据，训练得到多组适应于不同购物季的所述购物袋识别模型；在训练当季的购物袋识别模型时，所述购物袋训练数据中采用在本商场各区域商家当季的购物袋作为正样本的数据，已经退市的购物袋或其他商场的购物袋作为负样本的数据。

6.根据权利要求2或3所述的方法，其特征在于，所述基于各区域的所述视频画面以及人脸情绪模型，获取各区域的所述情绪欢乐度，具体包括：

使用所述人脸情绪模型，从所述人体检测模型检测出的各人体画面中确定各区域中情绪人脸的数目及类别；所述类别包括：开心、平静、不舒服；

基于所述情绪人脸的数目及类别，计算各区域的情绪欢乐度，所述情绪欢乐度与所述情绪人脸的数目呈反比例关系、与开心类别的情绪人脸的数目和不舒服类别的情绪人脸的数目呈正比例关系。