[发明专利]一种业务活动销售预测模型的评价方法

说明书

技术领域

本发明属于大数据应用技术领域，具体涉及一种业务活动销售预测模型的评价方法。

背景技术

随着大数据的不断发展，目前应用于大数据业务活动销售预测的各种模型算法越来越多。模型的好坏、稳定性、质量等等就要求数据模型满足一定标准，而对各种模型的评价及选择尤为重要。首先，评价模型的标志，就是模型的结论或应用效果是否满足当初的业务需求为有效原则。其二，模型的精准度是否再优化，适度优化，避免过拟合，具有较好性价比。

二元变量是指：两种逻辑状态的变量，包含两个值：是和否。如果在表达式中使用了该逻辑变量，那么根据变量值的是或否而赋予整型值1或0，如果整型值为1，则变量值为是；反之为否。比如客户是否响应活动销售、预测客户是否会流失、预测客户是否会购买等等。

传统技术中针对预测模型的评价方案主要基于混淆矩阵，原理在于根据不同模型选不同参数，根据TP(True Positive)、TN(True Negative)、FP(False Positive)、FN(False Negative)计算准确性、精度、错正率、负元正确率、正元正确率。但是由于各指标比较接近，容易混淆，需要更多人为整合指标分析评价销售预测模型，评价的准确性低，稳定性低，可解释性不好。

发明内容

本发明所要解决的技术问题是：提出一种业务活动销售预测模型的评价方法，解决传统技术中采用混淆矩阵的评价方案存在的准确性低、稳定性低、可解释性不好的问题。

本发明解决上述技术问题采用的技术方案是：

一种业务活动销售预测模型的评价方法，包括以下步骤：

a.根据已经准备好的数据建立业务活动销售预测模型；

b.建立评价指标体系，使用Lift曲线方法将模型的预测概率从高到低排序，进行模型预测准确度、稳定性和可解释性评价；

c.对每个预测模型的提升曲线及模型效果排序进行可视化展示，挑选出最佳模型。

作为进一步优化，步骤a包括：

a1.数据准备：包括数据采集、数据预处理、特征筛选；对历史数据进行哑编码，生成未来数据；

a2.建立业务活动销售预测模型:从数据库sql中获取建模数据，在R语言上建立多种建模计算，并将结果输入数据库sql中。

作为进一步优化，步骤a1中，所述建模数据包括销售数据、活动数据、客户数据、第三方数据、行业数据、系统参数。

作为进一步优化，步骤a1中，所述数据预处理包括：缺失值处理，具体为：删除缺失率大于20％的变量；首末两端缺失用前后最邻近插补，中间缺失用线性差值。

作为进一步优化，步骤a2中，所述建模计算采用的模型包括决策树、逻辑回归、神经网络等多种机器学习模型。

作为进一步优化，步骤b中，根据客户响应率、捕获率指标建立评价指标体系。

作为进一步优化，步骤b中，所述使用Lift曲线方法将模型的预测概率从高到低排序，具体包括：在R语言上计算各业务活动销售预测模型的Lift提升值，使用ROCR包画图，展示多模型的Lift曲线图，通过比对各预测模型的Lift提升值，进行预测概率的从高到低排序。

作为进一步优化，步骤c中，在挑选出最佳模型时，综合考虑模型的准确性、稳定性和可解释性，选择出最佳模型后采用近期数据进行验证。

本发明的有益效果是：根据Lift曲线针对二元变量的活动销售预测模型进行评价，选择最佳模型依据模型精确性、稳定性及可解释性，最佳模型选择更符合业务需求，使得模型运用价值更可靠更效率，指导活动销售预测模型的有效优化、完善及提升。

附图说明

图1为本发明业务活动销售预测模型的评价方法流程图。

具体实施方式

本发明旨在提出一种业务活动销售预测模型的评价方法，解决传统技术中采用混淆矩阵的评价方案存在的准确性低、稳定性低、可解释性不好的问题。本发明采用Lift曲线方法，此方法可以根据业务需求的不同，直接显示对应不同目标群体规模的模型效果，即不同挖掘深度对应的不同提升度。方便业务应用时，挑选最恰当的销售群体规模。

基于Lift曲线值的业务活动销售预测模型评价方法的困难点在于不使用模型时，基于已有业务效果的正比例，即不使用模型前“正”的实际观察对象(变量值为是)在总体观察对象中的占比，也就是“正”事件的随机响应概率的获取。