[发明专利]一种订单信息预测系统和方法

说明书

本发明公开了一种订单信息预测系统和方法，该系统包括提取模块、预处理模块、模型训练模块和预测模块；所述提取模块，其用于获取历史订单信息；所述预处理模块，其用于对所述历史订单信息进行预处理；所述模型训练模块，其用于对预处理结果进行模型训练；所述预测模块，其用于对在线订单进行线上预测。本发明采用双向Transformer架构对历史订单信息中的文本和数据进行处理，从而能够获取更多的文本与数值的上下文信息，以及更深的文本间的语意关系，因此能够得到更多的有效信息，使得数值预测准确率更好。

技术领域

本发明涉及计算机技术领域，具体涉及一种订单信息预测系统和方法。

背景技术

传统电商订单信息的某些属性往往由商家指定，而带有招标性质的订单往往需要对订单预先评估并传递给合适的商家。现存的方法中人工评估方法严重影响订单处理速度和人力成本，另外一种方法是基于计算机的文本理解算法，包括CNN(卷积神经网络)，RNN(循环神经网络)和DNN(深度神经网络)等成熟的技术，但是这类方法中，CNN不能获取文本上下文太长的信息，RNN获取上下文太长时性能不稳定因此理解文本的能力有限，导致预测值与真实值易出现出入过大的问题。

发明内容

本发明的目的是提供一种提高属性预测准确率的一种订单信息预测系统和方法。

第一方面：一种订单信息预测系统，其特征在于，包括提取模块、预处理模块、模型训练模块和预测模块；

所述提取模块，其用于获取历史订单信息；

所述预处理模块，其用于对所述历史订单信息进行预处理；

所述模型训练模块，其用于对预处理结果进行模型训练；

所述预测模块，其用于对在线订单进行线上预测。

其中，所述预处理模块具体用于将所述历史订单信息转化为向量化数据。

其中，所述模型训练模块具体用于：

用于将所述历史订单信息的向量化数据使用双向Transformer架构进行训练以得到 BERT模型。

其中，所述预测模块具体用于加载所述BERT模型对在线订单进行线上预测。

其中，所述历史订单信息包括数值信息。

其中，所述预处理包括对所述历史订单信息中的文本信息采用分词技术，并进行去停用词处理，并把文本信息中的句子整理成一个固定的长度，最后把所述句子中的各词语分别映射成一个原始多维向量，所述原始多维向量包括各词语的词向量。

其中，所述模型训练模块具体用于：

通过Transformer的特征抽取器对每个所述词语的原始多维向量均加载一个位置信息编码；

将每一个带有所述位置信息编码的词向量语依次与剩下的各词语的词向量发生关系，然后生成目标多维向量；

对所述目标多维向量进行归一化处理；

将归一化后的所述目标多维向量经过传统的前馈神经网络进行前向处理，输出前向计算的向量结果，所述向量结果包括分类标志位和文本数值向量；

将多个Transformer的特征抽取器组合起来并采用双向的方式同时抽取所述文本数值向量以得到所述BERT模型；

将所述分类标志位的向量经过SoftMax函数后输出所述BERT模型预测值，在训练所述 BERT模型的过程中，使用预测的数值对比训练数据的数值信息，并通过方向传递更新所述 BERT模型参数。

其中，所述双向的方式包括顺序和逆序的方式。