[发明专利]基于微调BERT模型的电力零售套餐向量表示方法

说明书

本发明涉及一种基于微调BERT模型的电力零售套餐向量表示方法，属于结构化数据处理技术领域。该方法首先将使用结构化数据描述的电力套餐转换为使用非结构化进行描述的文本，使得该文本包含套餐的属性参数信息；然后通过预训练BERT模型微调后的结果对描述文本进行向量化；最终对向量化结果通过基于余弦相似度的计算来进行评估，之后便可以对电力套餐基于其向量表示进行聚类和用户推荐等操作，可大大提升电力零售平台的数据处理效率，易于推广应用。

技术领域

本发明属于结构化数据处理技术领域，具体涉及一种基于微调BERT模型的电力零售套餐标准化向量表示方法。

背景技术

随着我国电力市场化改革不断落实和推进，电力零售市场作为电力批发市场的一种补充，逐渐进入了人们的视野，它有效完善了电力市场的交易方式，提升了交易灵活性。电力套餐作为电力零售市场的最主要商品，其商品属性如价格、履约金、服务费和偏差处理规则等备受电力用户的关注，也很大程度上决定了用户体验。有效的对电力套餐进行表征的方法直接为后续对电力套餐进行准确的聚类、用户推荐等操作提供了可靠支撑，大大提升了电力零售平台上数据处理的效率和精度。

近年来在深度学习领域发展迅速的表示学习技术旨在利用低维连续的稠密向量来对建模样本的特征进行表示，它要求向量能够一定程度反映建模样本的语义特性。基于词语的分布式表示作为表示学习最为基础的单元，近年来发展迅速。词语的分布式表示技术最先以于2013年被提出的静态词向量模型Word2Vec为代表，之后通过ElMo、GPT及BERT等动态词向量模型不断改进和优化，大大增强了对文本语义的理解能力，同时也很好地促进了各类自然语言处理任务的发展。然而对于类似电力套餐这类结构化数据，目前还没有较好的对其进行有效表征的方法。基于此，本发明提出了一种针对电力套餐这种结构化数据的标准化向量表示方法。

发明内容

本发明的目的是为了解决现有技术的不足，基于在当前国内电力市场化改革背景下，在电力零售市场中缺乏一种高效准确的对电力零售套餐进行有效表征的方法，提出了一种基于预训练BERT模型的电力零售套餐标准化向量表示方法。

为实现上述目的，本发明采用的技术方案如下：

基于微调BERT模型的电力零售套餐向量表示方法，包括如下步骤：

步骤(1)，采集电力零售市场中的信息；

步骤(2)，对步骤(1)采集到的信息进行过滤，以去除标点、特殊符号、网页标签和乱码字符，然后将这些文本调整为预训练BERT模型进行微调所需的单字形式；

例如被过滤后的文本“电力市场化改革要求售电公司进入市场”被拆分为“电”、“力”、“市”、“场”、“化”、“改”、“革”、“要”、“求”、“售”、“电”、“公”、“司”、“进”、“入”、“市”和“场”这些序排列的单字；

步骤(3)，将步骤(2)调整后得到的文本形式输入到BERT模型中进行训练；

步骤(4)，采集电力零售市场中电力套餐；

步骤(5)，提取电力套餐中的特征，将使用结构化数据描述的特征转换为使用非结构化进行描述的文本，使得该文本包含该电力套餐的属性参数信息；

步骤(6)，通过步骤(3)训练得到的模型对步骤(5)得到的使用非结构化进行描述的文本进行向量化；

步骤(7)，对向量化结果通过基于余弦相似度的计算来进行评估，若达到预设目的，则采用步骤(3)训练得到的模型对电力零售套餐进行标准化向量计算；反之，则返回到步骤(1)，在上一次采集新闻和报告数量的基础上再新采集电力零售市场中的信息，将新采集的连同上一次采集的电力零售市场中的信息作为微调数据集，依次进行步骤(2)和步骤(3)，对BERT模型进行再次调整，直至向量化结果评估达到预设目的。

进一步，优选的是，步骤(1)中，所述的信息包括电力零售市场的新闻、报道及政策。