[发明专利]一种5G移动业务产品名称识别方法及系统

说明书

本发明涉及一种5G移动业务产品名称识别方法及系统。该方法包括获取5G套餐办理类的通话文本；对通话内容进行预处理，构建单元化数据集；对标准移动业务产品名称集进行口语化处理，构建最简移动业务产品集合；根据标准移动业务产品名称集确定过滤阈值；根据最简移动业务产品集合确定单元切割阈值；利用过滤阈值、单元切割阈值对单元化数据集进行过滤以及切割；对处理后的数据集进行标注，并随机抽样，进而根据随机抽样的数据集确定训练集和测试集；利用训练集训练双向LSTM+CRF模型；根据处理后的数据集，利用训练后的双向LSTM+CRF模型，确定移动业务产品名称识别结果集；构建移动业务产品名称字典；本发明能够高效率地进行移动业务产品名称识别。

技术领域

本发明涉及自然语言处理领域，特别是涉及一种5G移动业务产品名称识别方法及系统。

背景技术

随着移动互联网的发展，越来越多的设备接入到移动网络中，新的服务和应用层出不穷，全球移动宽带用户在2018年已经达到90亿，2020年，移动通信网络的容量相比2017年的网络容量上已经增长1000倍。移动通信服务质量已经成为通信行业发展水平评价的一个标准。为了提高移动通信服务质量，在用户群体中深度推广5G技术，需要基于移动5G套餐办理类来话文本，挖掘客户对移动业务产品的倾向度，作为客服人员营销推荐方式考察，并构建开口监控和话术识别推荐系统。因此，移动业务产品名称识别是开口监控和话术识别推荐系统的第一步。

命名实体识别(Name Entity Recognition，NER)又称专名识别，是自然语言处理(Natural Language Processing，NLP)中的一项基础任务。命名实体一般指文本中具有特定意义或指代性强的实体，通常包括人名、地名、组织机构名、日期时间、专有名词等。NER系统就是从非结构化的输入文本中抽取出上述实体，并且可以按照业务需求识别出更多类别的实体。

命名实体识别已经开展了多年并且取得一定的成果。早期研究的主要在于基于字典和规则的传统识别，后来到传统机器学习方法，传统机器学习方法模型有隐马尔可夫模型(Hidden Markov Model，HMM)、条件随机场模型(Conditional Random Field，CRF)，CRF是目前中主流模型之一，优点在于其为一个位置进行标注的过程中可以利用丰富的内部及上下文特征信息，但是只适用于数据量小的场景，并且过于依赖人工标注。

近年来，深度学习和半监督学习成为人工智能领域的热潮，递归神经网络(Recurrent Neural Network，RNN)和卷积神经网络(Convolutional Neural Network，CNN)也逐渐成为命名实体识别的主流模型，它们主要处理方式类似，将词或字从离散独热编码表示，映射到低维空间中，成为稠密的特征嵌入，随后将句子的特征嵌入序列输入到RNN或CNN中，用神经网络自动提取特征，然后经过归一化函数(Softmax)来预测每个词或字的标签。但是，基于RNN或者基于CNN方法使得模型的训练成为一个端到端的过程，对参数设置依赖大，模型可解释性差。此外，这种方法的一个缺点是对每个词或字打标签的过程是独立的进行，不能直接利用上文已经预测的标签(只能靠隐含状态传递上文信息)，进而导致预测出的标签序列可能是无效的。

移动业务产品名称识别，属于命名实体识别领域的技术，应用在移动业务场景下。现有的数据集为移动5G套餐办理类来话文本，数据集容量大，且存在来话记录不完整、移动业务产品名称占数据集总体比重低等文本质量不高的问题。基于CRF的移动业务产品名称识别模型依赖人工标注，对现有数据未涵盖的移动业务产品名称识别效果低；基于RNN的移动业务产品名称识别模型，只通过特征学习识别移动业务产品名称，但无法高效地利用上下文信息，导致识别的准确率低。

发明内容

本发明的目的是提供一种5G移动业务产品名称识别方法及系统，能够高效率地进行移动业务产品名称识别。

为实现上述目的，本发明提供了如下方案：

一种5G移动业务产品名称识别方法，包括：