[发明专利]一种基于BERT嵌入的软件编程领域实体识别方法

说明书

本发明涉及一种基于BERT嵌入的软件编程领域实体识别方法，属于自然语言处理、深度学习和软件资源挖掘技术领域。首先，利用自然语言处理技术对软件问答社区StackOverflow的数据集进行文本解析和预处理，结合领域分析确定软件编程领域实体类别，并基于Bart自然语言标注工具对样本数据进行人工标注获得训练集和测试集；然后，通过BERT预训练语言模型获得输入序列的语义和向量化表示，并结合BiGRU双向循环神经网络对输入序列进行模型训练；最后，通过CRF条件随机场对输入标签序列建模，从而得到概率最大的标签序列，实现软件编程领域的实体识别。本发明基于深度学习训练方法，能在少量标注样本数据的情况下，有效识别软件编程领域特定的实体。

技术领域

本发明涉及一种基于BERT嵌入的软件编程领域实体识别方法，属于自然语言处理、深度学习和软件资源挖掘技术领域。

背景技术

在大众化软件开发时代，有超过5000万余名软件开发人员在StackOverFlow软件知识社区进行有关开发技术、配置管理、项目组织等软件编程问答交流。这些海量社会化文本数据包含软件工程的各类问题和答案，蕴含着丰富的软件编程领域知识。软件编程知识的自动获取、共享和推荐将有利于软件开发人员快速解决项目开发过程中遇到的问题，提高软件开发质量。

传统的信息检索方式无法满足软件编程特定领域的需求，以实体为中心的信息检索和基于知识图谱的知识智能化管理将成为有效解决方案，而准确识别软件编程领域特定的实体并归类是工作的第一步。

传统命名实体识别(Named Entity Recognition，NER)的主要任务是识别出文本中的人名、地名等有意义的专有名称并加以归类。由于软件编程知识来自软件知识社区的社会化文本，并具有特定的软件领域特征，传统的模型和方法不适应，存在如下问题：

(1)软件知识社区的文本内容不遵循严格的语言规则，存在大量拼写错误，以及简写等情况。

(2)基于规则、词典和知识库的方法依赖专家手工创建，工作繁琐且无法实现自动化更新。

(3)基于监督学习、半监督学习的方法，需要人工标注大量的样本数据、无法解决单词多义性，造成实体识别效果不佳。

发明内容

本发明要解决的技术问题是提出一种基于BERT嵌入的软件编程领域实体识别方法，可以有效提高从软件知识社区的社会化文本中提取软件编程知识实体的精度，解决上述问题，为下一步构建软件编程领域知识图谱提供有效支持。

本发明的技术方案是：一种基于BERT嵌入的软件编程领域实体识别方法，首先，利用自然语言处理技术对软件问答社区StackOverflow(stackoverflow.com)的数据集进行文本解析和预处理，结合领域分析确定软件编程领域实体类别，并基于Bart自然语言标注工具对样本数据进行人工标注获得训练集和测试集；然后，通过 BERT(BidirectionalEncoder Representations from Transformers)预训练语言模型获得输入序列的语义和向量化表示，并结合BiGRU(Bi-Gated Recurrent Unit)双向循环神经网络对输入序列进行模型训练；最后，通过CRF(Conditional Random Field)条件随机场对输入标签序列建模，从而得到概率最大的标签序列，实现软件编程领域的实体识别。

具体步骤为：

Step1、软件问答社区数据集预处理。

软件问答社区StackOverflow的数据集是以html标签格式存储的社会化文本数据，需要对其进行数据解析、内容提取、去标记、分词等文本预处理操作。所述步骤Step1 的具体步骤为：

Step1.1：解析html文本，提取软件编程问答内容文本。