[发明专利]一种标点符号添加方法、装置、电子设备及存储介质

说明书

本发明公开了一种标点符号添加方法、装置、电子设备及存储介质，所述方法包括：构建初始浅层神经网络模型；获取初始文本数据，将所述初始文本数据进行数据预处理，生成待标注文本数据；将所述待标注文本数据进行标注处理，生成带标签的预训练文本数据；将所述预训练文本数据映射至所述初始浅层神经网络模型进行训练，得到目标浅层神经网络模型；获取预处理文本数据，将所述预处理文本数据映射至所述目标浅层神经网络模型中进行标签预测得到标签预测结果；根据所述标签预测结果对所述预处理文本数据进行标点符号的添加，生成目标文本数据。本发明可实现无标点符号文本分析，快速自动进行标点符号添加且结果准确。

技术领域

本发明涉及自然语言处理技术领域，具体地涉及一种标点符号添加方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的不断发展，越来越多的人愿意在网络上分享自己的观点或看法，通过对这些数据进行分析，可以得到人们对某件事情的态度，针对不同的群体可以利用这些结果进行不同的决策。例如，当人们就某一产品发表自己的购物体验以及使用感受时，作为商家可以通过分析用户的观点，得到用户对产品不同属性的观点，从而发现产品的优缺点，对产品进行改进；作为潜在购买者，可以通过分析已购买人群对该产品的使用体验，从而决定自己是否需要购买该产品。然而由于人们的书写习惯，经常出现无标点符号的文本，这对自动化分析文本观点造成困扰，使得分析的结果不够准确，也对人工理解文本的语义带来一定的不便。

目前已经有相关技术方法，可以对无标点符号的文本数据进行标点符号添加。最常见的方法是通过规则统计，对无标点符号的文本数据进行标点符号添加。该方法主要存在两个问题：需要耗费大量的人工对添加后的数据进行修改校验，且人与人之间的理解不同，不同的人对同一文本的校验结果可能不同；对于不同领域不同的社交平台，人们的书写方式可能会发生变化，基于统计规则的标点符号添加，不能很好的做到跨领域跨平台的标点符号添加。

发明内容

本发明的目的在于提供一种无标点符号文本数据分析、快速自动进行标点符号添加且结果准确的标点符号添加方法、装置、电子设备及存储介质。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种标点符号添加方法，所述方法包括：

构建初始浅层神经网络模型；

获取初始文本数据，将所述初始文本数据进行数据预处理，生成待标注文本数据；

将所述待标注文本数据进行标注处理，生成带标签的预训练文本数据；

将所述预训练文本数据映射至所述初始浅层神经网络模型进行训练，得到目标浅层神经网络模型；

获取预处理文本数据，将所述预处理文本数据映射至所述目标浅层神经网络模型中进行标签预测得到标签预测结果；

根据所述标签预测结果对所述预处理文本数据进行标点符号的添加，生成目标文本数据。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种标点符号添加装置，包括用于执行如上所述的标点符号添加方法的单元。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器之间通过通信总线完成相互间的通信。

存储器，用于存放计算机程序。

处理器，用于执行存储器上所存放的程序时，实现如上所述的标点符号添加方法的步骤。

为解决上述技术问题，本发明采用的另一个技术方案是：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现如上所述的标点符号添加方法的步骤。