[发明专利]中文语句简化方法和装置

说明书

本发明公开中文语句简化方法和装置，其中，一种中文语句简化方法，包括：对接收的文本序列进行分词处理得到分词序列；经由训练后的编码器对所述分词序列进行编码处理生成语义向量；以及经由训练后的解码器对所述语义向量进行解码处理生成简化输出序列，其中所述编码器和所述解码器均为LSTM模型。本申请实施例的方案通过在模型的训练过程中，选取了编码和解码都是LSTM的组合，这是因为LSTM能有效解决序列预测中的长期依赖问题。

技术领域

本发明属于语句简化技术领域，尤其涉及中文语句简化方法和装置。

背景技术

相关技术中，目前市面还没有见到一种能将中文语句简化和归一化的技术或方法，大多数的做法都是将一些具有相同或相近意义的词人为地进行归一化处理，如删除停用词、同义词替换、基于统计方法等。

其中，删除停用词是基于整理好的停用词表，删除一些常见的虚词，如帮忙，请，可以等；同义词替换是人为地整理出一些可能的同义词表，对句子进行同义词替换，以达到扩展说法的目的；基于统计方法是统计出语句中一些常见的前缀和后缀，以及一些可能的冗余短语，在做句子归一化时直接删除或者改写。

发明人在实现本申请的过程中发现，现有方案至少存在以下缺陷：

删除停用词，处理范围有限，且过于简单，不是基于语义，存在误删除的可能性。

同义词替换方法过于暴力，会导致解析资源过于膨胀；且同义词很难界定，容易受到人的主观因素影响。它最大的缺点就是耗时、成本高，同义词表质量不佳且易存在错误的同义词。应用领域十分有限，对句子的简化能力很弱。

基于统计方法只是依赖统计方法和人的经验知识，没有考虑中文语义的多变性，即便是一个普通的句子后缀在不同的句子中也各不相同，如果只是简单地对句子做删除或改写操作，则极易影响或者改变句子原有的意思，得不偿失。

发明内容

本发明实施例提供一种中文语句简化方法和装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种中文语句简化方法，包括：对接收的文本序列进行分词处理得到分词序列；经由训练后的编码器对所述分词序列进行编码处理生成语义向量；以及经由训练后的解码器对所述语义向量进行解码处理生成简化输出序列，其中所述编码器和所述解码器均为LSTM(长短期记忆模型，Long Short-Term Memory)模型。

第二方面，本发明实施例提供一种中文语句简化装置，包括：分词模块，配置为对接收的文本序列进行分词处理得到分词序列；编码模块，配置为经由训练后的编码器对所述分词序列进行编码处理生成语义向量；以及解码模块，配置为经由训练后的解码器对所述语义向量进行解码处理生成简化输出序列，其中所述编码器和所述解码器均为LSTM模型。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的中文语句简化方法的步骤。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的中文语句简化方法的步骤。

本申请的方法和装置提供的方案通过在模型的训练过程中，选取了编码和解码都是LSTM的组合，这是因为LSTM能有效解决序列预测中的长期依赖问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。