[发明专利]语言预处理断句方法、计算机设备及计算机可读存储介质

说明书

一种语言预处理断句方法计算机设备及计算机可读存储介质，所述语言预处理断句方法包括：解析待处理文档，获得至少一个子文档；组合所述子文档，获得断句集，所述断句集中包含至少一个断句，所述断句中包含至少一个断句符号；获取所述断句中包含的断句符号，并按照预定顺序排列；按照所述预定顺序循环所述断句集中的所述断句，获取当前断句符号所在的位置；根据断句符号位置前后的字符以及预设规则重新断句，并获得处理集；循环所述处理集，获得结果集。本申请所提供的语言预处理断句方法，对断句进行了优化，实现了最高效的断句方法，思路清晰。同时，保证解析后的句子更具不同的原文语言种类最后呈现完整用于阅读和翻译的句子，具有较高的质量。

技术领域

本申请涉及智能语言处理领域，具体涉及一种语言预处理断句方法、计算机设备及计算机可读存储介质。

背景技术

目前社会上WebCAT(网页版计算机辅助翻译)种类繁多，CAT转换的问题。其中主要就包含解析，断句，去重的部分。解析有第三方产商提供框架支持(如itext，poi等)。断句和去重却没有标准，导致语言处理不准确。

发明内容

本申请的主要目的在于提供一种语言预处理断句方法，以解决断句和去重没有标准导致语言处理不准确的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种语言预处理断句方法，包括：解析待处理文档，获得至少一个子文档；组合所述子文档，获得断句集，所述断句集中包含至少一个断句，所述断句中包含至少一个断句符号；获取所述断句中包含的断句符号，并按照预定顺序排列；按照所述预定顺序循环所述断句集中的所述断句，获取当前断句符号所在的位置；根据断句符号位置前后的字符以及预设规则重新断句，并获得处理集；循环所述处理集，获得结果集。

可选地，根据断句符号位置前后的字符以及预设规则重新断句，并获得处理集包括：当前字符如果是缩写时，则不断句；当原文中是英文，判断后字符如不是空格加大写字母时，则不断句；当当前字符是数字，断句符号是点号，后字符不是数字时，则断句；当断句符号末尾紧跟着“或者”时，则不断句，断句符号所在位置向后推移一个。

可选地，所述语言预处理断句方法还包括：当所述断句集中包括整体信息时，将所述整体信息直接添加至结果集。

可选地，所述整体信息为：超链接、数字、时间、时期或邮件地址。

可选地，语言预处理断句方法还包括：判断所述断句的语言。

可选地，将所述断句的语言与预设的断句符合集匹配。

可选地，循环所述处理集，获得结果集包括：将已断句符号结尾的句子或已断句符号紧跟着“或者”结尾的句子加入结果集，将这条句子断句后剩下的句子加入下一个句子进行循环。

为了实现上述目的，根据本申请的一个方面，还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

为了实现上述目的，根据本申请的一个方面，还提供了一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述任一项所述的方法。

为了实现上述目的，根据本申请的一个方面，还提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述任一项所述的方法。

本申请所提供的语言预处理断句方法，对断句进行了优化，实现了最高效的断句方法，思路清晰。同时，保证解析后的句子更具不同的原文语言种类最后呈现完整用于阅读和翻译的句子，具有较高的质量。

附图说明