[发明专利]藏语自然语言训练方法及数据处理平台

权利要求书

1.藏语自然语言训练方法，其特征在于，包括如下步骤：

S1、基于数据处理需求生成训练样本采集规则集，并构建对应的藏语自然语言训练样本集；

S2、基于Hadoop根据数据处理需求同步运行对应的训练样本集训练脚本，实现语言处理模型集的分布式构建，并构建各语言处理模型之间的关联关系；

S3、基于所述关联关系构建用于串联各语言处理模型的驱动脚本，形成自然语言处理链。

2.如权利要求1所述的自然语言训练方法，其特征在于：所述步骤S1中，基于数据挖掘模块根据数据处理需求在预设的网络基站挖掘与其存在关联关系的自然语言文本，然后基于人工和机器学习相结合的方式生成训练样本采集规则集，然后基于数据挖掘模块根据训练样本采集规则集在大数据存储基站挖掘与其存在关联关系的自然语言文本构建对应的藏语自然语言训练样本集。

3.如权利要求1所述的自然语言训练方法，其特征在于：每一个语言处理模型集配置一数据量监测脚本，当所监测到的数据量落入预设的门限时，对应语言处理模型的驱动脚本运行，实现对应语言处理模型的唤醒。

4.如权利要求1所述的自然语言训练方法，其特征在于：未唤醒的语言处理模型处于休眠状态。

5.如权利要求1所述的自然语言训练方法，其特征在于：所述自然语言处理链包括自然语言格式标准化模型和/自然语言断句模型和/自然语言分词模型和/自然语言翻译模型和/自然语言标注模型。

6.如权利要求1所述的自然语言训练方法，其特征在于：还包括为每一个数据处理链配置数据处理分析报表生成脚本的步骤。

7.一种数据处理平台，其特征在于：采用权利要求1所述的自然语言处理链实现数据处理。

8.如权利要求7所述的数据处理平台，其特征在于：基于数据处理分析报表生成脚本生成数据分析报表。