[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取业务数据；

将业务数据输入预训练模型和初始业务模型，得到所述预训练模型的全连接层输出以及所述初始业务模型的全连接层输出；其中，所述预训练模型的建模单元为单个字符，所述初始业务模型的建模单元为分词，一个建模单元对应一个全连接层输出；

将所述预训练模型的建模单元与所述初始业务模型的建模单元进行匹配，得到所述预训练模型的建模单元中的字符、所述字符与所述初始业务模型的各个建模单元分别匹配；

根据所述初始业务模型的全连接层输出、以及所述各个建模单元分别匹配的字符的全连接层输出进行知识蒸馏，得到目标业务模型。

2.根据权利要求1所述的方法，其特征在于，所述初始业务模型和所述目标业务模型用于为文本添加标点符号。

3.根据权利要求2所述的方法，其特征在于，将所述预训练模型的建模单元与所述初始业务模型的建模单元进行匹配，得到所述预训练模型的建模单元中的字符、所述字符与所述初始业务模型的各个建模单元分别匹配，包括：

若第一字符集合构成第一分词，则将所述第一字符集合的最后一个字符，确定为与所述第一分词匹配的字符，其中：所述第一字符集合包括多个字符，所述多个字符均为所述预训练模型的建模单元，所述第一分词为所述初始业务模型的任意一个建模单元。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取语音数据；

对所述语音数据进行识别，得到所述语音数据对应的文本；

利用所述目标业务模型，为所述语音数据对应的文本添加标点符号；

输出添加了所述标点符号的所述语音数据对应的文本。

5.根据权利要求1所述的方法，其特征在于，所述业务数据为根据语音自动识别得到的文本。

6.一种数据处理装置，其特征在于，所述装置包括：

第一获取单元，用于获取业务数据；

输入单元，用于将业务数据输入预训练模型和初始业务模型，得到所述预训练模型的全连接层输出以及所述初始业务模型的全连接层输出；其中，所述预训练模型的建模单元为单个字符，所述初始业务模型的建模单元为分词，一个建模单元对应一个全连接层输出；

匹配单元，用于将所述预训练模型的建模单元与所述初始业务模型的建模单元进行匹配，得到所述预训练模型的建模单元中的字符、所述字符与所述初始业务模型的各个建模单元分别匹配；

确定单元，用于根据所述初始业务模型的全连接层输出、以及所述各个建模单元分别匹配的字符的全连接层输出进行知识蒸馏，得到目标业务模型。

7.根据权利要求6所述的装置，其特征在于，所述初始业务模型和所述目标业务模型用于为文本添加标点符号。

8.根据权利要求7所述的装置，其特征在于，所述匹配单元，用于：

若第一字符集合构成第一分词，则将所述第一字符集合的最后一个字符，确定为与所述第一分词匹配的字符，其中：所述第一字符集合包括多个字符，所述多个字符均为所述预训练模型的建模单元，所述第一分词为所述初始业务模型的任意一个建模单元。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二获取单元，用于获取语音数据；

识别单元，用于对所述语音数据进行识别，得到所述语音数据对应的文本；

处理单元，用于利用所述目标业务模型，为所述语音数据对应的文本添加标点符号；

输出单元，用于输出添加了所述标点符号的所述语音数据对应的文本。

10.根据权利要求6所述的装置，其特征在于，所述业务数据为根据语音自动识别得到的文本。