[发明专利]数据标记方法及装置、智能问答方法及系统

说明书

本申请实施例公开了数据标记方法及装置、智能问答方法及系统，该数据标记方法包括：依据预先设置的关键词从原始数据中提取出待标记数据；采用基于密度的聚类算法对待标记数据进行聚类，得到聚类后的各聚类集；其中，聚类后的各聚类集与待标记数据的大小比值不大于预设大小比值；获取对各聚类集进行人工标记的标记结果；依据标记结果对待标记数据中还未标记的剩余数据进行标记。采用本申请实施例，不仅可以用更少的人力物力成本来实现人工标注，而且使得聚类集中的数据可以获得精确的标注结果。进一步的，对于待标注数据中剩余未被标记的数据，还可以依据对聚类集的人工标注结果进行标注，还能提高未被标注过的剩余数据的标注结果的精确度。

技术领域

本申请涉及互联网数据处理技术领域，特别涉及一种对互联网业务中的问句数据标记方法及装置，一种基于数据标记的智能问答方法及系统，一种基于数据标记的答案获取方法及客户端，以及，一种服务器。

背景技术

目前，很多公司都存在一定数量的工单，例如：对于互联网交易来说，用户会向客服提问，客服会针对客户的问题进行回复，而用户向客户提问可以理解为求助工单。这些工单对于产品的改进和自主服务机器人的训练都可以起到很重要的作用。但是，这些工单中原始数据的存在形式都是自然语言形式，因而无法被机器所使用，例如：工单中的原始数据无法直接作为机器学习的训练样本被使用。因此，需要对这些原始数据进行标注，从而生成机器可以使用的数据。

发明内容

发明人在研究过程中发现，在现有技术中，由于工单中的原始数据涉及到用户的隐私等，因此，一般都是通过技术人员对所有原始数据人工进行标注，这样不仅会耗费大量的人力和财力，而且标记效率和准确度都很低。

基于此，本申请提供了一种数据标记方法，用以采用基于密度的聚类算法，对原始数据进行聚类，得到大小小于原始数据的预设大小比值的聚类集，这类聚类集采用人工标注得到标注结果，从而利用聚类集的标注结果再对其他原始数据进行标记。因为人工标注的数据不需要覆盖全部原始数据，只需要对小于原始数据的预设大小比值的聚类集中的问句数据进行标记，从而减少了人力物力财力的消耗，也提高了标记数据的效率和准确度。

本申请还提供了一种数据标记装置，用以保证上述方法在实际中的实现及应用。

为了解决上述问题，本申请公开了一种数据标记方法，该方法包括：

依据预先设置的关键词从原始数据中提取出待标记数据；

采用基于密度的聚类算法对所述待标记数据进行聚类，得到聚类后的各聚类集；其中，聚类后的各聚类集与所述待标记数据的大小比值不大于预设大小比值；

获取对所述各聚类集进行人工标记的标记结果；

依据所述标记结果对所述待标记数据中还未标记的剩余数据进行标记。

其中，所述依据预先设置的关键词从原始数据中提取出待标记数据，包括：

从数据源获取原始数据，所述原始数据包括：用户标识、客服标识、各条原始数据的数据标识和各原始数据的内容；所述用户标识为提出问题的提问用户的标识，所述客服标识为回答问题的客服的标识；

按照预设的问句关键词，从所述原始数据中抽取出各提问用户的问句数据；

判断各问句数据的长度是否大于预设的长度阈值，如果是，则从大于所述长度阈值的各问句数据中，删除满足预设删除条件的问句数据，得到所述待标记数据；所述预设删除条件为：涉及用户的账号、密码和/或无意义的独立字符。

其中，所述删除满足预设删除条件的问句数据之后，还包括：

将各删除后的问句数据转化成相同维度的各问句向量，并将所述各问句向量作为所述待标记数据。

其中，所述采用基于密度的聚类算法对所述待标记数据进行聚类，得到聚类后的各聚类集，包括：