[发明专利]一种基于分类语料库‑关键词词频‑记录关联的网络行为习惯量化方法

摘要

本发明公开了一种基于分类语料库‑关键词词频‑记录关联的网络行为习惯量化方法，本发明利用搜狗实验室的互联网分类语料库(SogouT)和全体人员上网记录，结合数据关联和统计方法，先对搜狗语料库中语料‑分类标签集和全体人员上网记录集进行预处理和频数统计，存储分类标签‑关键词‑词频集的计算中间结果，之后将人员的分类‑标签集与中间结果进行数据关联和统计，以此完成对人员网络行为习惯的量化，通过多层次的数据关联，区分、降低量化过程中的不确定性，达到提高数据量化的准确性、可靠性的目的。

主权项

一种基于分类语料库‑关键词词频‑记录关联的网络行为习惯量化方法，其特征在于利用搜狗实验室的互联网分类语料库(SogouT)和全体人员上网记录，结合数据关联和统计方法，先对搜狗语料库中语料‑分类标签集和全体人员上网记录集进行预处理和频数统计，存储分类标签‑关键词‑词频集的计算中间结果，之后将人员的分类‑标签集与中间结果进行数据关联和统计，以此完成对人员网络行为习惯的量化；其中，包含语料库处理流程步骤A和关键词关联记录流程步骤B：语料库处理流程步骤A从步骤A1到步骤A12：步骤A1：设从搜狗实验室获取语料集CORP={CORP₁, CORP₂, …, CORP_CORPN}，设语料集总数为CORPN，设分类标签集为LABEL={LABEL₁,LABEL₂,…,LABEL_LABELN}，设分类标签总数为LABELN，设语料‑分类标签集为CORPLAB={(CORP_a1,LABEL_b1),(CORP_a2,LABEL_b2),…,(CORP_am,LABEL_bm)}，设停用词集为STOPWORD={STOPWORD₁,STOPWORD₂,…,STOPWORD_a}，设全体人员上网记录集为RECORD={(RSTU_rs1,RKEY_rk1),(RSTU_rs2,RKEY_rk2),…,(RSTU_rsf,RKEY_rkf)}，其中，RSTU_rs1、…、RSTU_rsf代表单个人员的唯一标识，RKEY_rk1、…、RKEY_rkf代表关键词，设全体人员上网记录总数为RECORDN；步骤A2：设全局关键词集为KEY，设全局关键词总数为KEYN，设全局分类标签‑关键词‑词频集为CATEKEYF，设人员唯一标识集为STUID，设人员总数为STUIDN，设全体人员的分类标签‑频数集为GSTUCATEF，设单个语料的关键词集为corpskey，设单个语料的关键词总数为corpskeyn，设单个语料的分类标签‑关键词‑词频集为skeyf，设单个人员的关键词集为stuskey，设单个人员的关键词总数为stuskeyn，设单个关键词的分类标签‑词频集为keycatef，设单个人员的分类标签‑频数集为stucatef；步骤A3：设语料集CORP当前语料的循环下标变量为i，当前语料对应的分类标签为label，其中，CORP是步骤A1中从搜狗实验室获取的语料集，并且循环下标变量满足i<=CORPN；步骤A4：从步骤A1中的语料与分类标签关系集中筛选出包含CORP_i的分类标签集合，即，，其中，CORP_i的下标来自步骤A3中的循环下标变量i，label来自步骤A3中当前语料CORP_i对应的分类标签；步骤A5：利用步骤A1中停用词集STOPWORD={STOPWORD₁, STOPWORD₂, …, STOPWORD_a}，对步骤A3中的语料CORP_i分词，形成语料CORP_i的关键词集corpskey={corpskey₁, corpskey₂, …, corpskey_b}；步骤A6：将步骤A5中生成的关键词集corpskey中的停用词去除，即，corpskey=corpskey‑STOPWORD={corpskey_s1, corpskey_s2, …, corpskey_sb}；步骤A7：更新步骤A2中的全局关键词集KEY，将步骤A6处理得出的corpskey与全局关键词集KEY进行并集运算，即，KEY=KEY∪corpskey={KEY₁, KEY₂, …, KEY_c}，再根据corpskey包含的关键词数量corpskeyn更新步骤A2中的全局关键词总数KEYN，即，KEYN=KEYN+corpskeyn；步骤A8：设步骤A3中的语料CORP_i的分类标签‑关键词‑词频集为skeyf，统计语料CORP_i的关键词集corpskey中关键词的词频，其中，设f_k1, f_k2, …, f_kd为关键词在语料中出现的次数，并将结果按照分类标签‑关键词‑关键词词频的格式添加到分类标签‑关键词‑词频集skeyf中，即，skeyf={(label, KEY₁, f_k1), (label, KEY₂, f_k2),… ,(label, KEY_d, f_kd)}；步骤A9：更新全局分类标签‑关键词‑词频集，即，CATEKEYF=CATEKEYF∪skeyf={(LABEL_l1, KEY_ck1, f_f1), (LABEL_l2, KEY_ck2, f_f2), …, (LABEL_le, KEY_cke, f_fe)}，其中，全局分类标签‑关键词‑词频集CATEKEYF来自步骤A2；步骤A10：当步骤A3中的循环变量i大于全部语料集个数CORPN时，则执行步骤A11，否则，循环变量i的值增加1，即，i=i+1，执行步骤A4到步骤A9；步骤A11：执行步骤B；步骤A12：返回全体人员的分类标签‑频数集，即，GSTUCATEF={(STUID₁, {(LABEL₁, f_kl1,1),(LABEL₂, f_kl1,2), …, (LABEL_o, f_kl1,o)}),(STUID₂, {(LABEL₁, f_kl2,1), (LABEL₂, f_kl2,2), …, (LABEL_o, f_kl2,o)}), …, (STUID_g, {(LABEL₁, f_klg,1), (LABEL₂, f_klg,2), …, (LABEL_o, f_klg,o)})}；关键词关联记录流程步骤B从步骤B1到步骤B9： 步骤B1：从全体人员上网记录集RECORD中提取出当前人员唯一标识集STUID，并计算出人员总数STUIDN，即，STUID=Π₁（RECORD） ={STUID₁，STUID₂,…,STUID_g}；步骤B2：设当前人员标识的下标循环变量为j，j<=STUIDN，其中，全体人员上网记录总数STUIDN来自步骤B1；步骤B3：设当前人员标识STUID_j对应的关键词集为stuskey，并统计人员STUIDj的关键词总数stuskeyn，即，{stuskey₁, stuskey₂, …, stuskey_h}，其中，j是步骤B2中的循环变量；步骤B4：设当前关键词的下标循环变量为k，即，k<=stuskeyn，其中，stuskeyn 是步骤B3中当前人员标识STUID_j对应的stuskey所包含的关键词总数；步骤B5：从步骤B1中的全局分类标签‑关键词‑词频集CATEKEYF中筛选出关键词stuskey_k的分类标签‑词频集keycatef，即，={(LABEL₁, f_kl1), (LABEL₂, f_kl2), …, (LABEL_o, f_klo)}，其中，LABEL₁ ， LABEL₂ ， …， LABEL_o代表分类标签，f_kl1， f_kl2 ， …， f_klo分别代表标签LABEL₁ ， LABEL₂ ， …， LABEL_o所对应的频数；步骤B6：叠加关键词的分类标签‑词频记录keycatef中相同LABEL分类标签的词频，然后更新人员STUID_j的分类标签‑频数记录，即，f_gkl1=f_gkl1+f_kl1, f_gkl2=f_gkl2+f_kl2, …, f_gklo=f_gklo+f_klo， stucatef={(LABEL₁, f_gkl1), (LABEL₂, f_gkl2), …, (LABEL_o, f_gklo)}，其中，LABEL∈{LABEL₁ , LABEL₂ , …, LABEL_o}；步骤B7：当步骤B4中的循环变量k大于步骤B3中的当前人员标识STUID_j对应的stuskey所包含的关键词总数stuskeyn时，执行步骤B8，否则，循环变量k增加1，使k=k+1，执行步骤B5到步骤B6；步骤B8：更新全体人员的分类标签‑频数集GSTUCATEF，将GSTUCATEF与步骤B3中的STUID_j和步骤B5中的keycatef形成的元组做并集运算，即，GSTUCATEF=GSTUCATEF∪{(STUID_j, stucatef)}={(STUID₁, {(LABEL₁, f_kl1,1),(LABEL₂, f_kl1,2), …, (LABEL_o, f_kl1,o)}),(STUID₂, {(LABEL₁, f_kl2,1), (LABEL₂, f_kl2,2), …, (LABEL_o, f_kl2,o)}), …, (STUID_g, {(LABEL₁, f_klg,1), (LABEL₂, f_klg,2), …, (LABEL_o, f_klg,o)})}，其中，GSTUCATEF来自步骤B1；步骤B9：当步骤B2中的循环变量j大于步骤B1中的人员总数STUIDN时，执行步骤A12，否则，循环变量j的值增加1，即，j=j+1，执行步骤B3到步骤B8。