Python实现快速计算词频功能示例 - 行业资讯 - 肥雀云

本文实例讲述了Python实现快速计算词频功能。分享给大家供大家参考,具体如下:

这几天看到一位同事的代码,方法如下:

　　　　　　def cut_word(身体): 　　temp_dict={} 　　如果身体不是没有: 　　temp=jieba.cut(身体) 　　t在临时: 　　temp_dict [t]=1 　　其他: 　　通过　　返回temp_dict 　　　　之前　　　　

这个函数的功能,是输入一段字符串,比如:“今天天气很不错”,输出一个字典,主要为使用结巴的切方法之后切分的词,值为1,如:{“很”:1、“今天天气”:1、“不”错:1}

。　　

然后我看到同事的另一个方法:

　　　　　　def union_dict (x, y): 　　_keys=集(和([obj.keys obj的()[x, y]], [])) 　　_total={} 　　在_keys _key: 　　_total [_key]=总和([obj.get (obj _key,0)在(x, y))) 　　返回_total 　　　　之前　　　　

是这样调用的:

　　　　　　final_dict=减少(union_dict,结果) 　　　　之前　　　　

结果是这样产生的:

　　　　　　结果=df(身体的)苹果(cut_word) 　　　　之前　　　　

也就是把df的身体列每一行进行<代码> cut_word 函数操作(即将字符串转换成一个字典)。

结果的类型是系列中,随后对结果用减少函数进行union_dict操作。

union_dict的作用是,输入两个字典,比如,对关键相同的进行求值和,也就是输出会变成。

所以这一系列的操作其实是为了计算一大堆文字的词频数,但同事使用的是对每一行分别进行拆分,生成字典,随后

对字典进行合并,其实有些麻烦。

再学习自然语言处理的时候,我了解到有一个方法,可以直接计算词频,用在此处正好。

　　　　　　# - * -编码:utf - 8 - * 　　进口nltk 　　进口jieba 　　str='今天天气很不错。今天天气很差的　　一个=列表(jieba.cut (str)) 　　cfd=nltk.FreqDist (a) 　　　　之前　　　　

结果直接是一个带有频数的字典:

由于同事的函数<代码> cut_word> FreqDist 函数,需要对每个<代码> 出切来的列表去重,随后再拼接为大字符串调用<代码> FreqDist> 　　

对于普通的计算频数的需求来说,这个函数能直接解决,十分方便。

更多关于Python相关内容感兴趣的读者可查看本站专题:《Python数学运算技巧总结》,《Python数据结构与算法教程》、《Python函数使用技巧总结》,《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。