新人小菜鸟又来写博客啦! ! !没人表示不开心~ ~(祝辞;_<) ~ ~
今天我来弄一个简单的关键词提取的代码
<强>(1)分词
<强>(2)去停用词
<强>(3)关键词提取
分词方法有很多,我这里就选择常用的结巴jieba分词、去停用的词,我用了一个停用词表。
进口jieba
进口jieba.analyse
#第一步:分词,这里使用结巴分词全模式
文本="的新闻,也叫消息,是指报纸,电台,电视台,互联网经常使用的记录社会、传播信息,反映时代的一种文体,具有真实性,时效性,简洁性,可读性,准确性的特点。新闻概念有广义与狭义之分。就其广义而言,除了发表于报刊,广播,电视上的评论与专文外的常用文本都属于新闻之列,包括消息,通讯,特写,速写(有的将速写纳入特写之列)等等。狭义的新闻则专指消息,消息是用概括的叙述方式,比较简明扼要的文字,迅速及时地报道国内外新近发生的,有价值的的事实。新闻也分公众新闻和小道新闻等。每则新闻在结构上,一般包括标题,导语,主体,背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法上主要是叙述,有时兼有议论,描写,评论等。
“‘
fenci_text=jieba.cut(文本)
. join (fenci_text #打印("/"))
#第二步:去停用的词
#这里是有一个文件存放要改的文章,一个文件存放停用表,然后和停用表里的词比较,一样的就删掉,最后把结果存放在一个文件中
stopwords={} .fromkeys ([line.rstrip()行开放(stopwords.txt)])
最后=" "
在fenci_text:
如果单词不在stopwords:
如果(词!=薄！昂妥?="、"):
最后=最终+ " " +词
打印(最终)
#第三步:提取关键词
一个=jieba.analyse。extract_tags(文本、topK=5, withWeight=True, allowPOS=())
print ()
#文本为待提取的文本
# topK:返回几个TF/IDF权重最大的关键词,默认值为20。
# withWeight:是否一并返回关键词权重值,默认值为假的。
# allowPOS:仅包括指定词性的词,默认值为空,即不进行筛选。
runfile (' D:/数据/文本挖掘/xiaojieba。py’, wdir=' D:/数据/文本挖掘”)
新闻消息指报纸,电台,电视台,互联网记录社会、传播信息,时代一种文体真实性,时效性,简洁性,可读性,准确性新闻概念广义狭义之分广义发表报刊,广播,电视评论专文外常用文本新闻列包括消息,通讯,特写,速写(速写纳入特写列)狭义新闻专指消息消息概括叙述方式简明扼要文字报道国内外新近发生,价值事实新闻分公众新闻小道新闻每则新闻在结构上包括标题,导语,主体,背景结语五前三者二者辅助写法叙述兼有议论,描写,评论
((“新闻”,0.4804811569680808),(“速写的,0.2121107125313131),(“消息的,0.20363211136040404),(“特写的,0.20023623445272729),(“狭”义,0.16168734917858588)]
之前
好啦,是不是很简单吗?
以上这篇python实现关键词提取的示例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
