(一)jieba分词

 发布日期:2018-11-14 13:00:08  阅读次数:阅读数:315  来源:
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hao5335156/article/details/82709236

jieba分词

1、全模式

按照前后的顺序分词,句子有交叉

import jieba
seg_list = jieba.cut("我喜欢自然语言处理", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式
Building prefix dict from the default dictionary ...
Dumping model to file cache /tmp/jieba.cache
Loading model cost 0.829 seconds.
Prefix dict has been built succesfully.


Full Mode: 我/ 喜欢/ 自然/ 自然语言/ 语言/ 处理
2、精确模式

按照前后的顺序分词,句子无交叉

import jieba
seg_list = jieba.cut("我喜欢自然语言处理", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 全模式
Default Mode: 我/ 喜欢/ 自然语言/ 处理

关键词提取

基于 TF-IDF 算法的关键词抽取

import jieba.analyse

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词,默认值为 20
withWeight 为是否一并返回关键词权重值,默认值为 False
allowPOS 仅包括指定词性的词,默认值为空,即不筛选

import jieba.analyse as analyse
lines = open('NBA.txt').read()
print("  ".join(analyse.extract_tags(lines, topK=20, withWeight=False, allowPOS=())))
韦少  杜兰特  全明星  全明星赛  MVP  威少  正赛  科尔  投篮  勇士  球员  斯布鲁克  更衣柜  NBA  三连庄  张卫平  西部  指导  雷霆  明星队

词性标注

import jieba.posseg as pseg
words = pseg.cut("我喜欢自然语言处理")
for word, flag in words:
    print('%s %s' % (word, flag))
我 r
喜欢 v
自然语言 l
处理 v
如果您有好的新闻与建议,欢迎点击文章投稿

    发表评论

    电子邮件地址不会被公开。

  • 内容

  • 网名