最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

Pythonsmallseg分词用法实例分析

来源:动视网 责编:小采 时间:2020-11-27 14:41:21
文档

Pythonsmallseg分词用法实例分析

Pythonsmallseg分词用法实例分析:本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下: #encoding=utf-8 #import psyco #psyco.full() words = [x.rstrip() for x in open(main.dic,mode='r',encoding='utf-8') ]
推荐度:
导读Pythonsmallseg分词用法实例分析:本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下: #encoding=utf-8 #import psyco #psyco.full() words = [x.rstrip() for x in open(main.dic,mode='r',encoding='utf-8') ]


本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下:

#encoding=utf-8 
#import psyco 
#psyco.full() 
words = [x.rstrip() for x in open("main.dic",mode='r',encoding='utf-8') ] 
from smallseg import SEG 
seg = SEG() 
print('Load dict...') 
seg.set(words) 
print("Dict is OK.") 
def cuttest(text): 
 wlist = seg.cut(text) 
 wlist.reverse() 
 tmp = " ".join(wlist) 
 print(tmp) 
 print("================================") 
if __name__=="__main__": 
 cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空,我爱北京,我爱Python和C++。") 
 cuttest("我不喜欢日本和服。") 
 cuttest("雷猴回归人间。") 
 cuttest("工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作") 
 cuttest("我需要廉租房") 
 cuttest("永和服装饰品有限公司") 
 cuttest("我爱北京天安门") 
 cuttest("abc") 
 cuttest("隐马尔可夫") 
 cuttest("雷猴是个好网站") 
 cuttest("“Microsoft”一词由“MICROcomputer(微型计算机)”和“SOFTware(软件)”两部分组成") 
 cuttest("草泥马和欺实马是今年的流行词汇") 
 cuttest("伊藤洋华堂总府店") 
 cuttest("中国科学院计算技术研究所") 
 cuttest("罗密欧与朱丽叶") 
 cuttest("我购买了道具和服装")

smallseg分词,在python3.3上运行稍微有些问题。py代码xrange在3.*中已经改名字为range了。另外,3.*中也没有decode函数了。

修改了上面的两个地方,代码就可移植性了。效果还可以。

希望本文所述对大家的Python程序设计有所帮助。

文档

Pythonsmallseg分词用法实例分析

Pythonsmallseg分词用法实例分析:本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下: #encoding=utf-8 #import psyco #psyco.full() words = [x.rstrip() for x in open(main.dic,mode='r',encoding='utf-8') ]
推荐度:
标签: 实例 python 分词
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top