最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

对Python中gensim库word2vec的使用

来源:动视网 责编:小采 时间:2020-11-27 14:21:40
文档

对Python中gensim库word2vec的使用

对Python中gensim库word2vec的使用:这篇文章主要介绍了关于对Python中gensim库word2vec的使用,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下pip install gensim安装好库后,即可导入使用:1、训练模型定义from gensim.models import Word2Vec mode
推荐度:
导读对Python中gensim库word2vec的使用:这篇文章主要介绍了关于对Python中gensim库word2vec的使用,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下pip install gensim安装好库后,即可导入使用:1、训练模型定义from gensim.models import Word2Vec mode


这篇文章主要介绍了关于对Python中gensim库word2vec的使用,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下

pip install gensim安装好库后,即可导入使用:

1、训练模型定义

from gensim.models import Word2Vec 
model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)

参数解释:

1.sg=1是skip-gram算法,对低频词敏感;默认sg=0为CBOW算法。

2.size是输出词向量的维数,值太小会导致词映射因为冲突而影响结果,值太大则会耗内存并使算法计算变慢,一般值取为100到200之间。

3.window是句子中当前词与目标词之间的最大距离,3表示在目标词前看3-b个词,后面看b个词(b在0-3之间随机)。

4.min_count是对词进行过滤,频率小于min-count的单词则会被忽视,默认值为5。

5.negative和sample可根据训练结果进行微调,sample表示更高频率的词被随机下采样到所设置的阈值,默认值为1e-3。

6.hs=1表示层级softmax将会被使用,默认hs=0且negative不为0,则负采样将会被选择使用。

7.workers控制训练的并行,此参数只有在安装了Cpython后才有效,否则只能使用单核。

详细参数说明可查看word2vec源代码。

2、训练后的模型保存与加载

model.save(fname) 
model = Word2Vec.load(fname)

3、模型使用(词语相似度计算等)

model.most_similar(positive=['woman', 'king'], negative=['man']) 
#
输出[('queen', 0.50882536), ...] model.doesnt_match("breakfast cereal dinner lunch".split()) #输出'cereal' model.similarity('woman', 'man') #输出0.73723527 model['computer'] # raw numpy vector of a word #输出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32)

其它内容不再赘述,详细请参考gensim的word2vec的官方说明,里面讲的很详细。

文档

对Python中gensim库word2vec的使用

对Python中gensim库word2vec的使用:这篇文章主要介绍了关于对Python中gensim库word2vec的使用,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下pip install gensim安装好库后,即可导入使用:1、训练模型定义from gensim.models import Word2Vec mode
推荐度:
标签: python word2vec gensim
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top