最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

安装Scrapy教程

来源:动视网 责编:小采 时间:2020-11-27 14:23:31
文档

安装Scrapy教程

安装Scrapy教程:Scrapy,是基于python的网络爬虫框架,它能从网络上爬下来信息,是data获取的一个好方式。于是想安装下看看。进到它的官网,安装的介绍页面有3种装法,一个是从pip,一个是从源码编译,一个是从conda根据之前的知识,pip就已经是集成在python中的包管理
推荐度:
导读安装Scrapy教程:Scrapy,是基于python的网络爬虫框架,它能从网络上爬下来信息,是data获取的一个好方式。于是想安装下看看。进到它的官网,安装的介绍页面有3种装法,一个是从pip,一个是从源码编译,一个是从conda根据之前的知识,pip就已经是集成在python中的包管理


Scrapy,是基于python的网络爬虫框架,它能从网络上爬下来信息,是data获取的一个好方式。于是想安装下看看。

进到它的官网,安装的介绍页面

有3种装法,一个是从pip,一个是从源码编译,一个是从conda

根据之前的知识,pip就已经是集成在python中的包管理工具,最简单明了,就忽视了官网介绍界面的一句话

Note that sometimes this may require solving compilation issues for some Scrapy dependencies depending on your operating system

结果在编译阶段报了很多错误,解决一个还有一个。

然后就放弃了,从源码编译,跟pip一样,也是一堆编译错误。

没办法,就去看conda,下载了个miniconda,60多M吧。仔细一研究结果爽死了。

可能python也注意到了它的包下载下来需要编译,编译的话需要依赖自己OS的环境配置,经常出错的这个问题。

miniconda是个已经安装好了python的一个集成环境,等于下载安装好了miniconda也就是下载好了基本的python核心程序,然后可以通过conda命令来来下载conda已经编译好的包来做功能扩展。也就是scrapy包以及它依赖的lxml,twisted等编译的我半死的包都是已经跟编译好的。那下载下来直接用就可以了。

文档

安装Scrapy教程

安装Scrapy教程:Scrapy,是基于python的网络爬虫框架,它能从网络上爬下来信息,是data获取的一个好方式。于是想安装下看看。进到它的官网,安装的介绍页面有3种装法,一个是从pip,一个是从源码编译,一个是从conda根据之前的知识,pip就已经是集成在python中的包管理
推荐度:
标签: 安装 教程 心得
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top