最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

python编写爬虫小程序

来源:动视网 责编:小采 时间:2020-11-27 14:33:28
文档

python编写爬虫小程序

python编写爬虫小程序:起因 深夜忽然想下载一点电子书来扩充一下kindle,就想起来python学得太浅,什么装饰器啊、多线程啊都没有学到。 想到廖雪峰大神的python教程很经典、很著名。就想找找有木有pdf版的下载,结果居然没找到。CSDN有个不完整的还骗走了我一个积分。
推荐度:
导读python编写爬虫小程序:起因 深夜忽然想下载一点电子书来扩充一下kindle,就想起来python学得太浅,什么装饰器啊、多线程啊都没有学到。 想到廖雪峰大神的python教程很经典、很著名。就想找找有木有pdf版的下载,结果居然没找到。CSDN有个不完整的还骗走了我一个积分。


起因

深夜忽然想下载一点电子书来扩充一下kindle,就想起来python学得太浅,什么“装饰器”啊、“多线程”啊都没有学到。
想到廖雪峰大神的python教程很经典、很著名。就想找找有木有pdf版的下载,结果居然没找到!!CSDN有个不完整的还骗走了我一个积分!!尼玛!!
怒了,准备写个程序直接去爬廖雪峰的教程,然后再html转成电子书。

过程

过程很有趣呢,用浅薄的python知识,写python程序,去爬python教程,来学习python。想想有点小激动……
果然python很是方便,50行左右就OK了。直接贴代码:

# coding:utf-8
import urllib

domain = 'http://www.liaoxuefeng.com' #廖雪峰的域名
path = r'C:Userscyhhao2013Desktop	emp\' #html要保存的路径

# 一个html的头文件
input = open(r'C:Userscyhhao2013Desktop.html', 'r')
head = input.read()

# 打开python教程主界面
f = urllib.urlopen("http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000")
home = f.read()
f.close()

# 替换所有空格回车(这样容易好获取url)
geturl = home.replace("
", "")
geturl = geturl.replace(" ", "")

# 得到包含url的字符串
list = geturl.split(r'em;">')

# 开始遍历url List
for li in list:
 url = li.split(r'">')[0]
 url = domain + url #拼凑url
 print url
 f = urllib.urlopen(url)
 html = f.read()

 # 获得title为了写文件名
 title = html.split("")[1]
 title = title.split(" - 廖雪峰的官方网站")[0]

 # 要转一下码,不然加到路径里就悲剧了
 title = title.decode('utf-8').replace("/", " ")

 # 截取正文
 html = html.split(r'')[1]
 html = html.split(r'

您的支持是作者写作最大的动力!

')[0] html = html.replace(r'src="', 'src="' + domain) # 加上头和尾组成完整的html html = head + html+"" #
输出文件 output = open(path + "%d" % list.index(li) + title + '.html', 'w') output.write(html) output.close()

简直,人生苦短我用python啊!

以上所述就是本文的全部内容了,希望大家能够喜欢。

文档

python编写爬虫小程序

python编写爬虫小程序:起因 深夜忽然想下载一点电子书来扩充一下kindle,就想起来python学得太浅,什么装饰器啊、多线程啊都没有学到。 想到廖雪峰大神的python教程很经典、很著名。就想找找有木有pdf版的下载,结果居然没找到。CSDN有个不完整的还骗走了我一个积分。
推荐度:
标签: 小程序 实现 程序
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top