最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

Python编写百度贴吧的简单爬虫

来源:动视网 责编:小采 时间:2020-11-27 14:32:12
文档

Python编写百度贴吧的简单爬虫

Python编写百度贴吧的简单爬虫:操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数 功能:下载对应页码的所有页面并储存为HTML文件,以当前时间命名 代码: # -*- coding: utf-8 -*- #---------------------------- # 程序:百度贴吧的小爬虫 # 日期:
推荐度:
导读Python编写百度贴吧的简单爬虫:操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数 功能:下载对应页码的所有页面并储存为HTML文件,以当前时间命名 代码: # -*- coding: utf-8 -*- #---------------------------- # 程序:百度贴吧的小爬虫 # 日期:


操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数

功能:下载对应页码的所有页面并储存为HTML文件,以当前时间命名

代码:

# -*- coding: utf-8 -*-
 
#----------------------------
# 程序:百度贴吧的小爬虫
# 日期:2015/03/28
# 语言:Python 2.7
# 操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数
# 功能:下载对应页码的所有页面并储存为HTML文件,以当前时间命名
#----------------------------
 
import urllib2
import time
 
def baidu_tieba(url, start, end):
 for i in range(start, end):
 sName = time.strftime('%Y%m%d%H%M%S') + str(i) + '.html'
 print '正在下载第' + str(i) + '个网页,并将其储存为' + sName + '...'
 f = open(sName, 'w+')
 m = urllib2.urlopen(url+str(i))
 n = m.read()
 f.write(n)
 f.close()
 print '成功下载'
 
baiduurl = str(raw_input('请输入贴子的地址,去掉pn后面的数字>>
'))
begin_page = int(raw_input('请输入帖子的起始页码>>
'))
end_page = int(raw_input('请输入帖子的终止页码>>
')) 
 
baidu_tieba(baiduurl, begin_page, end_page)

以上所述就是本文的全部内容了,希望能够对大家学习Python制作爬虫有所帮助。

文档

Python编写百度贴吧的简单爬虫

Python编写百度贴吧的简单爬虫:操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数 功能:下载对应页码的所有页面并储存为HTML文件,以当前时间命名 代码: # -*- coding: utf-8 -*- #---------------------------- # 程序:百度贴吧的小爬虫 # 日期:
推荐度:
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top