最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

python制作花瓣网美女图片爬虫

来源:动视网 责编:小采 时间:2020-11-27 14:41:57
文档

python制作花瓣网美女图片爬虫

python制作花瓣网美女图片爬虫:花瓣图片的加载使用了延迟加载的技术,源代码只能下载20多张图片,修改后基本能下载所有的了,只是速度有点慢,后面再优化下 import urllib, urllib2, re, sys, os,requests path=rC:\wqa\beautify url = 'http://huaban
推荐度:
导读python制作花瓣网美女图片爬虫:花瓣图片的加载使用了延迟加载的技术,源代码只能下载20多张图片,修改后基本能下载所有的了,只是速度有点慢,后面再优化下 import urllib, urllib2, re, sys, os,requests path=rC:\wqa\beautify url = 'http://huaban


花瓣图片的加载使用了延迟加载的技术,源代码只能下载20多张图片,修改后基本能下载所有的了,只是速度有点慢,后面再优化下

import urllib, urllib2, re, sys, os,requests
path=r"C:wqaeautify"
url = 'http://huaban.com/favorite/beauty'
#http://huaban.com/explore/zhongwenlogo/?ig1un9tq&max=327773629&limit=20&wfl=1
i_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36"}
count=0

def urlHandle(url):
 req = urllib2.Request(url, headers=i_headers)
 html = urllib2.urlopen(req).read()
 reg = re.compile(r'"pin_id":(d+),.+?"file":{"farm":"farm1", "bucket":"hbimg",.+?"key":"(.*?)",.+?"type":"image/(.*?)"', re.S)
 groups = re.findall(reg, html)
 return groups

def imgHandle(groups):
 if groups:
 for att in groups: 
 pin_id = att[0]
 att_url = att[1] + '_fw236'
 img_type = att[2]
 img_url = 'http://img.hb.aicdn.com/' + att_url

 r = requests.get(img_url)
 with open(path + att_url + '.' + img_type, 'wb') as fd:
 for chunk in r.iter_content():
 fd.write(chunk)

groups = urlHandle(url)
imgHandle(groups)

while(groups):
 count+=1
 print count
 pin_id = groups[-1][0]
 print pin_id
 urltemp = url+'/?max=' + str(pin_id) + '&limit=' + str(20) + '&wfl=1'
 print(urltemp)
 groups = urlHandle(urltemp)
 #print groups
 imgHandle(groups)

文档

python制作花瓣网美女图片爬虫

python制作花瓣网美女图片爬虫:花瓣图片的加载使用了延迟加载的技术,源代码只能下载20多张图片,修改后基本能下载所有的了,只是速度有点慢,后面再优化下 import urllib, urllib2, re, sys, os,requests path=rC:\wqa\beautify url = 'http://huaban
推荐度:
标签: 图片 python 爬虫
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top