python结合shell查询google关键词排名的实现代码

#vim keyword.py 
import urllib,urllib2,cookielib,re,sys,os,time,random 
cj = cookielib.CookieJar() 
vibramkey=['cheap+five+fingers','vibram+five+fingers'] 
beatskey=['beats+by+dre','beats+by+dre+cheap'] 
vibramweb=['vibramforshoes.com','vibramfivetoeshoes.net','vibramfivefingersshoesx.com '] 
beatsweb=['beatsbydre.com','justlovebeats.com'] 
allweb=['vibramweb','beatsweb'] 
def serchkey(key,start): 
 url="http://www.google.com/search?hl=en&q=%s&revid=33815775&sa=X&ei=X6CbT4GrIoOeiQfth43GAw&ved=0CIgBENUCKAY&start=%s" %(key,start) 
 try: 
 opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
 opener.addheaders = [('User-agent', 'Opera/9.23')] 
 urllib2.install_opener(opener) 
 req=urllib2.Request(url) 
 response =urllib2.urlopen(req) 
 content = response.read() 
 f=open('google','w') 
 f.write(content) 
 tiqu=os.popen("grep -ioP '(?<=).*?(?=)' google|sed -r 's/(<*/*cite>|)//g'").readlines() 
 except: 
 changeip() 
 else: 
 for yuming in pinpai: 
 a=1 
 for shouyuming in tiqu: 
 real=shouyuming.find(yuming) 
 if real>0: 
 if start==0: 
 page=1 
 elif start==10: 
 page=2 
 elif start==20: 
 page=3 
 elif start==30: 
 page=4 
 else: 
 page=5 
 lastkey=key.replace("+"," ") 
 xinxi="%s	 %s	 page%s,%s

" %(yuming,lastkey,page,a) 
 xinxifile=open('index.html','a') 
 xinxifile.write(xinxi) 
 xinxifile.close() 
 a=a+1 
def changeip(): 
 ip=random.randint(0,2) 
 de="route del -host google.com" 
 add="route add -host google.com eth1:%s" %ip 
 os.system(de) 
 os.system(add) 
 print "changip to %s" %ip 
pinpaiid=0 
for x in vibramkey,beatskey: 
 if pinpaiid == 0: 
 pinpai=vibramweb 
 elif pinpaiid == 1: 
 pinpai=beatsweb 
pinpaiid=pinpaiid+1 
 for key in x: 
 for start in 0,10,20,30,40: 
 serchkey(key,start) 
 changeip() 
os.system("sh paiban.sh") 

#vim paiban.sh 
#! /bin/bash 
sort index.html -o index.html 
line=`wc -l index.html|awk '{print $1}'` 
yuming2=`sed -n 1p index.html|awk '{print $1}'` 
for i in `seq 2 $line` 
do 
yuming=`sed -n "$i"p index.html|awk '{print $1}'` 
if [ $yuming == $yuming2 ];then 
sed -i ""$i"s/"$yuming"/	/g" index.html 
else 
yuming2=$yuming 
fi 
done 

import urllib,urllib2,cookielib,re,sys,os,time,random #加载模块 
cj = cookielib.CookieJar() 
vibramkey=['cheap+five+fingers','vibram+five+fingers'] #定义要查询的关键词组1，里面的单引号里面就是要查询的关键词。 
beatskey=['beats+by+dre','beats+by+dre+cheap'] #同上，定义关键词组2，这个是另一组关键词。 
vibramweb=['vibramforshoes.com','vibramfivetoeshoes.net','vibramfivefingersshoesx.com '] 
#定义关健词组1要查询的网站 
beatsweb=[' beatsbydre.com',' justlovebeats.com'] #定义关健词组2要查询的网站 
allweb=['vibramweb','beatsweb'] #这里定义了一个所有网站的组，下面好调用。 
def serchkey(key,start): #这里定义一个函数，key为查询的关健词，start为页面，通过google查询页面可以看出来每个页面除ads外只有十条记录，start=0时显示为第一个页面第一至第十条记录，start=10时，显示第二页的第一至十条记录，以些类推。 
 url="http://www.google.com/search?hl=en&q=%s&revid=33815775&sa=X&ei=X6CbT4GrIoOeiQfth43GAw&ved=0CIgBENUCKAY&start=%s" %(key,start) #这个定义了查询的URL 
 try: 
 opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
 opener.addheaders = [('User-agent', 'Opera/9.23')] #模拟浏览器访问 
 urllib2.install_opener(opener) 
 req=urllib2.Request(url) #用urllib2访问 
 response =urllib2.urlopen(req) 
 content = response.read()#这块是模拟浏览器进行访问url的页面并读取源代码 
 f=open('google','w') 
 f.write(content) #将读取出来的内容保存到google的一个页面里。 
 tiqu=os.popen("grep -ioP '(?<=).*?(?=)' google|sed -r 's/(<*/*cite>|)//g'").readlines() #这里利用了系统命令了。利用正则的零宽断言提直接取出第一到第十位的网站域名。 
 except: 
 changeip() #这边是怕访问过多被google封了。所以这里有一个换ip的函数，下面有定义。上面如果try失败了，就执行换ip的动作。 
 else: 
 for yuming in pinpai: #循环读取要查找的网站 
 a=1 
 for shouyuming in tiqu: #循环读取查找出来的网站 
 real=shouyuming.find(yuming) #将查找出来的网站与需要查找的网站进行比对 
 if real>0: 
 if start==0: 
 page=1 
 elif start==10: 
 page=2 
 elif start==20: 
 page=3 
 elif start==30: 
 page=4 
 else: 
 page=5 
 #这里的查看域名在google搜索后的哪一页。 
 lastkey=key.replace("+"," ") #将定义的关键词中间的加号去掉。 
 print yuming,lastkey,page,a 
 xinxi="%s	 %s	 第%s页,排名%s
" %(yuming,lastkey,page,a) 
 xinxifile=open('index.html','a') 
 xinxifile.write(xinxi) 
 xinxifile.close() #将查找出来的信息写入到index.html文件里 
 aa=a+1 
def changeip(): #这里是定义查询时换ip的函数。如果机器只有一个ip那就不用这段了。 
 ip=random.randint(0,10) #随机生成0-10的数 
 del="route del -host google.com" #删除路由命令 
 add="route add -host google.com eth1:%s" %ip #添加路由命令 
 os.system(del) #执行删除路由命令 
 os.system(add) #执行添加路由命令 
 print "changip to %s" %ip #打印更改路由信息 
pinpaiid=0 
for x in vibramkey,beatskey: #循环所有的关键词组 
 if pinpaiid == 0: # 对应关键词组与要查询的网站组 
 pinpai=vibramweb 
 elif pinpaiid == 1: 
 pinpai=beatsweb 
pinpaiidpinpaiid=pinpaiid+1 
 for key in x: #循环关键词组里的关键词 
 for start in 0,10,20,30,40: #定义所要查找的google的页面 
 serchkey(key,start) 
 changeip() #更改ip函数。在每一组关键词查询完毕后更改ip. 

#sh paiban.sh 
#cat index.html 
beatsbydre.com beats by dre cheap page 2,rank 2 
 beats by dre cheap page 2,rank 3 
 beats by dre cheap page 5,rank 10 
 beats by dre page 1,rank 1 
justlovebeats.com beats by dre page 5,rank 7 
vibramfivetoeshoes.net cheap five fingers page 5,rank 5 
 vibram five fingers page 5,rank 10 
vibramforshoes.com cheap five fingers page 1,rank 3 
 vibram five fingers page 1,rank 6 

#vim paiban.sh 
#! /bin/bash 
sort index.html -o index.html #先把index.html文件排下序，再写入index.html 
line=`wc -l index.html|awk '{print $1}'` #统计行 
yuming2=`sed -n 1p index.html|awk '{print $1}'` #取第一行的域名 给yuming2 
for i in `seq 2 $line` #从第二行开始了取域名 
do 
yuming=`sed -n "$i"p index.html|awk '{print $1}'` 
if [ $yuming == $yuming2 ];then 
sed -i ""$i"s/"$yuming"/	/g" index.html #如果下一行域名与yuming2域名相同，就把下一行域名替换成空 
else 
yuming2=$yuming #如果不相等，就把下一行的域名给yuming2变量 
fi 
done