使用python提取html文件中的特定数据的实现代码

代码如下:

感兴趣内容1

感兴趣内容2

感兴趣内容n

内容1

内容2

内容n

我们尝试获得'感兴趣内容'

对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于

代码如下:

这里的内容

还有这里

以及这里的内容

思路如下

1. 遇到 设置标记flag = True
2. 遇到后 设置标记flag = False
3. 当flag 为True时遇到

   设置标记getdata = True

4. 遇到
   且getdata = True,设置getdata = False

python为我们提供了SGMLParser类，SGMLParser 将 HTML 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承SGMLParser 类，并编写页面信息的处理函数。

可用的处理函数如下：

 等，或是一个独一的标记，象 
 或  等。当它找到一个开始标记 tagname，SGMLParser 将查找名为 start_tagname 或 do_tagname 的方法。例如，当它找到一个 
 标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用 unknown_starttag 方法。 

结束标记 (End tag) 
是结束一个块的 HTML 标记，象 ，， 或 

代码如下:

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
SGMLParser.reset(self)

def start_div(self, attrs):
for k,v in attrs:#遍历div的所有属性以及其值
if k == 'class' and v == 'entry-content':#确定进入了
self.flag = True
return

def end_div(self):#遇到
self.flag = False

def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True

代码如下:

def end_p(self):#遇到

def handle_data(self, text):#处理文本
if self.getdata:
self.IDlist.append(text)

代码如下:

def printID(self):
for i in self.IDlist:
print i

上面的思路存在一个bug
遇到后 设置标记flag = False
如果遇到div嵌套怎么办？

代码如下:

我是来捣乱的

感兴趣

在遇到第一个之后标记flag = False，导致无法的到‘感兴趣内容'。
怎么办呢？如何判断遇到的是和匹配的哪个呢？
很简单，和是对应的，我们可以记录他所处的层数。进入子层div verbatim加1,退出子层div verbatim减1.这样就可以判断是否是同一层了。

修改后 如下

代码如下:

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
self.verbatim = 0
SGMLParser.reset(self)

def start_div(self, attrs):
if self.flag == True:
self.verbatim +=1 #进入子层div了，层数加1
return
for k,v in attrs:#遍历div的所有属性以及其值
if k == 'class' and v == 'entry-content':#确定进入了
self.flag = True
return

def end_div(self):#遇到
if self.verbatim == 0:
self.flag = False
if self.flag == True:#退出子层div了，层数减1
self.verbatim -=1

def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True

def end_p(self):#遇到

def handle_data(self, text):#处理文本
if self.getdata:
self.IDlist.append(text)

def printID(self):
for i in self.IDlist:
print i

最后 建立了我们自己的类GetIdList后如何使用呢？
简单建立实例 t = GetIdList()
the_page为字符串，内容为html
t.feed(the_page)#对html解析

t.printID()打印出结果

全部测试代码为

代码如下:

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
def reset(self):
self.IDlist = []
self.flag = False
self.getdata = False
self.verbatim = 0
SGMLParser.reset(self)

def start_div(self, attrs):
if self.flag == True:
self.verbatim +=1 #进入子层div了，层数加1
return
for k,v in attrs:#遍历div的所有属性以及其值
if k == 'class' and v == 'entry-content':#确定进入了
self.flag = True
return

def end_div(self):#遇到
if self.verbatim == 0:
self.flag = False
if self.flag == True:#退出子层div了，层数减1
self.verbatim -=1

def start_p(self, attrs):
if self.flag == False:
return
self.getdata = True

def end_p(self):#遇到

def handle_data(self, text):#处理文本
if self.getdata:
self.IDlist.append(text)

def printID(self):
for i in self.IDlist:
print i

##import urllib2
##import datetime
##vrg = (datetime.date(2012,2,19) - datetime.date.today()).days
##strUrl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
##req = urllib2.Request(strUrl)#通过网络获取网页
##response = urllib2.urlopen(req)
##the_page = response.read()

the_page ='''

title

感兴趣内容1

感兴趣内容2

感兴趣内容n

内容1

内容2

内容n

执行后 输出为

代码如下:

感兴趣内容1
感兴趣内容2
感兴趣内容n

参考文献

[1] 深入 Python:Dive Into Python 中文版