例如 具有如下结构的html文件
代码如下:
感兴趣内容1
感兴趣内容2
……
感兴趣内容n
内容1
内容2
……
内容n
我们尝试获得'感兴趣内容'
对于文本内容,我们保存到idlist中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于
代码如下:
这里的内容
还有这里
……
以及这里的内容
思路如下
遇到 设置标记flag = true 遇到
后 设置标记flag = false 当flag 为true时遇到 设置标记getdata = true
遇到 且getdata = true,设置getdata = falsepython为我们提供了sgmlparser类，sgmlparser 将 html 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承sgmlparser 类，并编写页面信息的处理函数。
可用的处理函数如下：
开始标记 (start tag) 是一个开始一个块的 html 标记，象 ，， 或 等，或是一个独一的标记，象
或 等。当它找到一个开始标记 tagname，sgmlparser 将查找名为 start_tagname 或 do_tagname 的方法。例如，当它找到一个 标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，sgmlparser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用 unknown_starttag 方法。 
结束标记 (end tag) 是结束一个块的 html 标记，象 ，， 或 等。当找到一个结束标记时，sgmlparser 将查找名为 end_tagname 的方法。如果找到，sgmlparser 调用这个方法，否则它使用标记的名字来调用 unknown_endtag 。 字符引用 (character reference) 用字符的十进制或等同的十六进制来表示的转义字符，象  。当找到，sgmlparser 使用十进制或等同的十六进制字符文本来调用 handle_charref 。 实体引用 (entity reference) html 实体，象 ©。当找到，sgmlparser 使用 html 实体的名字来调用 handle_entityref 。 注释 (comment) html 注释, 包括在 之间。当找到，sgmlparser 用注释内容来调用 handle_comment。 处理指令 (processing instruction) html 处理指令，包括在 ... > 之间。当找到，sgmlparser 用处理指令内容来调用 handle_pi。 声明 (declaration) html 声明，如 doctype，包括在 之间。当找到，sgmlparser 用声明内容来调用 handle_decl。 文本数据 (text data) 文本块。不满足其它 7 种类别的任何东西。当找到，sgmlparser 用文本来调用 handle_data。
综上，的到如下代码
代码如下:
from sgmllib import sgmlparser
class getidlist(sgmlparser):
    def reset(self):
        self.idlist = []
        self.flag = false
        self.getdata = false
        sgmlparser.reset(self)
def start_div(self, attrs):
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了
self.flag = true
                return    def end_div(self):#遇到
self.flag = false
def start_p(self, attrs):
        if self.flag == false:
            return
        self.getdata = true
代码如下:
def end_p(self):#遇到
if self.getdata:
            self.getdata = false    def handle_data(self, text):#处理文本
        if self.getdata:
            self.idlist.append(text)
代码如下:
def printid(self):
        for i in self.idlist:
            print i
上面的思路存在一个bug
遇到后 设置标记flag = false
如果遇到div嵌套怎么办？
代码如下:
我是来捣乱的
感兴趣
在遇到第一个之后标记flag = false，导致无法的到‘感兴趣内容'。
怎么办呢？如何判断遇到的是和
匹配的哪个呢？
很简单，
和是对应的，我们可以记录他所处的层数。进入子层div verbatim加1,退出子层div  verbatim减1.这样就可以判断是否是同一层了。修改后 如下
代码如下:
from sgmllib import sgmlparser
class getidlist(sgmlparser):
    def reset(self):
        self.idlist = []
        self.flag = false
        self.getdata = false
        self.verbatim = 0
        sgmlparser.reset(self)
def start_div(self, attrs):
        if self.flag == true:
            self.verbatim +=1 #进入子层div了，层数加1
            return
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了
self.flag = true
                return    def end_div(self):#遇到
if self.verbatim == 0:
            self.flag = false
        if self.flag == true:#退出子层div了，层数减1
            self.verbatim -=1    def start_p(self, attrs):
        if self.flag == false:
            return
        self.getdata = true
def end_p(self):#遇到
if self.getdata:
            self.getdata = false    def handle_data(self, text):#处理文本
        if self.getdata:
            self.idlist.append(text)
def printid(self):
        for i in self.idlist:
            print i
最后  建立了我们自己的类getidlist后如何使用呢？
简单建立实例 t = getidlist()
the_page为字符串，内容为html
t.feed(the_page)#对html解析
t.printid()打印出结果
全部测试代码为
代码如下:
from sgmllib import sgmlparser
class getidlist(sgmlparser):
    def reset(self):
        self.idlist = []
        self.flag = false
        self.getdata = false
        self.verbatim = 0
        sgmlparser.reset(self)
def start_div(self, attrs):
        if self.flag == true:
            self.verbatim +=1 #进入子层div了，层数加1
            return
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了
self.flag = true
                return    def end_div(self):#遇到
if self.verbatim == 0:
            self.flag = false
        if self.flag == true:#退出子层div了，层数减1
            self.verbatim -=1    def start_p(self, attrs):
        if self.flag == false:
            return
        self.getdata = true
def end_p(self):#遇到
if self.getdata:
            self.getdata = false    def handle_data(self, text):#处理文本
        if self.getdata:
            self.idlist.append(text)
def printid(self):
        for i in self.idlist:
            print i
##import urllib2
##import datetime
##vrg = (datetime.date(2012,2,19) - datetime.date.today()).days
##strurl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
##req = urllib2.request(strurl)#通过网络获取网页
##response = urllib2.urlopen(req)
##the_page = response.read()
the_page ='''
test
title
我是来捣乱的
感兴趣内容1
感兴趣内容2
……
感兴趣内容n
我是来捣乱的2我是来捣乱的3
内容1
内容2
……
内容n
'''
lister = getidlist()
lister.feed(the_page)
lister.printid()
执行后 输出为
代码如下:
感兴趣内容1
感兴趣内容2
感兴趣内容n
参考文献
[1] 深入 python:dive into python 中文版