`html.parser` — 简单的 HTML 和 XHTML 解析器¶

源代码: Lib/html/parser.py

此模块定义了一个类 HTMLParser，作为解析 HTML (超文本标记语言) 和 XHTML 格式文本文件的基础。

class html.parser.HTMLParser(*, convert_charrefs=True)¶

创建一个能够解析无效标记的解析器实例。

如果 *convert_charrefs* 为 True（默认值），则所有字符引用（script / style 元素中的除外）都会自动转换为对应的 Unicode 字符。

当遇到开始标签、结束标签、文本、注释和其他标记元素时，HTMLParser 实例会接收 HTML 数据并调用处理方法。用户应子类化 HTMLParser 并重写其方法以实现所需行为。

此解析器不会检查结束标签是否与开始标签匹配，也不会为通过隐式关闭外部元素而关闭的元素调用结束标签处理程序。

版本 3.4 中的新功能: 添加了 *convert_charrefs* 关键字参数。

版本 3.5 中的新功能: 参数 *convert_charrefs* 的默认值现在是 True。

HTML 解析器应用程序示例¶

作为一个基本示例，下面是一个简单的 HTML 解析器，它使用 HTMLParser 类来打印遇到的开始标签、结束标签和数据。

from html.parser import HTMLParser

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Encountered a start tag:", tag)

    def handle_endtag(self, tag):
        print("Encountered an end tag :", tag)

    def handle_data(self, data):
        print("Encountered some data  :", data)

parser = MyHTMLParser()
parser.feed('<html><head><title>Test</title></head>'
            '<body><h1>Parse me!</h1></body></html>')

输出将是

Encountered a start tag: html
Encountered a start tag: head
Encountered a start tag: title
Encountered some data  : Test
Encountered an end tag : title
Encountered an end tag : head
Encountered a start tag: body
Encountered a start tag: h1
Encountered some data  : Parse me!
Encountered an end tag : h1
Encountered an end tag : body
Encountered an end tag : html

`HTMLParser` 方法¶

HTMLParser 实例具有以下方法

HTMLParser.feed(data)¶: 向解析器提供一些文本。它会处理其中完整的元素；不完整的数据会被缓冲，直到提供更多数据或调用 close()。*data* 必须是 str。

HTMLParser.close()¶: 强制处理所有缓冲数据，就好像它后面跟着一个文件结束标记一样。此方法可以由派生类重新定义，以在输入结束时定义额外的处理，但重新定义的版本应始终调用 HTMLParser 基类方法 close()。

HTMLParser.reset()¶: 重置实例。丢失所有未处理的数据。这在实例化时会隐式调用。

HTMLParser.getpos()¶: 返回当前行号和偏移量。

HTMLParser.get_starttag_text()¶: 返回最近打开的开始标签的文本。对于结构化处理，通常不需要此功能，但在处理“已部署”的 HTML 或以最小更改（可以保留属性之间的空格等）重新生成输入时可能会有用。

当遇到数据或标记元素时，会调用以下方法，它们旨在在子类中被重写。基类实现什么也不做（handle_startendtag() 除外）

HTMLParser.handle_starttag(tag, attrs)¶

此方法用于处理元素的开始标签（例如 <div id="main">）。

*tag* 参数是转换为小写的标签名称。*attrs* 参数是 (name, value) 对的列表，包含在标签的 <> 括号中找到的属性。*name* 将转换为小写，*value* 中的引号已被移除，字符和实体引用已被替换。

例如，对于标签 <A HREF="https://www.cwi.nl/">，此方法将作为 handle_starttag('a', [('href', 'https://www.cwi.nl/')]) 被调用。

html.entities 中的所有实体引用都在属性值中被替换。

HTMLParser.handle_endtag(tag)¶

此方法用于处理元素的结束标签（例如 </div>）。

*tag* 参数是转换为小写的标签名称。

HTMLParser.handle_startendtag(tag, attrs)¶: 类似于 handle_starttag()，但当解析器遇到 XHTML 风格的空标签（<img ... />）时调用。此方法可以由需要此特定词法信息的子类重写；默认实现只是调用 handle_starttag() 和 handle_endtag()。

HTMLParser.handle_data(data)¶: 此方法用于处理任意数据（例如文本节点以及 <script>...</script> 和 <style>...</style> 的内容）。

HTMLParser.handle_entityref(name)¶: 此方法用于处理 &name; 形式的命名字符引用（例如 >），其中 *name* 是一个通用实体引用（例如 'gt'）。如果 *convert_charrefs* 为 True，则此方法永远不会被调用。

HTMLParser.handle_charref(name)¶: 此方法用于处理 &#NNN; 和 &#xNNN; 形式的十进制和十六进制数字字符引用。例如，> 的十进制等价物是 >，而十六进制是 >；在这种情况下，该方法将接收 '62' 或 'x3E'。如果 *convert_charrefs* 为 True，则此方法永远不会被调用。

HTMLParser.handle_comment(data)¶

当遇到注释时调用此方法（例如 ）。

例如，注释  将导致此方法以参数 ' comment ' 被调用。

Internet Explorer 条件注释 (condcoms) 的内容也将发送到此方法，因此，对于 ，此方法将接收 '[if IE 9]>IE9-specific content<![endif]'。

HTMLParser.handle_decl(decl)¶

此方法用于处理 HTML 文档类型声明（例如 <!DOCTYPE html>）。

*decl* 参数将是 <!...> 标记内声明的整个内容（例如 'DOCTYPE html'）。

HTMLParser.handle_pi(data)¶: 遇到处理指令时调用的方法。*data* 参数将包含整个处理指令。例如，对于处理指令 <?proc color='red'>，此方法将作为 handle_pi("proc color='red'") 被调用。它旨在由派生类重写；基类实现什么也不做。

备注

HTMLParser 类使用 SGML 语法规则处理处理指令。使用尾随 '?' 的 XHTML 处理指令将导致 '?' 包含在 *data* 中。

HTMLParser.unknown_decl(data)¶

当解析器读取到无法识别的声明时调用此方法。

*data* 参数将是 <![...]> 标记内声明的整个内容。有时由派生类重写很有用。基类实现什么也不做。

示例¶

以下类实现了一个解析器，将用于说明更多示例

from html.parser import HTMLParser
from html.entities import name2codepoint

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Start tag:", tag)
        for attr in attrs:
            print("     attr:", attr)

    def handle_endtag(self, tag):
        print("End tag  :", tag)

    def handle_data(self, data):
        print("Data     :", data)

    def handle_comment(self, data):
        print("Comment  :", data)

    def handle_entityref(self, name):
        c = chr(name2codepoint[name])
        print("Named ent:", c)

    def handle_charref(self, name):
        if name.startswith('x'):
            c = chr(int(name[1:], 16))
        else:
            c = chr(int(name))
        print("Num ent  :", c)

    def handle_decl(self, data):
        print("Decl     :", data)

parser = MyHTMLParser()

解析文档类型

>>> parser.feed('<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" '
...             '"http://www.w3.org/TR/html4/strict.dtd">')
Decl     : DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"

解析带有一些属性和标题的元素

>>> parser.feed('<img src="python-logo.png" alt="The Python logo">')
Start tag: img
     attr: ('src', 'python-logo.png')
     attr: ('alt', 'The Python logo')
>>>
>>> parser.feed('<h1>Python</h1>')
Start tag: h1
Data     : Python
End tag  : h1

script 和 style 元素的内容按原样返回，不进行进一步解析

>>> parser.feed('<style type="text/css">#python { color: green }</style>')
Start tag: style
     attr: ('type', 'text/css')
Data     : #python { color: green }
End tag  : style

>>> parser.feed('<script type="text/javascript">'
...             'alert("<strong>hello!</strong>");</script>')
Start tag: script
     attr: ('type', 'text/javascript')
Data     : alert("<strong>hello!</strong>");
End tag  : script

解析注释

>>> parser.feed('<!--a comment-->'
...             '<!--[if IE 9]>IE-specific content<![endif]-->')
Comment  : a comment
Comment  : [if IE 9]>IE-specific content<![endif]

解析命名和数字字符引用并将它们转换为正确的字符（注意：这 3 个引用都等同于 '>'）

>>> parser = MyHTMLParser()
>>> parser.feed('&gt;&#62;&#x3E;')
Data     : >>>

>>> parser = MyHTMLParser(convert_charrefs=False)
>>> parser.feed('&gt;&#62;&#x3E;')
Named ent: >
Num ent  : >
Num ent  : >

向 feed() 提供不完整的块是有效的，但 handle_data() 可能会被多次调用（除非 *convert_charrefs* 设置为 True）

>>> for chunk in ['<sp', 'an>buff', 'ered', ' text</s', 'pan>']:
...     parser.feed(chunk)
...
Start tag: span
Data     : buff
Data     : ered
Data     :  text
End tag  : span

解析无效 HTML（例如未加引号的属性）也有效

>>> parser.feed('<p><a class=link href=#main>tag soup</p ></a>')
Start tag: p
Start tag: a
     attr: ('class', 'link')
     attr: ('href', '#main')
Data     : tag soup
End tag  : p
End tag  : a

`html.parser` — 简单的 HTML 和 XHTML 解析器¶

HTML 解析器应用程序示例¶

`HTMLParser` 方法¶

示例¶

目录

上一主题

下一主题

本页

html.parser — 简单的 HTML 和 XHTML 解析器¶

HTML 解析器应用程序示例¶

HTMLParser 方法¶

示例¶

`html.parser` — 简单的 HTML 和 XHTML 解析器¶

`HTMLParser` 方法¶