tokenize — Python 源代码的标记器¶
源代码： Lib/tokenize.py
tokenize 模块提供 Python 源代码的词法扫描器，用 Python 实现。此模块中的扫描器也会将注释作为标记返回，使其可用于实现“美化打印”，包括屏幕显示的颜色化。
为了简化标记流处理，所有 操作符 和 分隔符 标记以及 Ellipsis 都使用通用 OP 标记类型返回。可以通过检查 命名元组 上的 exact_type 属性来确定确切类型，该元组由 tokenize.tokenize() 返回。
警告
请注意，此模块中的函数仅设计为解析语法有效的 Python 代码（使用 ast.parse() 解析时不会引发异常的代码）。当提供无效的 Python 代码时，此模块中函数的行为未定义，并且它可能会随时更改。
标记输入¶
主要入口点是 生成器
- tokenize.tokenize(readline)¶
生成器
tokenize()需要一个参数，readline，它必须是一个可调用对象，提供与文件对象的io.IOBase.readline()方法相同的接口。每次调用该函数都应该返回一行输入作为字节。生成器生成 5 元组，这些成员包括：令牌类型；令牌字符串；一个 2 元组
(srow, scol)，其中 int 指定令牌在源中开始的行和列；一个 2 元组(erow, ecol)，其中 int 指定令牌在源中结束的行和列；以及找到令牌的行。传递的行（最后一个元组项）是物理行。5 元组作为 命名元组 返回，字段名称为：type string start end line。返回的 命名元组 有一个名为
exact_type的附加属性，其中包含OP令牌的确切运算符类型。对于所有其他令牌类型，exact_type等于命名元组type字段。在版本 3.1 中更改：增加了对命名元组的支持。
在版本 3.3 中更改：增加了对
exact_type的支持。tokenize()根据 PEP 263 通过查找 UTF-8 BOM 或编码 cookie 来确定文件的源编码。
- tokenize.generate_tokens(readline)¶
标记化一个读取 unicode 字符串而不是字节的源。
与
tokenize()一样，readline 参数是一个可调用对象，返回一行输入。但是，generate_tokens()期望 readline 返回一个 str 对象，而不是字节。结果是一个生成器，产生命名元组，与
tokenize()完全相同。它不会产生ENCODING标记。
来自 token 模块的所有常量也从 tokenize 导出。
还提供另一个函数来反转标记化过程。这对于创建标记脚本、修改标记流和回写修改后的脚本的工具很有用。
- tokenize.untokenize(iterable)¶
将标记转换回 Python 源代码。iterable 必须返回至少包含两个元素的序列，即标记类型和标记字符串。将忽略任何其他序列元素。
重建的脚本作为单个字符串返回。结果保证标记回来与输入匹配，以便转换无损且往返有保证。此保证仅适用于标记类型和标记字符串，因为标记之间的间距（列位置）可能会发生变化。
它返回字节，使用
ENCODING标记进行编码，这是tokenize()输出的第一个标记序列。如果输入中没有编码标记，它将返回一个 str。
tokenize() 需要检测它标记化的源文件的编码。它用于执行此操作的函数可用
- tokenize.detect_encoding(readline)¶
detect_encoding()函数用于检测应使用哪个编码来解码 Python 源文件。它需要一个参数 readline，与tokenize()生成器的方式相同。它将调用 readline 最多两次，并返回所使用的编码（作为字符串）以及它已读入的任何行（未从字节解码）的列表。
它从 UTF-8 BOM 或编码 cookie 中检测编码，如 PEP 263 中所述。如果 BOM 和 cookie 同时存在，但不同意，则会引发
SyntaxError。请注意，如果找到 BOM，则'utf-8-sig'将作为编码返回。如果未指定编码，则会返回
'utf-8'的默认值。使用
open()打开 Python 源文件：它使用detect_encoding()检测文件编码。
- tokenize.open(filename)¶
使用
detect_encoding()检测到的编码以只读模式打开文件。在 3.2 版中添加。
- exception tokenize.TokenError¶
当文档字符串或可能跨多行拆分的表达式在文件中任何地方都没有完成时引发，例如
"""Beginning of docstring
或
[1, 2, 3
命令行用法¶
在 3.3 版中添加。
tokenize 模块可以从命令行作为脚本执行。它就像
python -m tokenize [-e] [filename.py]
接受以下选项
- -h, --help¶
显示此帮助消息并退出
- -e, --exact¶
使用确切类型显示标记名称
如果指定 filename.py，则其内容将标记为 stdout。否则，标记将在 stdin 上执行。
示例¶
将浮点文字转换为 Decimal 对象的脚本重写器示例
from tokenize import tokenize, untokenize, NUMBER, STRING, NAME, OP
from io import BytesIO
def decistmt(s):
"""Substitute Decimals for floats in a string of statements.
>>> from decimal import Decimal
>>> s = 'print(+21.3e-5*-.1234/81.7)'
>>> decistmt(s)
"print (+Decimal ('21.3e-5')*-Decimal ('.1234')/Decimal ('81.7'))"
The format of the exponent is inherited from the platform C library.
Known cases are "e-007" (Windows) and "e-07" (not Windows). Since
we're only showing 12 digits, and the 13th isn't close to 5, the
rest of the output should be platform-independent.
>>> exec(s) #doctest: +ELLIPSIS
-3.21716034272e-0...7
Output from calculations with Decimal should be identical across all
platforms.
>>> exec(decistmt(s))
-3.217160342717258261933904529E-7
"""
result = []
g = tokenize(BytesIO(s.encode('utf-8')).readline) # tokenize the string
for toknum, tokval, _, _, _ in g:
if toknum == NUMBER and '.' in tokval: # replace NUMBER tokens
result.extend([
(NAME, 'Decimal'),
(OP, '('),
(STRING, repr(tokval)),
(OP, ')')
])
else:
result.append((toknum, tokval))
return untokenize(result).decode('utf-8')
命令行标记化示例。脚本
def say_hello():
print("Hello, World!")
say_hello()
将标记化为以下输出，其中第一列是找到标记的行/列坐标范围，第二列是标记的名称，最后一列是标记的值（如果有）
$ python -m tokenize hello.py
0,0-0,0: ENCODING 'utf-8'
1,0-1,3: NAME 'def'
1,4-1,13: NAME 'say_hello'
1,13-1,14: OP '('
1,14-1,15: OP ')'
1,15-1,16: OP ':'
1,16-1,17: NEWLINE '\n'
2,0-2,4: INDENT ' '
2,4-2,9: NAME 'print'
2,9-2,10: OP '('
2,10-2,25: STRING '"Hello, World!"'
2,25-2,26: OP ')'
2,26-2,27: NEWLINE '\n'
3,0-3,1: NL '\n'
4,0-4,0: DEDENT ''
4,0-4,9: NAME 'say_hello'
4,9-4,10: OP '('
4,10-4,11: OP ')'
4,11-4,12: NEWLINE '\n'
5,0-5,0: ENDMARKER ''
可以使用 -e 选项显示确切的标记类型名称
$ python -m tokenize -e hello.py
0,0-0,0: ENCODING 'utf-8'
1,0-1,3: NAME 'def'
1,4-1,13: NAME 'say_hello'
1,13-1,14: LPAR '('
1,14-1,15: RPAR ')'
1,15-1,16: COLON ':'
1,16-1,17: NEWLINE '\n'
2,0-2,4: INDENT ' '
2,4-2,9: NAME 'print'
2,9-2,10: LPAR '('
2,10-2,25: STRING '"Hello, World!"'
2,25-2,26: RPAR ')'
2,26-2,27: NEWLINE '\n'
3,0-3,1: NL '\n'
4,0-4,0: DEDENT ''
4,0-4,9: NAME 'say_hello'
4,9-4,10: LPAR '('
4,10-4,11: RPAR ')'
4,11-4,12: NEWLINE '\n'
5,0-5,0: ENDMARKER ''
使用 generate_tokens() 以编程方式标记文件，读取 unicode 字符串而不是字节
import tokenize
with tokenize.open('hello.py') as f:
tokens = tokenize.generate_tokens(f.readline)
for token in tokens:
print(token)
或使用 tokenize() 直接读取字节
import tokenize
with open('hello.py', 'rb') as f:
tokens = tokenize.tokenize(f.readline)
for token in tokens:
print(token)