tokenize — Python 源代码的标记器¶
源代码： Lib/tokenize.py
tokenize 模块提供了一个用 Python 实现的 Python 源代码词法扫描器。此模块中的扫描器也会将注释作为标记返回，这使得它对实现“漂亮的打印机”（包括屏幕显示的颜色器）非常有用。
为了简化标记流处理，所有运算符和分隔符标记以及Ellipsis都使用通用的OP标记类型返回。可以通过检查从tokenize.tokenize()返回的命名元组上的exact_type属性来确定确切的类型。
警告
请注意，此模块中的函数仅设计用于解析语法上有效的 Python 代码（使用ast.parse()解析时不会引发错误的代码）。当提供无效的 Python 代码时，此模块中函数的行为是未定义的，并且可能随时更改。
标记化输入¶
主要入口点是一个生成器
- tokenize.tokenize(readline)¶
tokenize()生成器需要一个参数 readline，它必须是一个可调用对象，提供与文件对象的io.IOBase.readline()方法相同的接口。每次调用该函数都应返回一行字节输入。生成器产生包含以下成员的5元组：标记类型；标记字符串；指定标记在源中开始的行和列的2元组
(srow, scol)；指定标记在源中结束的行和列的2元组(erow, ecol)；以及找到该标记的行。传递的行（最后一个元组项）是 物理 行。5元组以命名元组的形式返回，其字段名为：type string start end line。返回的命名元组有一个额外的属性
exact_type，其中包含OP标记的确切运算符类型。对于所有其他标记类型，exact_type等于命名元组的type字段。3.1 版本中的变化: 增加了对命名元组的支持。
3.3 版本中的变化: 增加了对
exact_type的支持。tokenize()根据 PEP 263 查找 UTF-8 BOM 或编码 cookie 来确定文件的源编码。
- tokenize.generate_tokens(readline)¶
标记化源，读取 Unicode 字符串而不是字节。
与
tokenize()类似，readline 参数是一个可调用对象，返回一行输入。然而，generate_tokens()期望 readline 返回一个 str 对象而不是字节。结果是一个产生命名元组的迭代器，与
tokenize()完全相同。它不产生ENCODING标记。
还提供了一个函数来反转标记化过程。这对于创建标记化脚本、修改标记流并写回修改后的脚本的工具很有用。
- tokenize.untokenize(iterable)¶
将标记转换回 Python 源代码。iterable 必须返回至少包含两个元素的序列：标记类型和标记字符串。任何额外的序列元素都将被忽略。
结果保证可以重新标记化以匹配输入，从而确保转换无损且往返一致。此保证仅适用于标记类型和标记字符串，因为标记之间的间距（列位置）可能会改变。
它返回字节，使用
ENCODING标记编码，该标记是tokenize()输出的第一个标记序列。如果输入中没有编码标记，则返回一个 str。
tokenize() 需要检测其标记化源文件的编码。它用于此目的的函数可用
- tokenize.detect_encoding(readline)¶
detect_encoding()函数用于检测应该用于解码 Python 源文件的编码。它需要一个参数 readline，与tokenize()生成器相同。它最多会调用readline两次，并返回使用的编码（作为字符串）以及它已读取的任何行（未从字节解码）的列表。
它根据 PEP 263 中指定的 UTF-8 BOM 或编码 cookie 的存在来检测编码。如果 BOM 和 cookie 都存在但存在分歧，则会引发
SyntaxError。请注意，如果找到 BOM，则返回'utf-8-sig'作为编码。如果未指定编码，则将返回默认值
'utf-8'。使用
open()打开 Python 源文件：它使用detect_encoding()来检测文件编码。
- tokenize.open(filename)¶
使用
detect_encoding()检测到的编码以只读模式打开文件。在 3.2 版本加入。
- exception tokenize.TokenError¶
当一个文档字符串或可能跨多行的表达式在文件中的任何地方都没有完成时引发，例如
"""Beginning of docstring
或
[1, 2, 3
命令行用法¶
在 3.3 版本加入。
tokenize 模块可以作为脚本从命令行执行。它很简单，如下所示
python -m tokenize [-e] [filename.py]
接受以下选项
- -h, --help¶
显示此帮助信息并退出
- -e, --exact¶
使用确切类型显示标记名称
如果指定了 filename.py，其内容将被标记化到标准输出。否则，标记化将在标准输入上执行。
示例¶
将浮点文字转换为 Decimal 对象的脚本重写器示例
from tokenize import tokenize, untokenize, NUMBER, STRING, NAME, OP
from io import BytesIO
def decistmt(s):
"""Substitute Decimals for floats in a string of statements.
>>> from decimal import Decimal
>>> s = 'print(+21.3e-5*-.1234/81.7)'
>>> decistmt(s)
"print (+Decimal ('21.3e-5')*-Decimal ('.1234')/Decimal ('81.7'))"
The format of the exponent is inherited from the platform C library.
Known cases are "e-007" (Windows) and "e-07" (not Windows). Since
we're only showing 12 digits, and the 13th isn't close to 5, the
rest of the output should be platform-independent.
>>> exec(s) #doctest: +ELLIPSIS
-3.21716034272e-0...7
Output from calculations with Decimal should be identical across all
platforms.
>>> exec(decistmt(s))
-3.217160342717258261933904529E-7
"""
result = []
g = tokenize(BytesIO(s.encode('utf-8')).readline) # tokenize the string
for toknum, tokval, _, _, _ in g:
if toknum == NUMBER and '.' in tokval: # replace NUMBER tokens
result.extend([
(NAME, 'Decimal'),
(OP, '('),
(STRING, repr(tokval)),
(OP, ')')
])
else:
result.append((toknum, tokval))
return untokenize(result).decode('utf-8')
从命令行进行标记化的示例。脚本
def say_hello():
print("Hello, World!")
say_hello()
将被标记为以下输出，其中第一列是找到标记的行/列坐标范围，第二列是标记的名称，最后一列是标记的值（如果有）
$ python -m tokenize hello.py
0,0-0,0: ENCODING 'utf-8'
1,0-1,3: NAME 'def'
1,4-1,13: NAME 'say_hello'
1,13-1,14: OP '('
1,14-1,15: OP ')'
1,15-1,16: OP ':'
1,16-1,17: NEWLINE '\n'
2,0-2,4: INDENT ' '
2,4-2,9: NAME 'print'
2,9-2,10: OP '('
2,10-2,25: STRING '"Hello, World!"'
2,25-2,26: OP ')'
2,26-2,27: NEWLINE '\n'
3,0-3,1: NL '\n'
4,0-4,0: DEDENT ''
4,0-4,9: NAME 'say_hello'
4,9-4,10: OP '('
4,10-4,11: OP ')'
4,11-4,12: NEWLINE '\n'
5,0-5,0: ENDMARKER ''
确切的标记类型名称可以使用 -e 选项显示
$ python -m tokenize -e hello.py
0,0-0,0: ENCODING 'utf-8'
1,0-1,3: NAME 'def'
1,4-1,13: NAME 'say_hello'
1,13-1,14: LPAR '('
1,14-1,15: RPAR ')'
1,15-1,16: COLON ':'
1,16-1,17: NEWLINE '\n'
2,0-2,4: INDENT ' '
2,4-2,9: NAME 'print'
2,9-2,10: LPAR '('
2,10-2,25: STRING '"Hello, World!"'
2,25-2,26: RPAR ')'
2,26-2,27: NEWLINE '\n'
3,0-3,1: NL '\n'
4,0-4,0: DEDENT ''
4,0-4,9: NAME 'say_hello'
4,9-4,10: LPAR '('
4,10-4,11: RPAR ')'
4,11-4,12: NEWLINE '\n'
5,0-5,0: ENDMARKER ''
以编程方式标记文件，使用 generate_tokens() 读取 Unicode 字符串而不是字节的示例
import tokenize
with tokenize.open('hello.py') as f:
tokens = tokenize.generate_tokens(f.readline)
for token in tokens:
print(token)
或者直接使用 tokenize() 读取字节
import tokenize
with open('hello.py', 'rb') as f:
tokens = tokenize.tokenize(f.readline)
for token in tokens:
print(token)