10. 标准库简要概述

10.1. 操作系统接口

os 模块提供了数十个与操作系统交互的函数

>>> import os
>>> os.getcwd()      # Return the current working directory
'C:\\Python312'
>>> os.chdir('/server/accesslogs')   # Change current working directory
>>> os.system('mkdir today')   # Run the command mkdir in the system shell
0

请务必使用 import os 样式,而不是 from os import *。这将防止 os.open() 覆盖内置的 open() 函数,该函数的工作方式截然不同。

内置的 dir()help() 函数是用于与大型模块(如 os)交互的交互式辅助工具

>>> import os
>>> dir(os)
<returns a list of all module functions>
>>> help(os)
<returns an extensive manual page created from the module's docstrings>

对于日常文件和目录管理任务,shutil 模块提供了一个更高级别的接口,使用起来更方便

>>> import shutil
>>> shutil.copyfile('data.db', 'archive.db')
'archive.db'
>>> shutil.move('/build/executables', 'installdir')
'installdir'

10.2. 文件通配符

glob 模块提供了一个函数,用于从目录通配符搜索中创建文件列表

>>> import glob
>>> glob.glob('*.py')
['primes.py', 'random.py', 'quote.py']

10.3. 命令行参数

常见的实用程序脚本通常需要处理命令行参数。这些参数存储在 sys 模块的 argv 属性中,以列表形式存储。例如,让我们来看一下以下 demo.py 文件

# File demo.py
import sys
print(sys.argv)

以下是从命令行运行 python demo.py one two three 的输出

['demo.py', 'one', 'two', 'three']

argparse 模块提供了一种更复杂的机制来处理命令行参数。以下脚本提取一个或多个文件名以及可选的要显示的行数

import argparse

parser = argparse.ArgumentParser(
    prog='top',
    description='Show top lines from each file')
parser.add_argument('filenames', nargs='+')
parser.add_argument('-l', '--lines', type=int, default=10)
args = parser.parse_args()
print(args)

当在命令行中使用 python top.py --lines=5 alpha.txt beta.txt 运行时,脚本将 args.lines 设置为 5,并将 args.filenames 设置为 ['alpha.txt', 'beta.txt']

10.4. 错误输出重定向和程序终止

sys 模块还具有用于 stdinstdoutstderr 的属性。后者用于发出警告和错误消息,以便即使 stdout 被重定向也能看到它们。

>>> sys.stderr.write('Warning, log file not found starting a new one\n')
Warning, log file not found starting a new one

终止脚本最直接的方法是使用 sys.exit()

10.5. 字符串模式匹配

re 模块提供了用于高级字符串处理的正则表达式工具。对于复杂的匹配和操作,正则表达式提供了简洁、优化的解决方案。

>>> import re
>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
['foot', 'fell', 'fastest']
>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')
'cat in the hat'

当只需要简单的功能时,字符串方法是首选,因为它们更容易阅读和调试。

>>> 'tea for too'.replace('too', 'two')
'tea for two'

10.6. 数学

math 模块提供了对底层 C 库函数的访问,用于浮点数学。

>>> import math
>>> math.cos(math.pi / 4)
0.70710678118654757
>>> math.log(1024, 2)
10.0

random 模块提供了用于进行随机选择的工具。

>>> import random
>>> random.choice(['apple', 'pear', 'banana'])
'apple'
>>> random.sample(range(100), 10)   # sampling without replacement
[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
>>> random.random()    # random float
0.17970987693706186
>>> random.randrange(6)    # random integer chosen from range(6)
4

statistics 模块计算数值数据的基本统计属性(均值、中位数、方差等)。

>>> import statistics
>>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
>>> statistics.mean(data)
1.6071428571428572
>>> statistics.median(data)
1.25
>>> statistics.variance(data)
1.3720238095238095

SciPy 项目 <https://scipy.org.cn> 还有许多其他用于数值计算的模块。

10.7. 互联网访问

有许多模块用于访问互联网和处理互联网协议。最简单的两个是 urllib.request 用于从 URL 检索数据,以及 smtplib 用于发送邮件。

>>> from urllib.request import urlopen
>>> with urlopen('http://worldtimeapi.org/api/timezone/etc/UTC.txt') as response:
...     for line in response:
...         line = line.decode()             # Convert bytes to a str
...         if line.startswith('datetime'):
...             print(line.rstrip())         # Remove trailing newline
...
datetime: 2022-01-01T01:36:47.689215+00:00

>>> import smtplib
>>> server = smtplib.SMTP('localhost')
>>> server.sendmail('[email protected]', '[email protected]',
... """To: [email protected]
... From: [email protected]
...
... Beware the Ides of March.
... """)
>>> server.quit()

(注意,第二个示例需要在 localhost 上运行的邮件服务器。)

10.8. 日期和时间

datetime 模块提供了用于以简单和复杂的方式操作日期和时间的类。虽然支持日期和时间运算,但实现的重点是有效地提取成员以进行输出格式化和操作。该模块还支持时区感知对象。

>>> # dates are easily constructed and formatted
>>> from datetime import date
>>> now = date.today()
>>> now
datetime.date(2003, 12, 2)
>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'

>>> # dates support calendar arithmetic
>>> birthday = date(1964, 7, 31)
>>> age = now - birthday
>>> age.days
14368

10.9. 数据压缩

包括以下模块直接支持常见的數據歸檔和壓縮格式:zlibgzipbz2lzmazipfiletarfile

>>> import zlib
>>> s = b'witch which has which witches wrist watch'
>>> len(s)
41
>>> t = zlib.compress(s)
>>> len(t)
37
>>> zlib.decompress(t)
b'witch which has which witches wrist watch'
>>> zlib.crc32(s)
226805979

10.10. 性能測量

一些 Python 使用者對了解解決同一問題的不同方法的相對性能產生了濃厚的興趣。Python 提供了一個測量工具,可以立即回答這些問題。

例如,使用元組打包和解包功能而不是傳統的交換參數方法可能很誘人。 timeit 模塊很快地展示了適度的性能優勢

>>> from timeit import Timer
>>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
0.57535828626024577
>>> Timer('a,b = b,a', 'a=1; b=2').timeit()
0.54962537085770791

timeit 的精細粒度相比, profilepstats 模塊提供了用於識別較大代碼塊中時間關鍵部分的工具。

10.11. 質量控制

開發高質量軟件的一種方法是為每個函數開發時編寫測試,並在開發過程中頻繁運行這些測試。

doctest 模塊提供了一個工具,用於掃描模塊並驗證嵌入程序文檔字符串中的測試。測試構造就像將典型的調用及其結果剪切粘貼到文檔字符串中一樣簡單。這通過為用戶提供示例來改進文檔,並允許 doctest 模塊確保代碼保持對文檔的真實性

def average(values):
    """Computes the arithmetic mean of a list of numbers.

    >>> print(average([20, 30, 70]))
    40.0
    """
    return sum(values) / len(values)

import doctest
doctest.testmod()   # automatically validate the embedded tests

unittest 模塊不像 doctest 模塊那麼輕鬆,但它允許在單獨的文件中維護更全面的測試集

import unittest

class TestStatisticalFunctions(unittest.TestCase):

    def test_average(self):
        self.assertEqual(average([20, 30, 70]), 40.0)
        self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
        with self.assertRaises(ZeroDivisionError):
            average([])
        with self.assertRaises(TypeError):
            average(20, 30, 70)

unittest.main()  # Calling from the command line invokes all tests

10.12. 內置電池

Python 秉持“內置電池”的理念。這在它較大包的複雜和健壯功能中表現得最為明顯。例如

  • xmlrpc.clientxmlrpc.server 模塊使實現遠程過程調用成為一項幾乎微不足道的任務。儘管模塊的名稱如此,但不需要直接了解或處理 XML。

  • email 包是一个用于管理电子邮件消息的库,包括 MIME 和其他 RFC 2822 基于的消息文档。与 smtplibpoplib 实际发送和接收消息不同,email 包提供了一套完整的工具集,用于构建或解码复杂的消息结构(包括附件)以及实现互联网编码和报头协议。

  • json 包为解析这种流行的数据交换格式提供了强大的支持。 csv 模块支持直接读取和写入以逗号分隔值格式的文件,这些文件通常受数据库和电子表格支持。 xml.etree.ElementTreexml.domxml.sax 包支持 XML 处理。这些模块和包共同简化了 Python 应用程序与其他工具之间的数据交换。

  • sqlite3 模块是 SQLite 数据库库的包装器,提供了一个持久性数据库,可以使用略微非标准的 SQL 语法进行更新和访问。

  • 国际化由许多模块支持,包括 gettextlocalecodecs 包。