排序技术

作者:

Andrew Dalke 和 Raymond Hettinger

Python 列表有一个内置的 list.sort() 方法,它会修改列表本身。还有一个 sorted() 内置函数,它会从可迭代对象中构建一个新的排序列表。

在本文件中,我们将探讨使用 Python 对数据进行排序的各种技术。

排序基础

简单的升序排序非常容易:只需调用 sorted() 函数。它会返回一个新的排序列表

>>> sorted([5, 2, 3, 1, 4])
[1, 2, 3, 4, 5]

您也可以使用 list.sort() 方法。它会修改列表本身(并返回 None 以避免混淆)。通常它不如 sorted() 方便 - 但如果您不需要原始列表,它会稍微高效一些。

>>> a = [5, 2, 3, 1, 4]
>>> a.sort()
>>> a
[1, 2, 3, 4, 5]

另一个区别是 list.sort() 方法仅为列表定义。相比之下,sorted() 函数接受任何可迭代对象。

>>> sorted({1: 'D', 2: 'B', 3: 'B', 4: 'E', 5: 'A'})
[1, 2, 3, 4, 5]

关键函数

list.sort()sorted() 都有一个 key 参数,用于指定在进行比较之前要对每个列表元素调用的函数(或其他可调用对象)。

例如,以下是一个不区分大小写的字符串比较

>>> sorted("This is a test string from Andrew".split(), key=str.casefold)
['a', 'Andrew', 'from', 'is', 'string', 'test', 'This']

key 参数的值应该是一个函数(或其他可调用对象),它接受一个参数并返回一个用于排序的键。这种技术很快,因为键函数对每个输入记录只调用一次。

一个常见的模式是使用一些对象的索引作为键对复杂对象进行排序。例如

>>> student_tuples = [
...     ('john', 'A', 15),
...     ('jane', 'B', 12),
...     ('dave', 'B', 10),
... ]
>>> sorted(student_tuples, key=lambda student: student[2])   # sort by age
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

相同的技术适用于具有命名属性的对象。例如

>>> class Student:
...     def __init__(self, name, grade, age):
...         self.name = name
...         self.grade = grade
...         self.age = age
...     def __repr__(self):
...         return repr((self.name, self.grade, self.age))

>>> student_objects = [
...     Student('john', 'A', 15),
...     Student('jane', 'B', 12),
...     Student('dave', 'B', 10),
... ]
>>> sorted(student_objects, key=lambda student: student.age)   # sort by age
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

具有命名属性的对象可以通过上面显示的常规类创建,也可以是 dataclass命名元组 的实例。

运算符模块函数和偏函数评估

上面显示的 键函数 模式非常常见,因此 Python 提供了方便的函数来使访问器函数更简单、更快。 operator 模块有 itemgetter()attrgetter()methodcaller() 函数。

使用这些函数,上面的示例变得更简单、更快

>>> from operator import itemgetter, attrgetter

>>> sorted(student_tuples, key=itemgetter(2))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

>>> sorted(student_objects, key=attrgetter('age'))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

运算符模块函数允许多级排序。例如,要按 grade 然后按 age 排序

>>> sorted(student_tuples, key=itemgetter(1,2))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]

>>> sorted(student_objects, key=attrgetter('grade', 'age'))
[('john', 'A', 15), ('dave', 'B', 10), ('jane', 'B', 12)]

functools 模块提供了另一个有用的工具来创建键函数。 partial() 函数可以减少多参数函数的 元数,使其适合用作键函数。

>>> from functools import partial
>>> from unicodedata import normalize

>>> names = 'Zoë Åbjørn Núñez Élana Zeke Abe Nubia Eloise'.split()

>>> sorted(names, key=partial(normalize, 'NFD'))
['Abe', 'Åbjørn', 'Eloise', 'Élana', 'Nubia', 'Núñez', 'Zeke', 'Zoë']

>>> sorted(names, key=partial(normalize, 'NFC'))
['Abe', 'Eloise', 'Nubia', 'Núñez', 'Zeke', 'Zoë', 'Åbjørn', 'Élana']

升序和降序

两者 list.sort()sorted() 都接受一个布尔值的 reverse 参数。它用于标记降序排序。例如,要按 age 降序获取学生数据

>>> sorted(student_tuples, key=itemgetter(2), reverse=True)
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]

>>> sorted(student_objects, key=attrgetter('age'), reverse=True)
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]

排序稳定性和复杂排序

排序保证是 稳定的。这意味着当多个记录具有相同的键时,它们的原始顺序将被保留。

>>> data = [('red', 1), ('blue', 1), ('red', 2), ('blue', 2)]
>>> sorted(data, key=itemgetter(0))
[('blue', 1), ('blue', 2), ('red', 1), ('red', 2)]

注意,两个 blue 记录保留了它们的原始顺序,因此 ('blue', 1) 保证在 ('blue', 2) 之前。

这个很棒的特性允许您通过一系列排序步骤构建复杂的排序。例如,要按 grade 降序,然后按 age 升序对学生数据进行排序,请先进行 age 排序,然后再次使用 grade 进行排序

>>> s = sorted(student_objects, key=attrgetter('age'))     # sort on secondary key
>>> sorted(s, key=attrgetter('grade'), reverse=True)       # now sort on primary key, descending
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

这可以抽象成一个包装函数,该函数可以接受一个列表和字段和排序顺序的元组,以便在多次传递中对它们进行排序。

>>> def multisort(xs, specs):
...     for key, reverse in reversed(specs):
...         xs.sort(key=attrgetter(key), reverse=reverse)
...     return xs

>>> multisort(list(student_objects), (('grade', True), ('age', False)))
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]

Python 中使用的 Timsort 算法可以有效地执行多次排序,因为它可以利用数据集中已存在的任何排序。

装饰-排序-解除装饰

这种习惯用法被称为装饰-排序-解除装饰,因为它包含三个步骤

  • 首先,初始列表用控制排序顺序的新值进行装饰。

  • 其次,对装饰后的列表进行排序。

  • 最后,删除装饰,创建一个仅包含以新顺序排列的初始值的列表。

例如,要使用 DSU 方法按 grade 对学生数据进行排序

>>> decorated = [(student.grade, i, student) for i, student in enumerate(student_objects)]
>>> decorated.sort()
>>> [student for grade, i, student in decorated]               # undecorate
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]

这种习惯用法之所以有效,是因为元组按字典顺序进行比较;首先比较第一个项目;如果它们相同,则比较第二个项目,依此类推。

在所有情况下,并非严格要求在装饰后的列表中包含索引 i,但包含它有两个好处

  • 排序是稳定的——如果两个项目具有相同的键,它们的顺序将在排序后的列表中保留。

  • 原始项目不必是可比较的,因为装饰后的元组的排序将由最多前两个项目决定。因此,例如,原始列表可以包含不能直接排序的复数。

这种习惯用法的另一个名称是 Schwartzian 变换,以 Randal L. Schwartz 的名字命名,他将其推广到 Perl 程序员中。

现在 Python 排序提供了键函数,因此这种技术并不经常需要。

比较函数

与返回排序的绝对值的键函数不同,比较函数计算两个输入的相对排序。

例如,一个 天平 比较两个样本,给出相对排序:轻、等或重。同样,比较函数,例如 cmp(a, b) 将为小于返回负值,如果输入相等则返回零,或者为大于返回正值。

在将算法从其他语言翻译时,经常会遇到比较函数。此外,一些库在其 API 中提供比较函数。例如,locale.strcoll() 是一个比较函数。

为了适应这些情况,Python 提供了 functools.cmp_to_key 来包装比较函数,使其可用作键函数

sorted(words, key=cmp_to_key(strcoll))  # locale-aware sort order

零碎

  • 对于区域感知排序,使用 locale.strxfrm() 作为键函数或 locale.strcoll() 作为比较函数。这是必要的,因为即使底层字母表相同,不同文化之间的“字母顺序”排序方式也会有所不同。

  • reverse 参数仍然保持排序稳定性(因此具有相同键的记录保留原始顺序)。有趣的是,可以通过使用内置的 reversed() 函数两次来模拟这种效果。

    >>> data = [('red', 1), ('blue', 1), ('red', 2), ('blue', 2)]
    >>> standard_way = sorted(data, key=itemgetter(0), reverse=True)
    >>> double_reversed = list(reversed(sorted(reversed(data), key=itemgetter(0))))
    >>> assert standard_way == double_reversed
    >>> standard_way
    [('red', 1), ('red', 2), ('blue', 1), ('blue', 2)]
    
  • 排序例程在比较两个对象时使用 <。因此,通过定义一个 __lt__() 方法,可以轻松地向类添加标准排序顺序。

    >>> Student.__lt__ = lambda self, other: self.age < other.age
    >>> sorted(student_objects)
    [('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
    

    但是,请注意,如果未实现 __lt__()< 可以回退到使用 __gt__()(有关机制的详细信息,请参阅 object.__lt__())。为了避免意外情况,PEP 8 建议实现所有六种比较方法。提供 total_ordering() 装饰器来简化此任务。

  • 键函数不必直接依赖于要排序的对象。键函数还可以访问外部资源。例如,如果学生成绩存储在字典中,则可以使用它们对单独的学生姓名列表进行排序。

    >>> students = ['dave', 'john', 'jane']
    >>> newgrades = {'john': 'F', 'jane':'A', 'dave': 'C'}
    >>> sorted(students, key=newgrades.__getitem__)
    ['jane', 'dave', 'john']
    

部分排序

某些应用程序只需要对部分数据进行排序。标准库提供了几个比完整排序工作量更少的工具。

  • min()max() 分别返回最小值和最大值。这些函数对输入数据进行单次遍历,几乎不需要辅助内存。

  • heapq.nsmallest()heapq.nlargest() 分别返回n 个最小值和最大值。这些函数对数据进行单次遍历,一次仅在内存中保留n 个元素。对于相对于输入数量而言较小的n 值,这些函数比完整排序进行的比较要少得多。

  • heapq.heappush()heapq.heappop() 创建并维护部分排序的数据排列,将最小元素保留在位置 0。这些函数适合于实现优先级队列,优先级队列通常用于任务调度。