Python itertools.chain合并多个可迭代对象的惰性求值

在处理数据时，经常需要将多个列表、元组或生成器合并在一起进行遍历。直接使用加号 + 合并列表虽然简单，但会在内存中创建一个全新的列表对象，这在处理大数据量时极其消耗内存。使用 itertools.chain 可以在不创建新对象的情况下，将多个可迭代对象串联起来，实现惰性求值，从而大幅节省内存并提高效率。

1. 理解常规合并方式的内存消耗

首先，观察使用加号 + 合并列表时的行为。这种方式会将所有数据复制到内存中一个新的列表里。

定义 两个包含大量数据的列表：

list_a = [1, 2, 3, 4]
list_b = [5, 6, 7, 8]

使用 加号 合并 它们：

# 这会立即在内存中创建一个包含所有元素的新列表 [1, 2, 3, 4, 5, 6, 7, 8]
combined_list = list_a + list_b

分析 上述代码：如果 list_a 和 list_b 各有 100 万个元素，combined_list 就会占用 200 万个元素的内存空间。这种“预先创建”的方式在数据量大时会导致程序性能下降甚至崩溃。

2. 使用 itertools.chain 进行惰性合并

itertools.chain 的作用是将多个可迭代对象连接起来，但不会立即复制数据。它返回的是一个迭代器，只有在真正需要数据（比如进行循环）时，才会逐个获取元素。

导入 itertools 模块：

import itertools

调用 chain 函数并将需要合并的列表作为参数传入：

# 返回的是一个 chain 对象，此时并没有发生数据复制
chained_iter = itertools.chain(list_a, list_b)

遍历 这个迭代器：

for item in chained_iter:
    print(item)

注意：在上述循环中，Python 是按顺序从 list_a 取出一个元素，处理完后，再从 list_b 取出下一个元素。整个过程中，内存中始终只有原来的 list_a 和 list_b，没有产生那个巨大的合并列表。

3. 对比两种方式的区别

为了更清晰地理解两者的差异，下表总结了它们在内存占用和执行机制上的不同：

4. 处理任意可迭代对象（进阶用法）

chain 的强大之处在于它不仅能处理列表，还能处理生成器、文件对象等任何可迭代对象。而加号 + 无法连接列表和生成器。

定义 一个生成器函数：

def number_generator():
    for i in range(10, 13):
        yield i

gen = number_generator()

尝试 用加号合并列表和生成器会报错：

# TypeError: can only concatenate list (not "generator") to list
# error_list = list_a + gen

使用 itertools.chain 成功合并列表和生成器：

# chain 不关心参数类型，只要它们是可迭代的即可
mixed_iter = itertools.chain(list_a, gen)

# 输出: 1, 2, 3, 4, 10, 11, 12
print(list(mixed_iter))

5. 实战案例：合并多个文件的行

假设你需要按顺序读取 3 个日志文件的内容，并逐行处理。使用 chain 可以在不一次性加载所有文件内容到内存的情况下完成操作。

准备 三个模拟文件对象（在实际代码中可用 open('file.txt') 替换）：

from io import StringIO

file_1 = StringIO("第一行\n第二行\n")
file_2 = StringIO("第三行\n")
file_3 = StringIO("第四行\n第五行\n")

创建 一个包含所有文件对象的列表：

files = [file_1, file_2, file_3]

使用 chain.from_iterable 方法。这个方法接收一个包含可迭代对象的列表（即“可迭代对象的迭代器”），比直接传参更方便。

# 将文件的行生成器串联起来
# 每个文件对象本身也是可迭代的（每次迭代返回一行）
lines_iterator = itertools.chain.from_iterable(files)

遍历 并打印所有行：

# 模拟逐行读取处理，内存中始终保持极小开销
for line in lines_iterator:
    line = line.strip()  # 去除换行符
    print(f"处理行: {line}")

在上述过程中，即使每个文件有 10GB 大小，程序也只需要维持当前那一行在内存中，而不是 30GB 的数据。