Python 生成器表达式：内存高效的迭代器

当需要在代码中处理数百万条数据时，直接创建一个巨大的列表往往会耗尽计算机内存。Python 生成器表达式提供了一种不占用大量内存即可遍历数据的方法。它就像是一个按需生产数据的“工厂”，而不是一次性造出所有东西的“仓库”。

1. 理解核心语法差异

生成器表达式的写法与列表推导式几乎完全一致，唯一的区别在于包裹符号。

1. 编写 一个标准的列表推导式。
   例如，创建一个包含 0 到 999999 平方数的列表：

   # 列表推导式：会占用大量内存
   list_comp = [x**2 for x in range(1000000)]

2. 将 方括号 [] 替换为 圆括号 ()。
   这就变成了生成器表达式：

   # 生成器表达式：几乎不占内存
   gen_expr = (x**2 for x in range(1000000))

3. 观察 变量类型。
   如果在交互式解释器中输入变量名，你会看到 list_comp 是一个列表，而 gen_expr 是一个 generator 对象。生成器对象本身不包含数据，只包含计算规则。

2. 使用生成器进行计算

生成器是“一次性”的，你不能像操作列表那样直接通过索引访问它。你需要通过迭代来获取数据。

1. 使用 for 循环逐个获取数据。
   这是处理生成器最安全的方式，因为它不需要一次性占用内存。

   for num in gen_expr:
       # 在这里处理每一个 num，例如打印前 5 个
       if num < 25:
           print(num)
       else:
           break

2. 传递 生成器给聚合函数。
   函数如 sum(), max(), min() 可以直接接收生成器对象作为参数，并在内部自动进行迭代。

   # 计算总和，无需创建中间列表
   total = sum(x**2 for x in range(1000000))
   print(total)

3. 处理大文件的实战场景

处理大日志文件是生成器表达式大显身手的地方。

1. 打开 目标文件。
   使用 open() 函数，并确保使用正确模式。

2. 编写 生成器表达式读取行。
   假设需要计算文件中包含 "error" 的行数：

   with open('large_log.txt', 'r') as f:
       # 生成器表达式：逐行检查并生成布尔值
       error_lines = (1 for line in f if "error" in line.lower())
   
       # 直接求和
       error_count = sum(error_lines)

   这里的 (1 for line in f ...) 不会一次性把文件读入内存，而是读一行，处理一行。

4. 列表与生成器的性能对比

为了更直观地理解两者的区别，参考下表对比：

5. 注意事项与陷阱

在使用生成器时，必须遵循一些特定的规则以避免错误。

1. 牢记 “一次使用”原则。
   一旦你对生成器进行了完整的遍历，它就变成了空的。如果需要再次使用数据，必须重新创建生成器对象。

   g = (x for x in range(3))
   list(g)  # 输出 [0, 1, 2]
   list(g)  # 输出 []，因为已经耗尽

2. 避免 在需要多次索引的场景使用。
   如果你需要先获取最大值，再获取最小值，不要对同一个生成器对象操作两次。转换 为列表或创建两个生成器对象。

3. 理解 惰性求值带来的副作用。
   如果生成器内部包含带有副作用的函数（如打印日志），这些副作用只有在遍历发生时才会执行。

   def process(n):
       print(f"Processing {n}")
       return n * 2
   
   # 此时不会打印任何内容
   g = (process(x) for x in range(3))
   
   # 只有在循环或计算时才会打印
   result = list(g)