Go语言bufio.Scanner逐行读取大文件的内存控制

直接读取GB级别的大文件时，若使用不当的方法，极易导致程序内存溢出（OOM）。Go语言标准库中的 bufio.Scanner 提供了一种高效的流式处理机制，能够将内存占用控制在常量级别，无论文件规模多大，内存消耗仅与单行数据的长度相关，而非文件总大小。

核心原理对比

在编写代码前，必须理解两种读取方式的内存模型差异。假设文件大小为 $S$，最大行长为 $L$。

一次性读取（如 ioutil.ReadFile）会将整个文件加载到内存。其内存占用量级约为：

$$ Memory \approx S \times \text{Encoding Overhead} $$

这意味着读取 1GB 的文件至少需要 1GB 的可用内存，这是不可接受的。

使用 bufio.Scanner 逐行读取，其底层维护一个固定大小的缓冲区。其内存占用量级为：

$$ Memory \approx \text{BufferSize} + L $$

其中 BufferSize 默认为 4096 字节。因此，无论文件 $S$ 是 1MB 还是 100GB，内存占用基本稳定在几MB以内。

为了更直观地展示数据流向，避免在处理过程中发生内存泄漏，请参考以下 bufio.Scanner 的数据处理生命周期：

上图揭示了一个关键点：内部缓冲区 B 是循环使用的。每次调用 Scan()，新的数据会覆盖旧的数据。因此，切勿直接持有 Bytes() 返回的切片引用用于后续处理，除非你复制了其中的数据。

实现步骤

以下演示如何使用 bufio.Scanner 安全地逐行读取大文件，并严格控制内存。

1. 打开文件资源

使用 os.Open 打开目标文件。此操作仅获取文件句柄，不会读取文件内容到内存。

file, err := os.Open("large_data.log")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

输入 defer file.Close() 确保程序退出或发生错误时，文件句柄能被系统回收，防止资源泄漏。

2. 初始化 Scanner

创建 bufio.Scanner 对象，绑定文件句柄。

scanner := bufio.NewScanner(file)

此时，Scanner 内部已创建一个默认大小为 4096 字节的缓冲区。

3. 配置缓冲区大小（可选）

如果文件中存在超长单行数据（例如单行 JSON 或压缩日志），默认缓冲区可能不足，导致 Scan() 返回 false。此时需手动设置缓冲区最大容量。

// 假设预估最大行长度为 10MB
const maxCapacity = 10 * 1024 * 1024 
buf := make([]byte, maxCapacity)
scanner.Buffer(buf, maxCapacity)

调用 scanner.Buffer 方法，传入自定义的切片和最大容量参数。这一步将内存限制在已知的 maxCapacity 范围内，防止因单行过长导致无限扩容。

4. 循环扫描与处理

使用 for 循环配合 Scan() 方法进行遍历。这是流式处理的核心。

lineCount := 0
for scanner.Scan() {
    lineCount++

    // 获取当前行的数据
    lineBytes := scanner.Bytes()

    // 【关键】如果需要保存数据用于后续逻辑，必须复制
    // data := make([]byte, len(lineBytes))
    // copy(data, lineBytes)

    // 仅做即时处理（如过滤、统计），不持有引用
    processLine(lineBytes)
}

执行 scanner.Scan()。该方法会自动读取缓冲区数据，直到遇到换行符或 EOF。返回值为 false 时表示扫描结束或出错。

注意：scanner.Bytes() 返回的是内部缓冲区的切片引用。如果直接将 lineBytes 存入一个全局切片或 Map 中，下一次循环时该引用指向的数据会被修改，导致数据错乱。若必须留存数据，请使用 copy 函数深拷贝数据。

5. 错误检查

循环结束后，必须检查是否发生错误。

if err := scanner.Err(); err != nil {
    log.Fatalf("Error reading file: %v", err)
}

调用 scanner.Err() 判断循环非正常结束的原因（例如文件被截断或读取权限错误）。

常见内存陷阱与排查

在处理大文件时，代码逻辑的微小偏差可能导致内存爆炸。以下表格总结了常见的错误模式及其后果。

若在程序运行中发现内存持续上涨，请执行以下操作排查：

1. 检查代码中是否存在 append 或 map 存储操作。
2. 使用 runtime.ReadMemStats 监控堆内存分配。
3. 分析 pprof 生成的 heap profile 文件，定位具体的内存分配点。

通过遵循上述步骤，利用 bufio.Scanner 的流式特性，即可在极低的内存占用下稳定处理任意大小的文本文件。