Python大数据量处理方案_分块计算与优化解析【教程】_技术教程

根本解法是用 chunksize 分块读取并显式指定 dtype，避免全量加载；复杂逻辑用 dask.dataframe 延迟计算；CPU 瓶颈可换 polars；优先将 CSV 转为 Parquet 提升 I/O 效率。

用 `pandas.read_csv` 分块读取超大 CSV 文件

内存爆掉、程序卡死，基本都是因为一次性把几个 GB 的 CSV 全塞进 df。根本解法不是换机器，而是跳过“全量加载”这步。

pandas.read_csv 的 chunksize 参数就是为此而生——它不返回 DataFrame，而是返回一个可迭代的 TextFileReader 对象。

设置 chunksize=50000 表示每次只读 5 万行，处理完立刻释放内存
务必配合 dtype 显式指定列类型（比如把 int64 改成 int32 或 category），否则 pandas 默认推断会吃掉双倍内存
避免在循环里反复调用 pd.concat() 拼接所有 chunk，这会重建索引并累积内存；真要合并，先存 list 再一次性 concat

for chunk in pd.read_csv('huge_file.csv', chunksize=50000, dtype={'user_id': 'category', 'score': 'float32'}):
    result = chunk.groupby('user_id')['score'].mean()
    # 处理 result，例如写入数据库或追加到文件

用 `dask.dataframe` 替代 pandas 做延迟计算

当分块逻辑变复杂（比如跨 chunk 的 groupby、窗口函数、多表 join），手写 chunk 循环很快失控。dask.dataframe 提供了类似 pandas 的 API，但底层是惰性执行 + 自动分片。

它不真正加载数据，直到你调用 .compute()；而且能利用多核，甚至扩展到集群。

读取时用 dd.read_csv('*.csv') 可直接匹配多个文件，自动并行
ddf.groupby('key').value.mean().compute() 看似和 pandas 一样，但实际触发的是任务图调度，不是单线程逐行扫
注意：dask 不支持全部 pandas 方法（如 df.style、部分字符串方法），出错时看报错里是否含 NotImplementedError
小文件太多（比如上万个小 CSV）会导致调度开销反超收益，此时先用 shell 合并：cat *.csv > all.csv

用 `polars` 加速单机大数据分析

如果你的瓶颈在 CPU 而非 I/O，且数据能放进内存（几十 GB 级别），polars 往往比 pandas 快 3–10 倍，比 dask 更轻量。

它是 Rust 编写的列式引擎，天然支持并行、零拷贝、表达式优化，API 设计也更贴近 SQL 思维。

读 CSV 推荐用 pl.scan_csv()（lazy mode），它返回 LazyFrame，所有操作都不执行，只建计划
链式调用后加 .collect() 才真正执行；中间任意一步加 .explain() 能看到优化后的执行计划
对时间序列或字符串操作，polars 的内置函数（如 str.contains()、dt.month()）比 pandas 的 .str / .dt 属性快得多
注意：polars 默认不支持 NaN，空值用 null 表示；与 pandas 互转需显式调用 .to_pandas()，大数据量下慎用

import polars as pl
q = pl.scan_csv('data.csv').filter(pl.col('age') > 30).group_by('city').agg(pl.col('salary').mean())
print(q.explain())  # 查看执行计划
result = q.collect()  # 触发计算

磁盘 I/O 和数据格式比算法更重要

很多“优化”卡在硬盘上：CSV 解析慢、重复读多次、临时文件乱写。真实提速往往来自换格式、调缓冲、控路径。

把原始 CSV 转成 parquet（用 df.to_parquet() 或 pl.write_parquet()），列存 + 压缩 + 元数据索引，后续读取快 5 倍以上，且支持按列读、按分区过滤
用 pyarrow 引擎读 parquet（pd.read_parquet(..., engine='pyarrow')），比默认 fastparquet 更稳更快
检查 /tmp 是否在机械硬盘上——把临时目录软链到 SSD：export TMPDIR=/ssd/tmp
避免在 NFS 或 Docker volume 上做中间计算，本地 NVMe 盘才是默认选择