用 pandas.read_excel 直接读几十万行 Excel 易卡死或爆内存，因默认加载全表 XML 结构；应优先转 CSV 后分块读取，或用 openpyxl 只读模式迭代切片写入。

用 pandas.read_excel 直接读几十万行 Excel 会卡死或爆内存

Excel 文件（尤其是 .xlsx）本质是 ZIP 压缩包，含 XML 结构，pandas.read_excel 默认用 openpyxl 引擎加载时会把整张表解析进内存——哪怕只取前 10 行，它也得先解压、解析所有 sheet 的 XML 节点。几十万行 + 多列 + 公式/样式，很容易触发 MemoryError 或耗时几分钟无响应。

实操建议：

• 改用 xlrd（仅支持 .xls）或 openpyxl 的流式读取模式（但 pandas 不支持流式读 Excel）——所以得绕开 read_excel
• 优先转成 .csv：用 Excel 手动另存为 CSV，或用 openpyxl / xlrd 逐行读写到 CSV，再用 pandas.read_csv 分块读
• 若必须保留在 Excel 格式中拆分，就别用 pandas 加载全量，直接用底层库按行切片

用 openpyxl 迭代读取并分批写入新 Excel

适用于需保留格式（如字体、合并单元格）或必须输出为 .xlsx 的场景。核心是不用 worksheet.iter_rows() 加载全部数据，而是用 worksheet.iter_rows(values_only=True) 配合 max_row 控制范围，再用新工作簿逐批写入。

示例逻辑（不加载全表）：

from openpyxl import Workbook
from openpyxl.reader.excel import load_workbook
wb_in = load_workbook("big.xlsx", read_only=True)
ws = wb_in.active
batch_size = 50000
row_count = 0
batch_num = 1
wb_out = Workbook()
ws_out = wb_out.active
for row in ws.iter_rows(values_only=True):
ws_out.append(row)
row_count += 1
if row_count >= batch_size:
wbout.save(f"split{batch_num}.xlsx")
batch_num += 1
wb_out = Workbook()
ws_out = wb_out.active
row_count = 0
写入剩余行
if row_count > 0:
wbout.save(f"split{batch_num}.xlsx")
wb_in.close()

注意点：

• load_workbook(..., read_only=True) 是关键，否则仍会内存暴涨
• values_only=True 跳过样式/公式，只取值；若需保留格式，就不能用 read_only，此时应换用 xlwings（需本地 Excel 进程，慢但保真）
• 每写完一个文件要调用 wb_out.save() 并新建 Workbook()，否则内存持续累积

用 pd.read_csv 分块读 + to_excel 输出，速度最快且可控

绝大多数“自动拆分”需求其实不依赖 Excel 原生格式——CSV 更轻、读写更快、分块天然支持。只要原始 Excel 能转成 CSV（通常可接受），这是最稳的路径。

操作步骤：

Fig

下一代命令行工具，内置AI终端命令自动补全

• 先用 Excel 或脚本把 big.xlsx 另存为 big.csv（注意编码选 UTF-8，避免中文乱码）
• 用 pandas.read_csv(..., chunksize=N) 流式读取，N 设为 20000–100000（根据内存调整）
• 每个 chunk 直接 to_excel("out_{}.xlsx".format(i), index=False)

示例：

import pandas as pd
for i, chunk in enumerate(pd.read_csv("big.csv", chunksize=65535)):
chunk.toexcel(f"chunk{i+1}.xlsx", index=False)

为什么选 65535？

• Excel 2007+ 单表行数上限是 1048576，留余量便于后续追加或人工处理
• 超过 10 万行时 to_excel 写入速度明显下降（openpyxl 底层开销增大）
• 小于 5 万则生成文件过多，管理成本上升

拆分后文件名和路径容易出错，尤其含中文或空格

Windows 下路径含中文、空格、括号（如 C:我的数据报表(终版).xlsx）会导致 openpyxl 或 pandas 报 FileNotFoundError 或编码错误，不是数据问题，是路径没被正确转义。

安全做法：

• 统一用正斜杠 / 或双反斜杠 \，避免单反斜杠（ 会被当制表符）
• 路径用 os.path.abspath() 或 pathlib.Path 规范化，例如：Path("输入/大表.xlsx").resolve()
• 文件名避开 : " / | ? * 和尾部空格，用 re.sub(r'[^w.-]', '_', name) 清洗
• 如果涉及网络路径（如 \servershare），务必测试 os.path.exists() 是否返回 True，否则静默失败

真正卡住人的往往不是算法，而是第 3 个文件因路径里有个隐藏的全角空格没识别出来，导致后续全白跑。