Pandas 2.2+ 中 PyArrow dtype 的内存优化机制解析

Pandas 使用 float64[pyarrow] 类型时，切分与拼接 DataFrame 几乎不增加内存占用，其核心原因是底层启用了 Copy-on-Write（写时复制）机制，避免了不必要的数据拷贝。

pandas 使用 `float64[pyarrow]` 类型时，切分与拼接 dataframe 几乎不增加内存占用，其核心原因是底层启用了 copy-on-write（写时复制）机制，避免了不必要的数据拷贝。

在 Pandas 2.2 及更高版本中，引入了 Copy-on-Write（CoW） 这一关键内存优化策略：当对 DataFrame 或 Series 执行视图操作（如列切片 .loc[:, cols]、行切片、.copy(deep=False) 等）时，Pandas 不再立即复制底层数据，而是共享同一份物理内存；仅当某一部分数据被实际修改（例如赋值 df.loc[0, 'col'] = 42）时，才触发浅层拷贝（或按需深拷贝），确保语义正确性与内存效率的平衡。

值得注意的是，PyArrow-backed dtypes（如 float64[pyarrow]）默认启用 CoW 行为，而传统 NumPy-backed dtypes（如 float64）在默认配置下仍采用“保守复制”策略——即每次切片或 concat 都可能生成新副本，导致内存用量线性增长（如问题中观察到的 3× 占用）。

以下代码可验证该机制：

import pandas as pd
import numpy as np

# 启用全局 CoW（适用于所有 dtype）
pd.set_option("mode.copy_on_write", True)

# 对比实验：NumPy float64（启用 CoW 后行为趋同）
df_np = pd.DataFrame(np.ones((1_000_000, 5)), dtype="float64")
split_a = df_np.iloc[:, :2]
split_b = df_np.iloc[:, 2:]
joined = pd.concat([split_a, split_b], axis=1)

# 内存占用将显著降低，接近 PyArrow 版本表现

而使用 PyArrow dtype 时，无需显式设置即可享受 CoW：

唱鸭

音乐创作全流程的AI自动作曲工具，集 AI 辅助作词、AI 自动作曲、编曲、混音于一体

# 自动受益于 CoW，切片与 concat 均为零拷贝视图操作
df_pa = pd.DataFrame(
    np.ones((1_000_000, 5)), 
    dtype="float64[pyarrow]"
)
split_a = df_pa.iloc[:, :2]   # 共享 ArrowArray 数据缓冲区
split_b = df_pa.iloc[:, 2:]
joined = pd.concat([split_a, split_b], axis=1)  # 复用原列，不复制数据

⚠️ 重要注意事项：

• CoW 是逻辑层面的优化，不改变用户可见的行为：所有 .copy()、.iloc[] 赋值、inplace=False 操作仍严格遵循 Pandas 的语义一致性。
• 当前 PyArrow dtype 的 CoW 默认启用属于实现细节，官方文档尚未明确声明，因此不应作为稳定 API 依赖；建议通过 pd.options.mode.copy_on_write 显式控制以保证可移植性。
• 并非所有操作都免拷贝：涉及类型转换（如 astype("int64[pyarrow]"）、缺失值填充（fillna()）、或跨引擎混合操作时，仍可能触发数据复制。
• 内存监控应使用 psutil.Process().memory_info().rss 等系统级指标，避免依赖 sys.getsizeof()（它无法反映 Arrow 内存池的真实占用）。

✅ 总结：PyArrow dtype 在 Pandas 中的低内存开销并非来自“魔法”，而是 CoW 机制与 Arrow 内存模型（零拷贝切片、列式共享缓冲区）协同作用的结果。开发者可通过启用全局 CoW（pd.set_option("mode.copy_on_write", True)）在 NumPy dtypes 上获得类似收益，从而在兼顾兼容性的同时提升大规模数据处理的内存效率。