Python如何递归遍历目录下所有子文件_使用os.walk或rglob

2026-05-22 Python

os.walk比手动递归更稳，因其内置处理符号链接循环、权限拒绝、路径编码异常等边界情况，而手动递归遇PermissionError或UnicodeDecodeError易崩溃。

os.walk 为什么比手动递归更稳

os.walk 是 Python 标准库中专为目录遍历设计的生成器，它内部已处理好符号链接循环、权限拒绝、路径编码异常等边界情况。手动用 os.listdir + 递归容易在遇到 PermissionError 或 UnicodeDecodeError 时直接崩溃，而 os.walk 默认跳过无法访问的子目录（除非显式捕获异常并重抛）。

实操建议：

始终用 try/except 包裹 os.walk 循环体，单独捕获 PermissionError 并 continue，避免中断整个遍历
不要修改 dirs 列表以外的返回值；若需过滤子目录，就原地修改 dirs（比如 dirs[:] = [d for d in dirs if d != "node_modules"]）
路径拼接务必用 os.path.join(root, file)，别用字符串加法——Windows 下反斜杠和正斜杠混用会出错

Path.rglob 怎么避免匹配到 .git 或 pycache

Path.rglob 简洁但默认无过滤逻辑，**/*.py 会进入所有子目录，包括 .git、__pycache__、venv。它不提供类似 os.walk 的 dirs 可修改机制，所以得靠路径判断后跳过。

实操建议：

用 path.parent.name 或 path.parts 检查上级目录名，例如 if ".git" in path.parts: continue
对大项目慎用 **：它会先展开全部层级再匹配，内存占用高；可改用两层 rglob（如先 rglob("*.py") 再逐个检查父级）或结合 is_file() 提前过滤
rglob 返回的是 Path 对象，不是字符串；需要绝对路径时调用 resolve()，但注意这会触发真实路径解析——遇到坏符号链接会抛 FileNotFoundError

PermissionError 和 UnicodeDecodeError 的典型表现与应对

常见错误现象：os.walk 报 [Errno 13] Permission denied: '/root/.ssh'；Path.rglob 在遍历时某次 stat() 调用失败导致 StopIteration 中断或静默跳过。

Python 3.14.3

微软官方的 Python 扩展，是 VS Code 安装量最高的扩展（209M+）。集成 IntelliSense（通过 Pylance）、调试（通过 Python Debugger）、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。

实操建议：

os.walk 场景下，在循环外层加 try/except PermissionError 不起作用——异常发生在 next() 内部；正确做法是在循环体内对每个 root 做 os.listdir 级别的试探，或使用 topdown=True + onerror 参数传入回调函数
UnicodeDecodeError 多出现在文件系统编码和 Python 默认编码不一致时（如某些 NAS 返回 GBK 路径）；os.walk 本身不 decode 路径名，但后续用 open() 读文件内容时会崩；此时应显式指定 encoding="utf-8" 或用 errors="ignore"
Linux 下挂载的 NTFS 分区可能含非法 UTF-8 字节序列；pathlib.Path 构造时不会报错，但调用 name 属性会触发解码——要用 bytes_path = os.fsencode(path) 绕过

性能差异：什么时候该选 rglob，什么时候坚持用 os.walk

单纯比速度：os.walk 在小目录下略快（C 实现，无对象封装开销）；Path.rglob 在需要链式操作（如 .suffix == ".log" and .stat().st_size > 1024）时更易写，但每次调用方法都涉及一次系统调用。

实操建议：

只统计数量或路径列表？用 os.walk + sum(len(files) for _, _, files in os.walk(...))，比 list(Path(...).rglob("*")) 内存友好得多
要按修改时间排序？os.walk 先收集再 sorted(paths, key=os.path.getmtime) 更可控；rglob 无法预知总量，排序前得全加载进内存
跨平台脚本里别依赖 rglob 的 glob 语法扩展（如 **/src/**/*.py），某些旧版 Python（os.walk 行为稳定