Python 文本清洗的工程化思路

工程化文本清洗需将原子操作抽象为可配置、可审计、可灰度的规则流，用TextCleaner类封装带优先级的清洗链，分离配置与逻辑，注入环境变量，保留元数据并捕获异常。

为什么直接用 re.sub 写一堆正则会崩盘

文本清洗一旦从单条样本扩展到日均百万级日志或跨业务线复用，硬编码正则就会暴露问题：规则散落在各处、无法回溯清洗逻辑、新增字段要改三四个脚本、连空格替换都因前后顺序不同导致结果不一致。

工程化第一关不是“怎么写得更短”，而是“怎么让每次清洗可配置、可审计、可灰度”。核心是把清洗动作抽象成带优先级的原子操作流，而不是一串 text = re.sub(..., text) 的线性调用。

• 同一段文本里，strip() 必须在去除 HTML 标签之后做，否则可能把标签内空白也删了
• 手机号脱敏（如 138****1234）和邮箱脱敏（a***@b.com）不能共用一个正则，匹配边界和掩码逻辑完全不同
• 中文标点转英文（如“，”→“,”）若放在 URL 解析之后，可能把 https://a,b.com 错误拆开

用 TextCleaner 类封装清洗链，而不是函数列表

别用 [clean_url, clean_phone, clean_punct] 这种 list 存清洗函数——它没法表达依赖、跳过条件或失败重试。应该用类实例承载状态，并支持动态启停某环节：

class TextCleaner:
    def __init__(self, config_path):
        self.rules = load_yaml(config_path)  # 加载 YAML 配置
        self.enabled = {r["id"]: r.get("enabled", True) for r in self.rules}
def run(self, text):
    for rule in self.rules:
        if not self.enabled[rule["id"]]:
            continue
        text = getattr(self, f"_step_{rule['type']}")(text, rule)
    return text

def _step_regex_replace(self, text, rule):
    return re.sub(rule["pattern"], rule["repl"], text)

关键点在于：rule["type"] 决定调用哪个内部方法，rule["id"] 支持按业务开关某条规则，rule.get("enabled", True) 让灰度发布成为可能。
									方科网络ERP图文店
方科网络ERP图文店II版为仿代码站独立研发的网络版ERP销售程序。本本版本为方科网络ERP图文店版的简化版，去除了部分不同用的功能，使得系统更加精炼实用。考虑到图文店的特殊情况，本系统并未制作出入库功能，而是将销售作为重头，使用本系统，可以有效解决大型图文店员工多，换班数量多，订单混杂不清的情况。下单、取件、结算分别记录操作人员，真正做到订单全程跟踪！无限用户级别，不同的用户级别可以设置不同的价
清洗配置必须分离，且支持环境变量注入
配置文件里不能写死敏感规则，比如脱敏正则中的手机号位数、邮箱域名白名单。这些值应从环境变量读取，避免配置随代码提交泄露：

YAML 中写 pattern: "{{ PHONE_PATTERN }}"，加载时用 os.getenv("PHONE_PATTERN", r"1[3-9]\d{9}") 替换
URL 提取规则里的协议白名单（http|https|ftp）应允许运行时追加，而不是改 YAML 后重启服务
对含中文的正则（如 r"[^\u4e00-\u9fa5a-zA-Z0-9\s\.\,\!\?]"），务必在 re.compile(..., flags=re.UNICODE) 下使用，否则在某些 Python 版本下会漏匹配

清洗后必须带元数据标记，否则无法 debug
纯返回字符串等于放弃所有上下文。真实场景中，你得知道这段文本被删了几个 URL、是否触发了敏感词拦截、原始长度和清洗后长度差多少——这些信息必须附着在结果上：
result = {
    "cleaned_text": "hello world",
    "meta": {
        "original_len": 127,
        "final_len": 11,
        "removed_urls": 3,
        "applied_rules": ["url_strip", "emoji_remove", "phone_mask"],
        "timestamp": "2024-06-12T09:23:41Z"
    }
}

最容易被忽略的是：当清洗链中某步抛异常（比如正则超时、内存溢出），不能静默吞掉错误。要记录 rule_id、原始文本片段、错误类型，否则线上问题只能靠猜。