!封面

很多法律人第一次用AI做数据清理时，会把一个几十页的PDF直接扔给大模型说"帮我转成干净的Markdown"。

它能做。但它会烧掉大量Token，在不需要理解"这句话什么意思"的地方浪费算力。而真正需要语义判断的地方——比如判断某段话是注释还是正文——它反而可能出错。

这件事有更好的做法。

三种工具，三种分工

数据清洗——去掉噪声、统一格式、修复错乱——不是一种工具能包办的。我把它分成三层，每一层对应一种工具和一类问题。

第一层：sed。 这是Linux系统自带的命令行工具，能按固定模式批量查找替换文本。比如把所有连续的三个空行压缩成一个空行，把所有的全角空格替换成半角，删除每一页重复出现的页眉页脚文字。sed是毫秒级的——处理一百个文件，几秒钟跑完，零成本。

它适合处理的问题：页眉页脚残留、多余的空白行、固定文字噪声（比如每页重复出现的"法律出版社"）、统一标点格式。这些问题的共同特征是"规律绝对确定"——你不需要判断这段文字是什么意思，你只需要找到固定模式然后删除或替换。

第二层：Python脚本。 当问题有规律但规律比较复杂——比如需要正则表达式表达、需要多个文件交叉处理、需要提取结构化信息——Python是最合适的。修复中文标点后的错误换行（把"维护社会经济秩序\n，\n促进社会主义现代化建设\n，\n"合并成一句话），自动给Markdown文件添加YAML元数据头部，批量重命名文件，这些工作Python几秒钟完成，同样零成本。

第三层：大模型。 当前两层搞不定了——需要判断这句话是正文还是注释、这段内容与主题是否相关、这一行是不是条文编号——才需要大模型出场。它有语义理解能力，但你也要为每一次调用付费。

为什么要分层

一个简单的原则：机器能做的，不要扔给大模型。

把大模型用在不该用的地方有两个成本。首先是Token——你把一份500页的PDF扔给大模型做格式转换，一次烧掉几万Token。其次更隐蔽：大模型在不需要理解的地方产生"理解偏差"——它可能会"觉得"某段话不重要，自动给你删了。

我自己的处理顺序是：先用sed把固定噪声扫掉（秒级，免费），再用Python修复结构性错乱（秒级，免费），最后把剩余需要判断的内容交给大模型处理（消耗Token，但量已经很小了）。三层的总耗时和总成本远小于一开始就全量交给大模型。

法律人常见的清洗场景

从PDF、Word、网页转换来的文本，最常出现的几类噪声：

页眉页脚文字每页都重复一次——sed直接按行匹配删除。

标点和空格的格式混乱——sed批量替换。

换行错乱——Python的正则修复，把被断开的句子合并回来。

书名、文章名、日期等信息需要提取为元数据——Python读取+写入YAML Front Matter。

某些段落无法判断是不是正文内容——大模型判断。

至于编码异常符号、OCR识别错误导致的乱码、脚注编号混在正文中的问题——这些都在第一和第二层就能解决。我在数据课上列了一张完整的常见清洗清单，学员照着做就不用自己逐个试错了。

还有一个更省力的前提

能不用清洗，就不清洗。

如果你用minerU这样的高质量转换工具把PDF转成Markdown，转换质量本身已经很高——没有页眉页脚残留、没有OCR错误、换行和标题层级基本正确。我自己现在大量的PDF转Markdown都是直接过minerU就完了，后面的清洗步骤很多时候不需要。把清洗花在"转换工具本身就不行"的数据上，而不是花在"转换工具已经很好"的数据上。

这个道理很朴素，但容易被忽略。花在选对工具上的时间，远比花在弥补错工具上的时间划算。

数据加工和清洗的完整方法论，是四明山法师AI夜校数据专题中的"数据加工"模块。课程还覆盖了数据采集、格式转换、脱敏治理、知识库应用和团队协同发布的全流程。前两期学员中，有人已经把整套清洗工作流写成了标准化脚本，在自己的律所团队里推广使用。

第三期正在招生，报名表见下方"阅读原文"。

作者简介： 陈石律师，浙江海泰律师事务所副主任、高级合伙人、房地产与建设工程部主任，宁波市律师协会副秘书长、第七届宁波仲裁委员会仲裁员，聚焦建筑房地产、投融资、并购重组及商事争议解决。曾获多家法律媒体与专业机构认可，荣登 LegalOne 2025 中国区建工及房地产实务先锋 45 强、律新社 2025 年度管理合伙人 20 佳（华东），入选《商法》The A-List 法律精英，获评 ALB China 区域市场十五佳长三角地区律师新星，并获律新社 2024 年度并购领域品牌之星。长期为万科、华润置地、信达地产、保利置业、招商蛇口、中海地产等企业提供法律服务，承办"首宗百亿地王""长春第一高楼""台州第一高楼"等代表性项目，累计服务项目投资额超千亿。近年来持续推动 AI 与法律实务融合，强调以结构化方法打通技术逻辑、法律判断与商业场景；著有《赋能法律人：AI 底层思维与应用范式》，并在多地开展相关主题讲座与分享。四明山法师 AI 夜校（legalAGI.cn）发起人。