!封面

我建知识库的第一年，最大的痛点不是"找不到数据"，是"PDF转出来的全是噪声"。

把一本法律书籍的PDF转成Markdown，读起来像是被狗啃过——页眉页码嵌在正文里、每句话单独一行、条款编号失踪、奇怪的符号满天飞。扔给AI，AI也读不懂。

后来换成了minerU，转换质量好了很多。但它不是万能的——转换后的文件仍然有一些固定类型的残留问题。我把这些问题归档了七类，每一类都有对应的最低成本清洗方式。

第一类：页眉页脚的幽灵文字

书籍PDF每一页都有页眉页脚。minerU转成Markdown后，这些重复的文字会被保留下来，混在正文中。比如每隔几段就会出现"第1页，共420页"、"法律出版社"或者"www.lawpress.com.cn"。

清洗方法最简单——sed按行匹配删除就行了。页眉页脚是固定的几个字符串，不会变化，不需要语义判断。

sed -i '/^第 [0-9]* 页/d' file.md
sed -i '/^本书由.*排版完成/d' file.md
sed -i '/^法律出版社$/d' file.md

第二类：换行错乱

这是所有PDF转Markdown工具都会产生的问题——中文标点后的换行被保留，变成碎片化的"一行一句"：

第一条
为了保护合同当事人的合法权益
，
维护社会经济秩序
，

这类问题有规律——在中文标点（句号、逗号、顿号、分号、顿号、冒号）之后出现了换行。用Python的正则表达式一句话就能修：

content = re.sub(r'([，。、；：！？])\n', r'\1', content)

第三类：标题层级丢失

书籍的章节标题转成Markdown后经常层级混乱。本该是"# 第一章"的结果变成了粗体纯文本，或者变成了和正文一样的字号。这是因为PDF存储的是视觉位置信息，不是语义层级。minerU做了最好的推断，但推断不一定全对。

这个问题是最难全自动解决的——恢复标题层级需要理解"这段文字到底是不是标题"。用大模型做最后的判断，但先用Python把候选段落（粗体、段落短小、独立成行）筛出来，减少大模型的输入量。

第四类：标点和特殊符号

OCR识别会引入各种奇怪的符号：全角空格被保留成不可见字符、破折号被转成两个短横线、弯引号被转成直的。这些是固定规则的替换，sed或Python都能批量处理。关键是归纳你的文件里出现了哪些"固定错误模式"——同一个转换工具对同一类PDF产生的错误模式高度一致，归纳一次，永久复用。

第五类：脚注和尾注残留在正文中

脚注编号经常从页面底部漂移到正文中间，形成"[16]参见王泽鉴《民法总则》第23页"这样的干扰文字。这类问题的处理需要先判断这是不是脚注，再判断怎么处理——有些脚注是引用支撑，值得保留在文末；有些只是页码标注，可以直接删除。让大模型判断，不要写规则硬杀——硬杀可能把正文中的括号引用也误删掉。

第六类：编码异常字符

某些PDF的底层编码不对，转换后会出现"�"（替换字符，表示无法识别）或"​"（零宽空格，肉眼看不见但AI能读到）。这些可以直接用sed批量删除——它们没有任何信息量，只是转换噪声。

第七类：表格和图片区域变成不可读的代码

PDF中的表格被转成Markdown后，经常变成一行一行的纯文本，或者更糟——变成一个base64编码的图片链接。前者可以用Python重构成Markdown表格，后者没办法自动处理，只能保留图片链接或者手动处理。

清洗顺序比清洗方法更重要

这七类问题不能乱序处理。先删固定噪声（页眉页脚），再修结构性错误（换行、标点），再处理语义问题（标题层级、脚注判断）。前面的处理会改变文件内容，影响后面的判断——如果先做了标题层级恢复再删页眉页脚，页眉里的"第一章"可能已经被误判为正文标题。

我在数据课上演示过的推荐顺序：页眉页脚 → 换行修复 → 标点统一 → 编码异常字符删除 → 脚注处理 → 标题层级修复 → 表格结构重构。前三步全自动，第四步人工扫一眼决定要不要做，五六七步需要混合处理。

这个顺序不是理论推导的，是反复实践中发现"先做A再做B会出错，反过来才顺"后固定下来的。你的数据源类型不同，顺序可能需要调整，但原则不变——确定性越高的清洗越先做。

minerU清洗方法和完整的数据加工流程，是四明山法师AI夜校"数据专题"中数据加工模块的一部分。课程还系统覆盖了数据采集的自动化脚本编写、格式转换的最佳实践、脱敏治理的分层方案、知识库应用的技术路线选择。六节正课已经全部讲完，前两期学员的作业质量超过了很多律所的全职技术团队。

第三期正在招生，报名表见下方"阅读原文"。

作者简介： 陈石律师，浙江海泰律师事务所副主任、高级合伙人、房地产与建设工程部主任，宁波市律师协会副秘书长、第七届宁波仲裁委员会仲裁员，聚焦建筑房地产、投融资、并购重组及商事争议解决。曾获多家法律媒体与专业机构认可，荣登 LegalOne 2025 中国区建工及房地产实务先锋 45 强、律新社 2025 年度管理合伙人 20 佳（华东），入选《商法》The A-List 法律精英，获评 ALB China 区域市场十五佳长三角地区律师新星，并获律新社 2024 年度并购领域品牌之星。长期为万科、华润置地、信达地产、保利置业、招商蛇口、中海地产等企业提供法律服务，承办"首宗百亿地王""长春第一高楼""台州第一高楼"等代表性项目，累计服务项目投资额超千亿。近年来持续推动 AI 与法律实务融合，强调以结构化方法打通技术逻辑、法律判断与商业场景；著有《赋能法律人：AI 底层思维与应用范式》，并在多地开展相关主题讲座与分享。四明山法师 AI 夜校（legalAGI.cn）发起人。