!封面

我在数据专题课上现场演示了公众号文章采集工具的使用。课间有个学员跟我说："陈律师，我刚才数了数，我电脑里有136个公众号的文章都是手动复制粘贴收藏的。"

这是多数法律人的默认做法——知道某个公众号有价值，就点进文章，读一遍，可能用收藏功能存起来。下次要用的时候想不起来在哪。

问题不在数据量，在采集效率。

三种方式

我把数据采集分成三种方式，分类标准不是技术门槛，而是你的投入产出比。

第一种：手工采集。 网页复制、右键另存为、下载PDF/Word、截图存图库。门槛最低，谁都会。但如果这是你的唯一采集手段，你每周花在"存资料"上的时间加起来可能有好几个小时，而且存下来的东西格式五花八门——PDF、Word、截图混在一起，AI很难直接用。

第二种：半自动采集。 用工具模拟人的操作去访问网站、点击页数、下载文件。比如用opencli这类工具，让它模拟浏览器行为去帮你翻页、点按钮、存文件。写好指令之后你可以离开，它替你干完。这种方式比手工高效，但每次都需要你描述一遍"去哪、干什么、怎么存"。它本质上是把手工作业翻译成了机器执行的剧本。

第三种：全自动采集。 脚本/API/MCP。底层绕开了网页图形界面，直接通过代码接口读取数据。只要脚本跑通了，后面就是双击一下的事。

三种方式的区别不是"手工慢、自动快"这么简单。真正的差异在复用性上。

手工采集每次都从头来。半自动采集把操作翻译成剧本，但每次还要重新设计剧本。全自动采集把剧本固化成了可重复执行的工具——写一次，以后每次跑都是零边际成本的数字动作。

那个最实用的选项

如果你的数据采集需求是"偶尔临时用一下"，手工就够了。

如果你的需求是"我有一批固定数据源要长期跟踪"，全自动采集——写脚本、设定期执行、让它自动增量更新——是最省力的方案。

但多数法律人的真实情况是：有一批高价值数据源，但没多到值得每个写脚本的程度；手工下载太累，但又不太会写脚本。

这就是半自动采集最该发挥价值的地方。用opencli这类工具，你只需要用自然语言告诉它"打开这个网站→找到X→点Y→下载Z→存到本地文件夹"。它会模拟人的操作一步步完成。你不需要懂代码，你会描述需求就够了。

上节课有个学员问了关键问题："opencli有时候会跳过某个步骤怎么办？"确实会。半自动的工具不像脚本那么确定——但你可以让它反复验证。如果发现漏了，让它重跑，或者换个更强的模型去跑。它对"一次性需求"很友好，对"高频复用需求"不如脚本稳定。

什么时候该上升到全自动

一个简单的判断原则：当你第三次用同样的方式采集同一个数据源时，就已经值得写脚本了。

不是写一个完美的、通用的、能处理所有异常的脚本。是写一个能用就行的脚本。让AI帮你写——你告诉它目标网站的网址、你要采集什么内容、存到什么路径。大概率第一次能跑通。跑不通就让它自己修，或者换更强的模型来写。

写脚本的最大成本不是运行的 token 费，而是"你觉得这件事很复杂"。它不复杂。复杂的是你想象出来的难度。

采集的合规常识

最后一件事。课上有人问采集有没有法律风险。有，但不需要过度恐慌。

三个变量决定风险水平：频率、量级、用途。一个月拉一次增量——基本没有争议。一口气爬完全站数据并发布到公网——踩线。自用和盈利有本质区别。公开数据和需登录才能访问的数据有本质区别。

最简单的自保方式：看目标网站的robots.txt文件，它明确写了哪些能爬、哪些不能。如果你在合理自用的范围内、低频增量采集、不做商业化利用——目前的司法实践中，这类行为极少被认定为不正当竞争。但你如果把企查查的数据全量爬下来然后自己做了个竞品，那就不是采集问题了，那是商业侵权。

尺度在你自己手里。作为法律人，你比其他人更清楚那条线在哪。

本文的采集技术和工具使用演示，是四明山法师AI夜校"数据专题"中数据采集模块的一部分。完整的课程除数据外，还覆盖了模型选择、算力配置、Harness Engineering方法论等核心模块。前两期学员做出来的自动化数据采集脚本，在课程结束之前就已经投入了日常使用。

第三期正在招生，报名表见下方"阅读原文"。

作者简介： 陈石律师，浙江海泰律师事务所副主任、高级合伙人、房地产与建设工程部主任，宁波市律师协会副秘书长、第七届宁波仲裁委员会仲裁员，聚焦建筑房地产、投融资、并购重组及商事争议解决。曾获多家法律媒体与专业机构认可，荣登 LegalOne 2025 中国区建工及房地产实务先锋 45 强、律新社 2025 年度管理合伙人 20 佳（华东），入选《商法》The A-List 法律精英，获评 ALB China 区域市场十五佳长三角地区律师新星，并获律新社 2024 年度并购领域品牌之星。长期为万科、华润置地、信达地产、保利置业、招商蛇口、中海地产等企业提供法律服务，承办"首宗百亿地王""长春第一高楼""台州第一高楼"等代表性项目，累计服务项目投资额超千亿。近年来持续推动 AI 与法律实务融合，强调以结构化方法打通技术逻辑、法律判断与商业场景；著有《赋能法律人：AI 底层思维与应用范式》，并在多地开展相关主题讲座与分享。四明山法师 AI 夜校（legalAGI.cn）发起人。