跳到正文
The Decoder· Jonathan Kemper·· 9 天前AI 评分69

谷歌资助研究:AI让初级专利律师起草更快,但独立审查能力未同步提升

AI makes junior patent attorneys instantly better but may quietly stunt their professional growth

AI 导读

一项由谷歌资助的研究让专利律师在有无AI助手InFlow的条件下完成专利权利要求起草,并在无AI条件下完成红lining审查任务,由独立律所的盲审律师从可执行性、技术准确性、策略模糊性、完整性和清晰度五个维度评分。

摘要与补充说明

起草任务中,使用AI的实验组在10天和90天两个时间点均明显优于对照组,提升主要来自低分减少,且从业不足七年的初级律师获益远大于资深律师。但在无AI的红lining任务中,优势完全来自资深律师,初级律师整体未见提升,其得分分布反而更分散,低分和高分同时增多。研究者指出,从AI中获益最多的律师保留的持久技能最少,并列举样本量小、参与律所不具代表性、缺乏基线技能测量、三个月观察期偏短等局限。

正文· AI 翻译

该研究通过让律师先借助 AI 辅助工作、随后在不使用 AI 的情况下评估结果,将两件事区分开来。这一设计使研究人员既能衡量 AI 辅助工作的质量,也能考察律师自身的判断力在事后保持得如何。一家独立律所的盲评专利律师从五个维度对所有结果进行评分:可执行性、技术准确性、策略模糊性、完整性和清晰度。

在这项由 Google 资助的研究中,三分之二的参与者获得了使用 Google Labs 尚未发布的 AI 助手“InFlow”的权限,其余三分之一则在没有任何 AI 的情况下工作。在两项专利权利要求起草任务中,只有实验组可以使用 InFlow,对照组则在无辅助的情况下完成相同任务。

在第三项名为“红线批注”的任务中,所有参与者都必须在没有 AI 的情况下批判性地审阅一份现有专利草稿。正如作者所解释的,起草衡量的是即时的 AI 辅助表现,而红线批注衡量的则是内化的判断力,这是专利律师日常在没有任何工具的情况下执行的任务。

AI 主要改善初级律师的草稿

在起草任务中,实验组在第 10 天和第 90 天两个时间点都明显优于对照组,且效果体现在全部五个评分维度上。更高的分数主要来自差评减少和中等评分增多,而最高分几乎没有变化。

Six histograms comparing score distributions between control and treatment groups in drafting tasks after 10 and 90 days, broken down by all attorneys, juniors, and seniors.
借助 AI,初级律师的专利草稿获得的低分大幅减少。| 图片:NBER

经验不足七年的初级律师所获得的提升远大于资深律师。研究人员表示,这与越来越多表明 AI 能缩小经验较少与经验较多工作者之间表现差距的研究相一致,这种效应已在写作、客户服务和软件开发领域被观察到。

只有资深律师保留了 AI 优势

红线批注产生了相反的结果。实验组总体得分更高,但这一优势完全来自资深律师,初级律师则毫无获益,尽管他们在 AI 辅助起草期间取得了最大的提升。

Three dot plots showing AI access effects in standard deviations for the overall score and five rating dimensions, broken down by all attorneys, juniors, and seniors across drafting at 10 and 90 days and redlining at 90 days.
在 AI 辅助起草期间,初级律师获益最大。在没有 AI 的红线批注中,只有资深律师保留了优势。| 图片:NBER

相反,初级律师的结果出现分化,中等评分大幅减少,被更多差评和更多好评所取代,而顶尖分数没有增长。作者将此解读为一种迹象:AI 加速了部分初级律师的技能培养,却在另一些人身上替代了这种培养,尽管实验并未解释为何效果出现分化。

Three histograms comparing score distributions between control and treatment groups in redlining after 90 days for all attorneys, juniors, and seniors.
在没有 AI 的红线批注中,实验组的初级律师得分分布更分散,低分和高分都更多。| 图片:NBER

从 AI 中获益最多的律师,恰恰是留存持久技能最少的那批人,这促使研究人员提出,基线专业能力可能是将 AI 辅助实践转化为持久能力的先决条件。

一项补充文本分析提供了一种可能的解释。资深律师更常重构有缺陷的草稿,并将其修改建立在法律原则之上,而初级律师则常常发现严重缺陷却不加以修正,留下的批注读起来像是对 AI 助手的指令。由于这种行为在对照组中也出现,作者并未将其归因于 AI 训练出的习惯,而是将其视为初级律师层面的基线缺陷,且使用 AI 并未弥补这一缺陷。

结果在实践中的意义

作者指出了若干局限,包括顶尖律师的高计费费率导致样本量偏小、参与研究的律所并不能代表整个专业服务行业、缺乏基线技能测量,以及三个月的窗口期与建立专利专长所需的数年时间相比过于短暂。

研究者认为,只要专业工作仍然需要不依赖 AI 的判断力,眼前的生产力提升与持久的技能发展之间的张力就依然重要,而这种判断力很可能在很长一段时间内仍不可或缺。即便 AI 最终能支持红线批注,它也不太可能在客户会议和法庭程序中实时提供给律师使用,因为这些场合风险高,且需要当场做出判断。

类似模式也出现在其他领域。在软件开发中,Anthropic 的一项研究发现,借助 AI 学习新编程库的年轻开发者,在后续知识测试中的得分比不借助 AI 学习者低 17%。在论文写作方面,MIT Media Lab 发现了外包思考带来的认知债务迹象。而在管理咨询领域,BCG 的一项研究早在 2023 年就显示,能力较弱的咨询顾问使用 GPT-4 后的提升幅度远大于表现优异者。

斯坦福大学的研究者解释了多个行业中入门级岗位减少的现象,他们认为 AI 基本可以替代中学和大学传授的课本知识,而这正是早期职业工作者主要带来的东西;与此同时,经验丰富的专业人士还拥有 AI 难以轻易替代的实操专长。

这项专利律师研究汇入了关于专业能力侵蚀的更广泛讨论,一些研究者称之为“认知公地悲剧”。个体律所从自动化中获益,而人才发展受阻的代价却由整个行业承担,这项研究从真实实践中增添了更多实验证据来支持这一担忧。

Anthropic 最近表示,自 2025 年初以来,其工程部门的初级岗位占比已从 21% 降至 14%。

相关阅读

专题与标签

相关资讯专题