测量 2025 年初 AI 工具对资深开源开发者生产力的影响

我们进行了一项随机对照试验（RCT），研究2025年初的AI工具如何影响资深开源开发者在处理自己代码库时的生产效率。令人惊讶的是，我们发现开发者在使用AI工具时，完成任务的时间比不使用时延长了19%。换句话说，AI不仅没提高效率，反而拖慢了开发速度。

我们将此结果视作对2025年初AI技术水平的一个真实快照。考虑到AI技术仍在快速进步，我们未来还会继续使用类似方法监测AI工具对研发效率的影响【1】。

完整论文请查看这里。

为什么做这个研究？

当前，衡量AI能力多依赖于各种标准化评测（benchmarks）【2】，但这些评测通常为了方便、规模化，而牺牲了真实性。具体来说：

• 任务通常是独立且无需上下文的；

• 算法式评分忽视了现实中的许多重要能力。

这样的设定可能会让我们高估或低估AI在真实场景中的能力。我们希望通过真实环境下的评估，更准确地了解AI工具对研发的实际影响，尤其关注AI对自身研发速度的影响，因为过快的AI发展可能带来监管和安全方面的风险。

研究方法

我们邀请了16名经验丰富的开源开发者参与实验，他们均长期贡献于知名的开源项目（GitHub星数超过2.2万，代码行数超过百万）。开发者提供了246个真实的任务（如修bug、开发功能等），然后随机分配这些任务，允许或禁止使用AI工具完成。

• 允许使用AI时，开发者可自由选择工具（主要为Cursor Pro，搭载Claude 3.5/3.7 Sonnet等前沿大语言模型）；

• 禁止使用AI时，开发者必须独立完成任务。

每个任务约耗时2小时，开发者会录屏并报告实际耗费的时间，我们以每小时150美元的报酬支付参与实验的开发者。

核心结果

在允许使用AI工具的情况下，开发者完成任务所需时间增加了19%，这一结果与开发者的预期完全相反：

• 开发者原本认为AI工具可以让他们的效率提高24%；

• 即使经历了效率下降后，他们仍认为自己效率提高了20%。

下图清晰展示了开发者的预期时间与实际完成时间对比，明显可见使用AI工具时任务耗时更长：

鉴于人们可能会过度概括或误解结果，我们特别澄清了以下几点本研究未提供的证据：

因素分析

我们分析了可能导致减速的20个因素，发现有5个因素较为明显地导致了减速：

减速原因分析

我们排除了许多实验干扰因素，如模型选择、任务难度和质量差异等。更多细节请参阅论文原文。

结果讨论

如何解释AI工具在实际开发中表现不佳，而在标准评测及大众使用中却表现出色？

以下表格比较了几种证据来源的差异：

针对这些矛盾的现象，我们提出了三种可能的解释假设：

未来展望

我们将继续开展类似的实验，以便长期监测AI对研发效率的影响。这种现实环境下的评估，有望避免标准评测容易“刷分”的缺陷。

如果未来AI明显提高开发者效率，这可能预示着AI研发能力的快速提升，同时也带来了监管、安全、权力集中等潜在风险。

我们欢迎更多开源开发者或企业合作，共同了解AI工具对实际工作效率的影响，有兴趣参与研究的伙伴请联系我们。