速递｜Anthropic首次战略投资：Goodfire获5000万美元A轮融资，押注AI“黑箱解码”

Goodfire联合创始人兼CEO的Eric Ho表示，这笔投资是这家总部位于旧金山的初创公司在新一轮融资中筹集的5000万美元中的一小部分，该轮融资对Goodfire的估值为2.5亿美元。Menlo Ventures领投此轮，参与者还包括Anthropic的支持者Lightspeed Venture Partners和B Capital。

此次投资展示了AI初创企业，如何利用其资产负债表或与投资者的关系，与年轻初创公司建立更紧密的联系，尤其是那些基于其模型开发新产品的公司。

例如，OpenAI运营着一个由微软和其他外部投资者资金支持的基金，用于投资AI初创企业。除了资金支持，这些初创公司还能获得诸如优先使用ChatGPT制造商新技术的额外福利。

去年，Anthropic宣布了一项名为Anthology的计划，该计划是与Menlo合作安排的。其运作方式是，这家风投公司从1亿美元基金中投资年轻的AI初创企业，而这些初创企业则能获得Anthropic的模型、员工支持及25,000美元的计算资源信用额度。

Menlo表示此前已通过Anthology对Goodfire进行了投资。Goodfire是致力于将名为“机械可解释性”的AI领域研究商业化的几家年轻初创公司之一。

该领域旨在窥探AI模型的“黑箱”，并将其思考过程转化为人类可理解的概念。传统软件工程师能阅读、编辑并理解其代码，而AI开发者却无法理解他们所使用的AI模型的内部运作机制，这些模型由数十亿个数字构成。

Goodfire通过训练一个独立的解释器模型来实现这一壮举，该模型能从原始模型的“神经元”中识别出从医疗状况到质数等各种概念。

例如，Ho提到，日本电商公司乐天利用Goodfire的解释模型，在其基于Llama的聊天机器人中识别与个人身份信息相关的思考及幻觉现象。通过监测这些概念何时被激活，乐天能有效防止聊天机器人泄露敏感信息或向用户产生幻觉性回答。

用户还可以通过强化特定概念来引导模型行为。例如，增强模型对医疗状况概念的关注，有助于模型提供诊断建议。

Goodfire的解释模型建立在Anthropic开创性研究基础上。2024年，Anthropic放大了Claude中金门大桥的特征，创造出一个痴迷于该桥梁的聊天机器人。Anthropic持续深耕这一领域，上月发表了两篇论文，探讨Claude偶尔出现的幻觉、自我编造推理等行为。

Anthropic联合创始人兼CEO Dario Amodei在声明中表示，公司对Goodfire的投资“体现了我们的信念：机制可解释性是最有望帮助我们将黑盒神经网络转化为可理解、可操控系统的途径之一。“

Goodfire的技术同样适用于图像模型，甚至生物学领域。该公司近期与由Stripe 的CEOPatrick Collison支持的非营利生物医学机构Arc Institute合作，解读其基因组模型Evo 2。

Lightspeed Venture Partners合伙人Nnamdi Iregbulem表示，除了这些直接应用外，Goodfire的技术还能“帮助缓解人工智能可能带来的一些潜在负面影响”。

他说，一个比人类更聪明的强大AI模型可能会带来风险，“但如果它比人类更聪明，而你能窥见其‘大脑‘，某种意义上你仍保有控制权。“

研究人员对于解读AI模型思维的最佳方法存在分歧。例如，谷歌DeepMind的机械解释团队最近因一系列令人失望的研究结果，决定降低对Anthropic和Goodfire所采用技术的优先级。

Goodfire的客户支付年度订阅费，以获得其软件平台Ember的许可证，以及Goodfire 17名员工的协助和训练口译模型的费用。Goodfire已实现盈利，但Ho未透露具体金额。

除了何之外，Goodfire的联合创始人还有Tom McGrath，他协助创立了Google DeepMind的机械解释团队，并担任Goodfire的首席科学家。何还提到，Goodfire已聘请了曾在OpenAI从事可解释性研究的Nick Cammarata、在Google领导编码代理团队的Owen Lewis，以及Apollo Research的机械解释团队，后者将负责Goodfire新设立的伦敦办公室。

Ho表示，他预计由于这笔投资，其初创公司与Anthropic的研究合作关系将进一步加强。例如，未来双方可能会共同举办活动。

参考资料

https://www.theinformation.com/articles/meta-asked-amazon-microsoft-help-fund-llama?rc=o6xpry

编译：ChatGPT

（文：Z Potentials）