
亚马逊已将其人工智能的未来押注在Anthropic 身上,向这家初创公司投资 80 亿美元,并通过亚马逊云科技(AWS)大力向客户推广其 AI 技术。但现在,AWS因限制Anthropic的AI功能或许面临反弹。
•AWS高层将Bedrock的容量问题称为“灾难性事故“
• 不满的客户选择直接向Anthropic购买模型,谷歌可能受益于AWS客户的这一转向
但AWS搞砸了Bedrock这项关键服务——客户本可通过该服务基于Anthropic的AI模型构建应用。
据消息人士透露,以及两家服务AWS客户的咨询公司表示,使用过Bedrock的客户抱怨其应用程序接口(API)对Anthropic模型的使用量施加了随意限制,且缺乏他们所需的功能。
AWS代表表示,此类使用限制在业内很常见。然而,该问题表明AWS要么没有足够的服务器容量来支持Anthropic的使用,要么是为某些大客户保留了过量的资源。在AWS内部,一些高层领导最近将Bedrock容量问题称为一场“灾难”。
一位咨询公司高管表示,如果这些问题持续存在,AWS可能会失去那些未来可能成为云应用大客户的初创企业的青睐。谷歌作为AWS的主要竞争对手,同样投资了Anthropic,有望从Bedrock的问题中获益。
多位客户表示,由于Bedrock的问题,他们现在转而通过Anthropic官网的自主API获取模型访问权限。
据一位AWS高管透露,Anthropic除使用AWS服务器外,还借助谷歌的服务器支撑其API业务。这种同时调用两家云服务商的能力,或许解释了仅能访问亚马逊服务器的Bedrock与Anthropic自有API之间的容量差距。这也意味着谷歌可能正攫取本应属于AWS的收入。
AWS发言人Kate Vorys通过邮件声明称,已有“数万客户“通过Bedrock使用Anthropic模型,随着更多客户将生成式AI集成至其业务运营的云端应用中,该服务正面临“前所未有的需求“。
AWS在Bedrock中采用速率限制,以确保所有客户能“公平获取”热门AI模型资源,并在其云服务器业务EC2等服务中“保护技术安全与连续性”,Vorys表示。
AWS的Bedrock服务暴露容量与功能短板
据参与讨论的人士透露,AWS高层近期就快速增长的新创公司Lovable可能弃用Bedrock表示担忧,因AWS难以支撑该公司对Anthropic模型的使用需求。Lovable致力于帮助非工程师群体利用AI编写应用程序代码。
Lovable 公司的CEO安东·奥西卡证实,正在使用Anthropic的API。“我知道我们希望获得最优条款,并且需要最新的功能,而这些最新功能会优先出现在Anthropic上,”奥西卡未进一步说明地说道。
Bedrock的一个替代方案是Vertex,这是谷歌云提供的类似服务,同样托管了Anthropic的模型。一位谷歌云发言人表示,目前有超过4000名客户通过Vertex使用Anthropic的模型,较去年夏季的约2000名有所增长。
自AWS一年半前推出Bedrock服务以来,容量短缺问题一直存在。但据包括AI编程和教育初创公司创始人在内的客户反映,过去几个月使用该服务时遇到的错误信息频率和严重性有所增加。
本月Bedrock容量限制的一个实例中,据一家与该客户合作的咨询公司透露,AWS告知某客户每分钟仅能调用Anthropic的Claude Sonnet 3.7模型五次。
而同等价格下,Anthropic自有API的最低使用层级允许客户每分钟发送多达50次请求。(一位AWS员工和咨询公司高管表示,AWS客户有时可通过联系支持团队获得更高请求限制。)
Anthropic产品副总裁Michael Gerstenhaber表示,AWS和谷歌正在为Anthropic投资更多服务器,Bedrock存在的任何问题都可能是暂时的。
去年12月,Anthropic推出了提示缓存功能,确保开发者无需反复向AI模型提供相同的背景信息。而亚马逊直到本月早些时候才在Bedrock平台上提供相同的功能。
AWS同样通过Bedrock平台分发其自研的AI模型系列Amazon Nova,该系列于去年12月首次亮相,且似乎未出现与Bedrock上Anthropic模型相同的容量问题。
仍然具有安全优势
诚然,亚马逊仍是云计算领域无可争议的霸主,甚至部分AWS客户表示,尽管Bedrock存在问题,他们并不打算将所有支出转向Anthropic的API。这是因为相较于成立时间较短的Anthropic,他们更信任AWS处理客户数据的安全能力。
截至去年秋季,包含Bedrock在内的AWS人工智能业务年收入已突破20亿美元,且“继续保持三位数的同比增长率“,亚马逊CEO安迪·贾西在10月的财报电话会议上表示。(AWS在2024年实现了1076亿美元营收。)
亚马逊并非唯一一家在吸引或服务部分AI API客户方面遇到困难的主要云服务提供商。截至去年,使用OpenAI API的客户数量超过了通过微软Azure云API访问OpenAI模型的客户,部分原因是客户表示OpenAI在根据需求定制AI方面比微软做得更好 。
此外,谷歌去年在吸引客户使用其Gemini AI模型方面也遭遇困境 ,因为开发者发现与竞争对手的技术相比,这些模型过于复杂难用。
但AWS的领导层似乎意识到了其中的利害关系。
在最近的管理层重组中,AWS将Bedrock业务划归其EC2云服务器业务负责人David Brown管辖,该部门长期以来一直是这家云服务提供商最大的收入来源。Brown于2007年加入亚马逊,在满足AWS最大客户容量需求方面拥有丰富经验。
瓶颈解决方案
据两位与AWS有业务往来的人士透露,部分AWS客户通过创建多个账户(每个账户拥有独立的容量配额)并开发应用程序从这些账户的聚合容量中获取资源,成功绕过了Bedrock API的访问限制。
目前,亚马逊建议需要更多容量的客户使用一项名为Provisioned Throughput的服务,该服务允许客户支付额外费用以保证一定水平的计算资源。这项服务专为拥有数千名同时用户的大规模应用程序设计,按小时向客户收费,而不是基于AI模型为应用程序处理的数据量(即按token计费)。
两家与AWS客户合作的咨询公司高管表示,客户发现很难预测他们需要使用预置吞吐量的时间,而基于令牌的计费方式对他们来说更容易操作。(微软和谷歌也提供类似服务,按令牌向客户收费。)
亚马逊在将Anthropic自身API客户已享有的某些功能引入Bedrock版本时也行动迟缓。
去年12月,Anthropic推出了提示缓存功能,确保开发者无需反复向AI模型提供相同的背景信息。而亚马逊直到本月早些时候才在Bedrock中提供相同功能。”Anthropic的API在过去一年左右有了显著改进,“与AWS和Anthropic客户合作的Innovative Solutions公司首席技术官兼产品官Travis Rehl表示。
Praxis AI是一家为大学教授开发虚拟助教的六年初创公司,其总裁兼首席执行官David James Clarke IV表示,由于Bedrock的Anthropic模型缺乏提示缓存功能,公司已转而使用Anthropic自己的API。
克拉克表示他总体上仍坚持使用AWS,“AWS技术栈中还有太多其他技术,我远未考虑换平台,但我确实希望看到AWS在推出新功能方面能更进一步。“
并非所有Bedrock客户都遇到过容量问题。网络安全软件供应商Druva利用Bedrock接入Anthropic等公司的AI技术,开发了一款帮助企业在遭遇勒索软件攻击后制定应对方案的聊天机器人,该公司表示未遭遇任何限流情况。
参考资料
https://www.theinformation.com/articles/aws-faces-backlash-limits-anthropics-ai?rc=o6xpry
编译:ChatGPT
(文:Z Potentials)
重要说明:本站课程均整理自网络,防止大家被割韭菜 !
本站初心:花更少的米,看韭菜一样的东西,仅学习其中的思路
项目里留下的联系方式最好仅作咨询!收费的一律删除~付费需谨慎!!切记!
创奇社官网:www.cqshe.com 如有解压密码看下载页说明
暂无评论内容