安永称内部AI路由器最多削减60% Token消耗
Businessinsider
7小时前
Ai 焦点
安永称,内部 AI 路由器上线后,结合预算与治理措施,Token 消耗最多下降 60%。
有帮助
No.帮助

安永表示,公司今年 4 月在全球上线一套内部 AI 路由系统,用来在不同模型之间分配员工请求。员工前端使用方式基本不变,但系统会在后台判断哪种模型更适合当前任务,以控制调用成本并提升响应效率。

后台分配模型请求

这套系统被安永称为“无形路由器”。它目前接入部分专业 AI 工具,主要覆盖税务、风险等部门场景,并未全面用于所有内部产品,也不适用于面向全员开放的 Microsoft Copilot 聊天工具。

按照安永的说法,员工仍然像平常一样输入提示词并获取结果,但后台会根据任务复杂度,把请求导向不同模型。对于一些不需要高阶推理的任务,系统会避免直接调用更昂贵、响应更慢的大模型。

安永全球咨询 AI 负责人 Dan Diasio 表示,较重型模型通常需要更多推理过程,因此返回结果所需时间也更长。路由机制的作用,是把高成本模型留给更需要它的工作场景。

Token 计费推动企业控费

随着 AI 服务商越来越多采用按 Token 计费,企业对模型使用成本的关注明显上升。文章提到,从今年 2 月到 6 月,OpenAI、Anthropic 和 GitHub 都推出了与 Token 使用量挂钩的定价方式,企业若把高性能模型用于简单任务,费用可能迅速增加。

安永援引其本周发布的美国 AI Pulse 调查称,在 534 名美国企业高级决策者中,82% 的受访者对 Token 使用量表示担忧。调查时间为 4 月至 5 月。

Dan Diasio 认为,很多企业突然出现高额账单,并不一定来自大范围普遍使用,而可能集中在少数员工持续用错工具。路由系统的目标,就是减少这类浪费。

企业AI管理转向预算阶段

安永称,路由器配合培训和治理措施实施后,自 4 月上线以来,Token 消耗最多下降 60%。公司同时按岗位和部门设置 Token 预算,超出额度的员工需要经过审批才能申请更多使用量。

安永在同一份调查中还称,64% 的受访高管表示,其所在机构已经开始监测 AI Token 使用情况,并设定了明确的预算约束。Diasio 预计,这一比例未来几个月还会继续上升。

他还表示,企业下一阶段不只是追踪员工用了多少 AI,还会更关注投入是否带来实际产出,包括是否缩短任务完成时间,以及是否推动员工承担新的工作内容。

打赏
$0
点赞
0
收藏
0
浏览量 222
HQYC提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
Runway推出媒体模型路由器,押注生成式AI基础设施
Runway发布生成式媒体模型路由工具,试图从单一模型提供商转向 AI 基础设施平台。
TechCrunch
·2026-07-24 01:28:33
398
web3: 外媒:塞勒称比特币最大风险来自内部改规则
塞勒称,比特币长期风险主要来自内部修改共识规则,而非外部竞争或政府压力。
crypto.news
·2026-07-29 06:03:20
323
AI服务器散热需求升温,液冷产业链受追捧
文章聚焦AI服务器散热市场,梳理液冷设备、风扇、冷板和材料企业的订单变化与产业机会。
Wallstreetcn
·2026-07-24 17:17:59
759
纽约梅隆银行淡化Token指标,转看AI产出
纽约梅隆银行表示,内部评估 AI 更看重业务产出而非 token 消耗,并披露多项代码、运营和财务效率数据。
Fortune
·2026-07-28 20:13:09
791
OpenAI重新吸纳Lilian Weng负责内部研究
Lilian Weng 离开 Thinking Machines 后重返 OpenAI,将带队推进内部研究协作与递归自我改进相关工作。
TechCrunch
·2026-07-30 05:14:32
90