安永称内部AI路由器最多削减60% Token消耗
Businessinsider
7h ago
Ai Focus
安永称,内部 AI 路由器上线后,结合预算与治理措施,Token 消耗最多下降 60%。
Helpful
No.Help

安永表示,公司今年 4 月在全球上线一套内部 AI 路由系统,用来在不同模型之间分配员工请求。员工前端使用方式基本不变,但系统会在后台判断哪种模型更适合当前任务,以控制调用成本并提升响应效率。

后台分配模型请求

这套系统被安永称为“无形路由器”。它目前接入部分专业 AI 工具,主要覆盖税务、风险等部门场景,并未全面用于所有内部产品,也不适用于面向全员开放的 Microsoft Copilot 聊天工具。

按照安永的说法,员工仍然像平常一样输入提示词并获取结果,但后台会根据任务复杂度,把请求导向不同模型。对于一些不需要高阶推理的任务,系统会避免直接调用更昂贵、响应更慢的大模型。

安永全球咨询 AI 负责人 Dan Diasio 表示,较重型模型通常需要更多推理过程,因此返回结果所需时间也更长。路由机制的作用,是把高成本模型留给更需要它的工作场景。

Token 计费推动企业控费

随着 AI 服务商越来越多采用按 Token 计费,企业对模型使用成本的关注明显上升。文章提到,从今年 2 月到 6 月,OpenAI、Anthropic 和 GitHub 都推出了与 Token 使用量挂钩的定价方式,企业若把高性能模型用于简单任务,费用可能迅速增加。

安永援引其本周发布的美国 AI Pulse 调查称,在 534 名美国企业高级决策者中,82% 的受访者对 Token 使用量表示担忧。调查时间为 4 月至 5 月。

Dan Diasio 认为,很多企业突然出现高额账单,并不一定来自大范围普遍使用,而可能集中在少数员工持续用错工具。路由系统的目标,就是减少这类浪费。

企业AI管理转向预算阶段

安永称,路由器配合培训和治理措施实施后,自 4 月上线以来,Token 消耗最多下降 60%。公司同时按岗位和部门设置 Token 预算,超出额度的员工需要经过审批才能申请更多使用量。

安永在同一份调查中还称,64% 的受访高管表示,其所在机构已经开始监测 AI Token 使用情况,并设定了明确的预算约束。Diasio 预计,这一比例未来几个月还会继续上升。

他还表示,企业下一阶段不只是追踪员工用了多少 AI,还会更关注投入是否带来实际产出,包括是否缩短任务完成时间,以及是否推动员工承担新的工作内容。

Tip
$0
Like
0
Save
0
Views 223
HQYC reminds readers to view blockchain rationally, stay aware of risks, and beware of virtual token issuance and speculation. All content on this site represents market information or related viewpoints only and does not constitute any form of investment advice. If you find sensitive content, please click“Report”,and we will handle it promptly。
Submit
Comment 0
Hot
Latest
No comments yet. Be the first!
Related
EY claims its internal AI routers can reduce token consumption by up to 60%.
EY stated that after the internal AI router went live, combined with budget and governance measures, token consumption decreased by up to 60%.
Businessinsider
·2026-07-30 17:14:53
818
Bank of New York Mellon downplays token metrics and focuses on AI output.
Bank of New York Mellon stated that its internal AI evaluation prioritizes business output over token consumption and disclosed multiple data points on code, operational, and financial efficiency.
Fortune
·2026-07-28 20:13:09
735
web3: BitMart to shut down trading platform, BMX plunges nearly 60% in a single day.
BitMart announced the closure of its trading platform, ceasing trading on August 26, causing BMX to drop by approximately 58% in 24 hours.
CoinDesk
·2026-07-26 15:11:05
805
web3: Hastra launches AUTO, an auto loan token, on Solana
Hastra launched its RWA product AUTO in Solana, tokenizing consumer auto loans and integrating them into DeFi scenarios.
SolanaFloor
·2026-07-30 22:56:02
838
web3: World raises $52.5 million through token sale
World raised $52.5 million through a WLD token sale, with the funds going to the World Foundation to advance the expansion of its identity verification network.
TechCrunch
·2026-07-25 00:18:33
671