安永稱內部AI路由器最多削減60% Token消耗
Businessinsider
11h ago
Ai Focus
安永稱,內部 AI 路由器上線後,結合預算與治理措施,Token 消耗最多下降 60%。
Helpful
No.Help

安永表示,公司今年 4 月在全球上線一套內部 AI 路由系統,用來在不同模型之間分配員工請求。員工前端使用方式基本上不變,但係統會在後台判斷哪種模型更適合當前任務,以控制呼叫成本並提升回應效率。

後台分配模型請求

這套系統被安永稱為「無形路由器」。它目前接入部分專業 AI 工具,主要涵蓋稅務、風險等部門場景,並未全面用於所有內部產品,也不適用於全員開放的 Microsoft Copilot 聊天工具。

根據安永的說法,員工仍然像平常一樣輸入提示詞並獲得結果,但後台會根據任務複雜度,把請求導向不同模型。對於一些不需要高階推理的任務,系統會避免直接呼叫更昂貴、反應較慢的大模型。

安永全球諮詢 AI 負責人 Dan Diasio 表示,較重型模型通常需要更多推理過程,因此返回結果所需時間也更長。路由機制的作用,是把高成本模型留給更需要它的工作場景。

Token 計費推動企業控費

隨著 AI 服務商越來越多採用按 Token 計費,企業對模型使用成本的關註明顯上升。文章提到,從今年 2 月到 6 月,OpenAI、Anthropic 和 GitHub 都推出了與 Token 使用量掛鉤的定價方式,企業若把高性能模型用於簡單任務,費用可能迅速增加。

安永援引本週發布的美國 AI Pulse 調查稱,在 534 名美國企業高級決策者中,82% 的受訪者對 Token 使用量表示擔憂。調查時間為 4 月至 5 月。

Dan Diasio 認為,許多企業突然出現高額帳單,不一定來自大規模普遍使用,而可能集中在少數員工持續用錯工具。路由系統的目標,就是減少這類浪費。

企業AI管理轉向預算階段

安永稱,路由器配合培訓和治理措施實施後,自 4 月上線以來,Token 消耗最多下降 60%。公司同時按職位和部門設定 Token 預算,超出額度的員工需要經過批准才能申請更多使用量。

安永在同一份調查中也稱,64% 的受訪高階主管表示,其所在機構已經開始監測 AI Token 使用情況,並設定了明確的預算限制。 Diasio 預計,這一比例未來幾個月還會持續上升。

他也表示,企業下一階段不只是追蹤員工用了多少 AI,還會更關注投入是否帶來實際產出,包括是否縮短任務完成時間,以及是否推動員工承擔新的工作內容。

Tip
$0
Like
0
Save
0
Views 717
HQYC reminds readers to view blockchain rationally, stay aware of risks, and beware of virtual token issuance and speculation. All content on this site represents market information or related viewpoints only and does not constitute any form of investment advice. If you find sensitive content, please click“Report”,and we will handle it promptly。
Submit
Comment 0
Hot
Latest
No comments yet. Be the first!
Related
EY claims its internal AI routers can reduce token consumption by up to 60%.
EY stated that after the internal AI router went live, combined with budget and governance measures, token consumption decreased by up to 60%.
Businessinsider
·2026-07-30 17:14:53
830
Bank of New York Mellon downplays token metrics and focuses on AI output.
Bank of New York Mellon stated that its internal AI evaluation prioritizes business output over token consumption and disclosed multiple data points on code, operational, and financial efficiency.
Fortune
·2026-07-28 20:13:09
741
web3: BitMart to shut down trading platform, BMX plunges nearly 60% in a single day.
BitMart announced the closure of its trading platform, ceasing trading on August 26, causing BMX to drop by approximately 58% in 24 hours.
CoinDesk
·2026-07-26 15:11:05
812
web3: Hastra launches AUTO, an auto loan token, on Solana
Hastra launched its RWA product AUTO in Solana, tokenizing consumer auto loans and integrating them into DeFi scenarios.
SolanaFloor
·2026-07-30 22:56:02
849
web3: World raises $52.5 million through token sale
World raised $52.5 million through a WLD token sale, with the funds going to the World Foundation to advance the expansion of its identity verification network.
TechCrunch
·2026-07-25 00:18:33
676