大模型開始自己「打草稿」:NCP 將猜後文塞進模型內部
2026-09-14 20:39:17
幣界網消息,OneMillion.AI報道,上海AI Lab與上海交通大學發布了89億參數的模型ncp-archpreview。該模型不僅訓練「猜下一個token」,還會預測後面一小段對應的內部概念信號,以輔助token生成。通過這種方式,模型內部能夠提前猜測後文,提升了生成效率。在四項測試中,大模型每驗證一次,平均能通過的token從5.933個提升至6.180個,提升幅度為4.17%;在humaneval測試中提升7.59%。接入這套信號後,草稿模型僅增加約4萬參數,且ncp使用普通transformer的訓練計算量約為85%,就能將訓練誤差降至接近相同水平。
來源:互聯網
本內容只為提供市場資訊,不構成投資建議。
關注HQYC官方帳號,及時關注最新動態









