12GB 显存显卡可跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元/秒
The Block
Ai 注目
科技媒体 gigazine 报道,开发者 Niko1221 开源推出 Strata 引擎,可在 12GB 及以上显存的消费级显卡上运行量化的 Qwen3.8-Flash-Next 模型。文章给出最低硬件要求,并列出 RTX 5070 与 RX 9070 XT 的推理速度测试结果。
役立つ
No.ヘルプ

IT之家 10 月 6 日消息,科技媒体 gigazine 今天(10 月 6 日)报道,开发者 Niko1221 开源推出 Strata 引擎,可以在 12GB 及以上显存的消费级显卡上,运行量化的 Qwen3.8-Flash-Next 模型(1250 亿参数)。

IT之家注:Qwen3.8-Flash-Next 模型是阿里巴巴 Qwen 团队于 2026 年 8 月推出的多模态混合专家(MoE)模型的压缩版本,配有 125B 参数,另含 51B 参数的 n-gram 嵌入表,原生支持 262K token 上下文长度。

Strata 为了降低显存占用,主要采用两项关键技术:其一是将 MoE(混合专家)模型整体载入 RAM,仅将高频使用的专家模型载入 VRAM。其二使用轻量模型进行投机解码,预测下一 Token 以加速推理过程。

硬件要求方面,运行 Qwen3.8-Flash-Next 需满足最低配置:12GB 以上 VRAM 的 NVIDIA 或 AMD 显卡、32GB 以上 RAM、80GB 以上存储空间(推荐 SSD)、Windows 10/11 或 Linux 系统。

性能方面,在 NVIDIA GeForce RTX 5070(12GB VRAM)、Ryzen 5 7600、64GB RAM 配置下,2 比特量化版 Q2_0 达到 94 词元/秒推理速度,3 比特量化版 IQ3_S 为 53 词元/秒。AMD Radeon RX 9070 XT(16GB VRAM)环境下,Q2_0 版本达到 60 词元/秒。

英伟达主机性能表现:

硬件配置:NVIDIA RTX 5070(12GB 显存),AMD Ryzen 5 7600,64GB 系统内存。

AMD 主机性能表现:

硬件配置:AMD RX 9070 XT(16GB 显存),AMD Ryzen 9 3900X,47GB 内存。

这里的“写答案”对应生成回复(输出)的速度,“阅读提示”对应处理你输入的 prompt(上下文)的速度。

参考:点此前往 GitHub 体验 Strata。

チップ
$0
いいね
0
保存
0
閲覧数 12
CoinWorldは、読者の皆様にブロックチェーンを理性的に捉え、リスク意識を高め、各種仮想トークンの発行と投機に注意を払うようお願いします。サイト内のすべてのコンテンツは市場情報または関連する見解のみであり、いかなる形式の投資アドバイスも構成しません。機密情報を含むコンテンツを発見した場合は、“報告”,をクリックしてください。すぐに対処します。
送信
コメント 0
人気
最新
まだコメントがありません。最初のコメントを投稿しましょう!
関連
Ceragon将携新的E-band创新及可扩展产品组合亮相2026印度移动通信大会
Ceragon表示,将在2026印度移动通信大会上展示面向运营商需求的新技术和现场演示,并发布新的高功率E-band解决方案IP-50EXA-P。该产品预计于2027年第一季度商业上市。
PR Newswire
·2026-10-06 18:22:31
10
波兰监管机构指控谷歌在出版商报酬谈判中滥用市场支配地位,最高可罚营业额10%
据路透社报道,波兰反垄断监管机构表示,怀疑 Alphabet 旗下谷歌在与本土媒体出版商就内容付费进行谈判时滥用了市场支配地位,称其未提供合理评估报价所需的数据,妨碍公平磋商。谷歌波兰回应称正在评估声明内容,并表示已与波兰70多家新闻媒体签署版权许可协议。
The Block
·2026-10-06 18:12:29
7
高通起诉 Arm:指控其扣留芯片测试工具、泄露机密,要求免付 5 年数十亿美元授权费
据路透社报道,高通与 Arm 在美国特拉华州联邦法院再次对簿公堂。高通指控 Arm 扣留芯片测试工具并向媒体泄露终止许可协议的威胁,称此举损害其与 Meta 的芯片交易合作,并寻求停止向 Arm 支付可能价值数十亿美元、最长达 5 年的特许权使用费。
The Block
·2026-10-06 18:12:28
16
瑞萨推出品牌首款低压氮化镓功率半导体 面向AI数据中心、人形机器人等领域
瑞萨电子宣布推出公司首款低压氮化镓功率半导体产品,属于100V增强型GaN分立功率晶体管系列,面向AI数据中心、人形机器人、工厂自动化和工业电机驱动等应用。公司称该系列在FOM、效率和开关损耗方面较同类硅基方案有改善。
The Block
·2026-10-06 18:12:26
16
比特币价格在 8.7 万美元附近反复受阻,是什么在压制上涨
比特币10月6日回落至约85,500美元附近,此前再次在87,000美元附近受阻。美国现货比特币ETF周一净流出8,990万美元,结束此前两日的净流入。分析师称,83,300至84,600美元区间形成主要支撑,而86,700美元是买家需要突破的关键位。
crypto.news
·2026-10-06 18:04:15
15
もっと見る