周一,亚马逊网络服务(AWS)发布了一款名为 TorchNeuron 的工具,帮助 AI 初创公司更轻松地将其 AI 应用迁移到亚马逊的 AI 芯片 Trainium 上。此举也等于直接挑战英伟达的软件优势——正是这一优势帮助英伟达成为 AI 应用默认的硬件选择,并推动其成为首选 AI 硬件供应商。
TorchNeuron 可与 PyTorch 配合使用。PyTorch 是一套免费的开源工具包,开发者用它来构建、训练和运行 AI 模型。亚马逊表示,借助 TorchNeuron,使用 PyTorch 编写的 AI 应用只需更改一行配置就能在 Trainium 上运行,无需重写代码。
亚马逊称,大约 85% 的 AI 应用都是用 PyTorch 编写的。PyTorch 最初由 Facebook 开发,但自 2022 年起已成为 Linux Foundation 的一部分,由其维护开源项目。多年来,英伟达一直在确保其 CUDA 软件——即让应用能够在英伟达 GPU 及其他硬件上运行的软件基础设施——能够无缝支持用 PyTorch 编写的 AI 应用。结果是,英伟达的硬件如今已深度嵌入这一工具链,几乎成了默认选项。
TorchNeuron 基于 PyTorch 进行适配,因此熟悉 PyTorch 的开发者也会知道如何使用它。亚马逊并不是第一家试图让自家芯片更容易接入该平台的公司。PyTorch 用户也可以通过简单的配置更改,将应用迁移到 AMD GPU,甚至苹果芯片上。
不过,亚马逊认为,把应用迁移到 Trainium 不仅简单,还能让 AI 初创公司接触到亚马逊完整的云服务。AWS 显然认为,这对初创公司来说比使用 neoclouds 更好;后者中不少与英伟达及其硬件绑定,例如 Coreweave、Nebius 和 Firmus。
“你是在 AWS 上构建。你不是在押注一家只做单一用途算力的提供商,然后再手忙脚乱地围绕它搭建其他一切,”AWS Annapurna Labs 技术软件副总裁 Colin Brace 通过电子邮件对 TechCrunch 表示。Annapurna Labs 是亚马逊自研芯片部门。他补充说:“在 AWS 上,从原型到生产所需的基础设施已经齐备,创始人可以快速推进,并在需要时扩展规模。”
AWS 表示,由于同一款芯片既能负责训练(教会 AI 模型),也能负责推理(让训练完成的模型投入使用,例如回答用户问题),并且与初创公司所需的云基础设施紧密集成,因此即便 AWS 的单 token 价格并非最低,其云服务仍能帮助客户节省成本。
Brace 说:“Trainium 的价值在于性价比,以及它是一个同时覆盖训练和推理的平台,这会改善整个工作负载的经济性。看看 Deepgram——他们使用原生 PyTorch 支持迁移到 Trainium,在达到生产级准确率的同时,每美元可处理的音频量提高了 70%。”Deepgram 是一家 AI 语音应用提供商,也是 ElevenLabs 的竞争对手。
但亚马逊并不满足于只是为 PyTorch 应用开发者提供一个轻松迁移到其云端的选项。
亚马逊还表示,它正在推动 PyTorch 不再自动以英伟达为中心,并将把实现这一目标的代码贡献给 PyTorch 主项目。在宣布这项新工具的博客文章中,公司写道:
“亚马逊的方法不止于其自有硬件。公司正向 PyTorch 本身贡献上游改动,并与 PyTorch 社区合作,移除将该框架绑定到特定芯片的代码。目标是让 PyTorch 对整个开发者社区而言更具硬件无关性,而不仅仅是对 Trainium 用户如此。”
尽管这种策略无疑对销售与英伟达竞争的硬件和云服务商有利,但 PyTorch 的目的之一就是隐藏让 AI 代码在硬件上运行时那些麻烦的细节。我们还需要等待,看看把英伟达推得更远,究竟会不会像亚马逊所说的那样,为开发者带来更多选择和更低成本,还是只会带来更多配置上的麻烦。
无论如何,如果亚马逊真的成功将 PyTorch 与英伟达深度解耦,其影响可能远不止于应对芯片竞争对手。正如 Brace 所说:“真正的故事,是消除那种让开发者根本没有真正选择的锁定效应。”












