要点：

• 为嵌入式应用匹配合适的AI模型，第一步是明确用途，包括目标设备功能和产品特性。
• 设计者通常会组合使用多种压缩技术，而不是只用一种方法。常见策略包括量化、蒸馏和剪枝。
• 小型语言模型（SLM）和紧凑型边缘模型需要紧密的系统级集成，才能实现最佳效率。

如今的AI行业面临两种截然不同的挑战。一边是庞大的AI数据中心和AI工厂，它们正在寻找更高效的方法来处理高参数的大语言模型（LLM），其中带宽和内存是关键瓶颈。另一边则是运行在边缘设备上的小型AI模型，这些设备没有足够的面积、功耗或内存来承载复杂、参数更多的LLM。

Imagination Technologies首席技术官Ed Plowman表示：“这引发了一场淘金热，人们筹集巨额资金去建设超大规模数据中心，但也推动了边缘侧的创新。人们正试图弄清楚如何把整整一集装箱的液体塞进一个很小的杯子里，而这背后的驱动因素是，当前计算资源并不是主要问题，带宽才是。这就是为什么RAM变得如此昂贵。这又促使一大批研究人员去寻找关键问题是什么，以及我们能做些什么。由此催生了围绕量化的创新——同时减少激活值和权重——以便让模型更小，同时仍保持模型的输出能力。”

AI模型有各种形态和大小，以适配从耳机、手机、家电到工业物联网、机器人和汽车系统等广泛的边缘设备。设计者需要选择参数数量合适的模型，因为模型过大可能会拖慢设备，甚至导致过热。反过来，如果模型太小，产品可能又不够智能。

为嵌入式应用匹配AI模型的第一步，是定义它的用途。Plowman说：“你必须从模型要做什么这个角度出发，但我们也可以用一百万零一种方法让它变小。量化和自压缩都非常有效。蒸馏也是一种方法，而且它在Transformer上的效果通常比在传统卷积神经网络（CNN）上更好。所有这些方法正在结合起来，让‘更大更强GPU’的淘金热不再那么盛行。嵌入式系统中的赋能，以及让相当智能的模型能够在真正的嵌入式平台上运行，这件事正变得越来越现实。”

图1：AI模型常见压缩方式

模型大小必须与系统一起考虑。Imagimob（英飞凌科技旗下公司）首席技术官兼首席产品官Magnus Gedda表示：“困难之处在于，既要设计出足够复杂、能够解决问题的模型，又要让它足够小，能够装进设备里。除此之外，模型通常还要与应用的其他部分共享内存和算力，所以可用资源比规格表上看起来更少。剪枝和量化等优化技术可以缩小模型，但它们通常是在设计之后、往往也是训练之后才应用，而且会损失一些精度。你需要从一开始就选择合适大小的初始架构，这样优化后的版本仍能装进设备，并满足性能目标。让这三件事对齐——问题匹配、尺寸合适、优化后的精度——是大多数工作量所在。”

其他人也认为，系统级效率是核心挑战。Rambus杰出发明家兼研究员Steve Woo表示：“边缘AI正在推动一种转变，即从‘最大模型获胜’转向‘每瓦体验’。压缩、剪枝和低精度算术等技术有助于缩小模型，使其适配本地资源，但部署仍然困难，因为内存容量和带宽往往是限制因素。把模型放到设备上只是开始。如何在严格的功耗和延迟预算内高效运行，才是工程挑战真正开始的地方。”

如果选错AI模型，部署后可能会带来额外工作，或者导致产品表现不佳。Gedda说：“一旦你有了优化后的模型，部署其实并不难。模型会被转换成C代码，为目标平台编译，然后刷写到设备上。真正的挑战在于充分发挥硬件潜力，让推理既节能又低延迟。边缘硬件种类极其繁多——MCU、加速器、NPU、DSP——而且标准还不够完善。因此，如果没有合适的工具，你最终要么得到一个通用但低效的部署，要么为每个目标平台做大量手工工作。”

这些部署约束使得模型选择成为一项与具体应用高度相关的工作。合适的架构取决于设备必须执行的功能，以及它需要支持的工作负载。

Cadence芯粒产品营销高级总监Mick Posner在最近的一篇博客中指出：“物理AI的右尺寸化推理至关重要。智能物理系统并不存在一种放之四海而皆准的计算配置。有些工作负载需要始终在线、低功耗推理；另一些则需要跨摄像头、雷达、激光雷达、音频、环境传感器和系统状态数据进行更高性能的多模态处理。”

每一项硬件功能和终端设备特性都需要被考虑和定义。西门子EDA的EDA AI产品负责人Sathish Balasubramanian表示：“为边缘AI匹配合适模型的最佳技术之一，是能够对功能进行分类，这样你就不需要一个大模型。一个40亿参数的模型放在传感器上已经很大了，尽管我们现在在云端谈的是1万亿参数。把这个模型压缩到10亿参数以下，并部署到每个传感器里，是可行的。我们需要定义最高优先级、必须具备的功能，并在SLM（小型语言模型）中把它训练好。它甚至可以是一个ML（机器学习）模型或神经网络模型，不一定非得是LLM。”

在定义好必须具备的功能后，设计者就可以开始构建AI核心，然后逐步加入更多功能，包括必须具备、关键或锦上添花的功能。

Balasubramanian说：“从架构角度看，我看到人们通常会定义这三类功能，以及它们如何承载智能。一旦你确定了这些类别，必须具备的功能就应该尽可能靠近传感器。你不能把所有东西都设为必须具备。你真的需要优先排序，并以一种让系统能够在自包含的传感器闭环中运行的方式来设计它，这意味着本地计算、本地内存需求，有时甚至还要有本地备份环境。一切都被切分开了。你还需要至少有一两个小时的功率裕量，这样设备才不会降速或关机。”

在汽车领域，企业正越来越多地将AI模型用于特定任务和功能，不过该行业在很大程度上仍在使用三四年前的CNN。Plowman指出：“他们还没有完全转向Transformer，也没有采用最新的压缩技术。但某些外部机构已经推出了图像分割和目标识别系统，这些系统使用的是Transformer。”

对于负责优化这些模型的IP供应商来说，一个挑战是，他们可能看不到客户实际使用的模型。Plowman说：“汽车厂商会训练自己的模型，而且出于安全、保密和专有IP的原因，他们对这些模型非常保密。我们看不到它们。我们会得到很多关于它们外观的代理信息，或者他们希望我们加速的代理功能，但我们很少能拿到整个模型来研究。”

图2：边缘AI和物理AI的IP模块。来源：Synopsys

在做右尺寸化时，每个IP模块都需要与模型大小一起权衡。Synopsys产品管理高级总监Licinio Sousa表示：“为边缘设备右尺寸化模型是一个系统问题，而不是单点优化。量化等技术有助于让模型装得下，但实时延迟、功耗、成本和功能安全都必须一起平衡。随着AI模型演进速度快于芯片开发周期，系统还需要足够的灵活性，不仅支持今天的工作负载，也要支持下一代模型。”

当模型与系统架构对齐后，设计者必须确定哪些压缩技术能够在不牺牲关键精度或性能的前提下满足这些约束。

各种压缩技术的挑战

设计者通常会使用多种压缩技术来为模型右尺寸化，每种方法都有优缺点。

例如，蒸馏可以大幅缩小模型，但也可能带来更多损失。Plowman说：“你会去审视模型，找出哪些部分被激活。你会做类似的工作，把一些东西裁掉，但师生模型总会有损失。学生模型试图从大模型中提炼出教师模型知道的核心内容。这就是为什么它可能带来更多固有损失，但你会保留更多推理能力。它能大幅缩小模型尺寸，但如果不进一步做量化，你能走的路也有限。”

量化会让模型以一种更迂回的方式到达目标，而不是直线前进。Plowman说：“当把输入施加到网络时，会有一个起点。然后，根据你给它的数值，你需要导航到一个终点。每经过一层，你都在把变换朝着稍微不同的方向推动。使用FP32或FP16这类全精度值时，你会更直接地到达某个点。”

全精度值像直线飞行，而量化更像城市街区式导航。Plowman说：“我们向上走一步，向右走一步，再向上走一步，再向右走一步，但最终你会到达完全相同的位置。量化的诀窍在于，让这些更小、更折角的步伐表达出与直接导航相同的含义，同时避免相关数学运算带来的功耗、内存和其他成本。它一开始会拿到模型中的所有权重，然后把它们装入与量化相匹配的桶中。量化有很多很多不同的方法。这是一种非常粗暴的做法。”

更温和的方法是自压缩。Plowman解释说：“自压缩技术意识到，在模型训练过程中，某些路径会非常热门，而另一些则不那么热门。你永远不知道这种维度形状最终会是什么样。每次重新训练时它都是随机的。你可以操控这个空间，让某些你想要的形状每次都能重现，或者至少接近它们，但其中存在随机性。你会得到一些路径，它们成为系统其余部分的支架，但这些路径最终并不重要。我们会寻找这些路径的敏感性，然后把它们量化、再量化，直到变成零比特。如果模型没有任何变化，而你仍然得到相同结果，那么这些路径的贡献很可能非常小，甚至可以忽略不计。”

图3：量化后的Transformer架构。来源：Imagination

对于量化和自压缩来说，复杂性在于如何管理损失。Plowman指出：“你需要确保没有丢掉真正需要的东西，并且在训练集里有足够好的数据覆盖来支持量化流程。”

归根结底，成功的边缘AI部署始于定义工作负载并选择合适大小的架构，而不是简单地缩小现成的最大模型。压缩可以帮助弥合剩余差距，但其价值取决于能否在满足设备功耗、内存、延迟、成本和安全要求的同时保留精度。随着模型和硬件以不同速度演进，灵活的系统设计将成为支持当前应用和未来工作负载的关键。

参考资料

• 《结构化与非结构化剪枝：指数级差距》（蔚蓝海岸大学、伦敦国王学院）
• 《自压缩神经网络》（Imagination Technologies）

Can Edge AI Keep Up? 随着模型演进速度快于芯片周期，专家们在权衡架构师能在多大程度上保持适应性，而不牺牲功耗、面积或效率。

Liz Allan