币界网消息，蚂蚁百灵开源了大模型推测解码方案UBTree。该方案通过并行筛选草稿树，让小模型提前「打草稿」，再由大模型一次验证多个token，从而减少逐个生成所需的计算轮次。UBTree改进了筛选方法，先并行预测后面几个位置可能出现的token，再用轻量级模型判断相邻token能否合理衔接。经过调整，使用dflash 2选择器构树的平均加速比为5.95倍，换成ubtree选择器并调整训练方法后，提高到6.88倍，进一步提升约16%。