币界网消息，腾讯混元Hy4重做底层，采用了DeepSeek稀疏注意力和智谱IndexCache的结合。这次重做不仅将模型规模扩大，还对底层架构进行了重大改进。Hy4使用了门控稀疏注意力（gated DSA），在处理超长文本时，模型不再重复计算所有内容，而是优先处理最相关的部分。此外，Hy4还引入了IndexCache，部分层可以复用之前挑选的重要内容，减少重复计算。腾讯表示，这一设计受到DeepSeek和GLM的启发。Hy4的残差结构也有所变化，采用了IH结构，扩展为四条信息主干，以便在深层网络中保留更多信息。MOE专家数量从Hy3的192个增加到256个路由专家和1个共享专家，每个token选择8个路由专家，同时经过共享专家。