21點：字节豆包团队推出稀疏模型架构UltraMem：推理成本可降83%

快科技2月13日消息，据报道，字节跳动豆包大模型Foundation团队近日宣布了一项重要创新成果——UltraMem稀疏模型架构。

这一架构通过将计算和参数解耦，在保证模型效果的同时，有效解决了推理过程中的访存问题，为人工智能领域带来了新的突破。

据了解，UltraMem架构巧妙地将计算与参数分离，不仅确保了模型的卓越性能，更针对推理过程中的访存瓶颈提出了革命性解决方案。

这一设计直击要害，有效应对了混合专家（MoE）模型在推理阶段长期遭遇的高访存成本挑战，该挑战以往极大地限制了MoE模型的广泛应用。

得益于其独到的架构设计，UltraMem显著提升了推理速度，相较于传统MoE架构，提升幅度惊人地达到了2至6倍。更令人振奋的是，该架构还实现了推理成本的大幅度削减，最高降幅可达83%。

实验数据彰显了UltraMem架构的强大实力：在训练规模达到2000万value的条件下，UltraMem模型在同等级别的计算资源上，展现了业界顶尖的推理速度和性能表现。这一突破为构建规模达到数十亿value或expert的模型铺平了道路，预示着人工智能领域将迎来更加高效、经济的新发展模式。

文章内容举报