腾讯混元-A13B上线,1张中低端GPU卡即可部署

摘要:

6月27日,腾讯公开发布混元大模型家族迎来新成员——混元-A13B模型,并宣布全面开源。据官方消息称,混元-A13B模型极端条件下仅需1张中低端GPU卡即可部署。


在数学推理的实验中,模型准确完成小数比较,并展现分步解析能力,深度思考用时3秒。

混元-A13B模型在技术上也做出了创新。在预训练中,模型用了20万亿高质量网络词元语料库,并完善了MoE 架构的 Scaling Law (即规模定律)理论体系,为 MoE 架构设计提供了可量化的工程化指导。

混元还开源了两个新数据集,以填补行业内相关评估标准的空白。其中,ArtifactsBench主要用于代码评估,构建了一个包含 1825个任务的新基准;C3-Bench针对Agent场景模型评估,设计了1024条测试数据,以发现模型能力的不足。


目前模型API已在腾讯云官网上线。

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。
查看评论
created by ceallan