返回上一页  首页 | cnbeta报时: 01:08:18
微软开发出一种可在CPU上运行的超高效AI模型
发布日期:2025-04-17 01:41:59  稿源:cnBeta.COM

微软研究人员声称,他们已经开发出迄今为止规模最大的1比特人工智能模型,也称为“Bitnets”。该模型名为BitNet b1.58 2B4T,在MIT许可下公开可用,可在包括苹果M2在内的CPU上运行。

GonbYmHXUAAkfV_.jpg

Bitnets本质上是设计用于在轻量级硬件上运行的压缩模型。在标准模型中,权重(定义模型内部结构的值)通常会被量化,以便模型在各种机器上都能表现良好。量化权重可以减少表示这些权重所需的位数(计算机能够处理的最小单位),从而使模型能够在内存更少的芯片上更快地运行。

Bitnets 将权重量化为三个值:-1、0 和 1。理论上,这使得它们比当今大多数模型具有更高的内存和计算效率。

微软研究人员表示,BitNet b1.58 2B4T 是第一个拥有 20 亿个参数的比特网络,“参数”在很大程度上与“权重”同义。研究人员声称,BitNet b1.58 2B4T 经过 4 万亿个标记(据估计相当于约 3300 万本书)的数据集训练,其性能优于类似规模的传统模型。

需要明确的是,BitNet b1.58 2B4T 并没有完全击败竞争对手的 20 亿参数模型,但它似乎也拥有自己的优势。根据研究人员的测试,该模型在包括 GSM8K(一组小学数学题)和 PIQA(测试物理常识推理能力)在内的基准测试中,超越了 Meta 的 Llama 3.2 1B、Google的 Gemma 3 1B 和阿里巴巴的 Qwen 2.5 1.5B。

或许更令人印象深刻的是,BitNet b1.58 2B4T 比其他同等大小的模型速度更快——在某些情况下速度是其两倍——同时只使用一小部分内存。

然而,这其中有一个问题。要实现这种性能,需要使用微软的自定义框架 bitnet.cpp,但目前该框架仅适用于特定硬件。GPU 尚未被列入支持的芯片列表,而 GPU 正是 AI 基础设施领域的主导者。

综上所述,Bitnets或许前景光明,尤其对于资源受限的设备而言,但兼容性仍然是一个关键问题,而且很可能仍将如此。

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。
查看网友评论   返回完整版观看

返回上一页  首页 | cnbeta报时: 01:08:18

文字版  标准版  电脑端

© 2003-2025