[业界新闻]微软开发出一种可在CPU上运行的超高效AI模型 [复制链接]

　　微软研究人员声称，他们已经开发出迄今为止规模最大的1比特人工智能模型，也称为“Bitnets”。该模型名为BitNet b1.58 2B4T，在MIT许可下公开可用，可在包括苹果M2在内的CPU上运行。 VFv9Q2/.  

图片:QQ截图20250417111351.png

Dv&>*0B  
　　Bitnets本质上是设计用于在轻量级硬件上运行的压缩模型。在标准模型中，权重（定义模型内部结构的值）通常会被量化，以便模型在各种机器上都能表现良好。量化权重可以减少表示这些权重所需的位数（计算机能够处理的最小单位），从而使模型能够在内存更少的芯片上更快地运行。 F4Zn5&.)  
b~7Jh:%@;  
　　Bitnets将权重量化为三个值：-1、0和1。理论上，这使得它们比当今大多数模型具有更高的内存和计算效率。 dUS ZNY  
#(C/Cx54  
　　微软研究人员表示，BitNet b1.58 2B4T是第一个拥有20亿个参数的比特网络，“参数”在很大程度上与“权重”同义。研究人员声称，BitNet b1.58 2B4T经过4万亿个标记（据估计相当于约3300万本书）的数据集训练，其性能优于类似规模的传统模型。 \PpXL*.  
?d$"[lKX  
　　需要明确的是，BitNet b1.58 2B4T并没有完全击败竞争对手的20亿参数模型，但它似乎也拥有自己的优势。根据研究人员的测试，该模型在包括GSM8K（一组小学数学题）和PIQA（测试物理常识推理能力）在内的基准测试中，超越了Meta的Llama 3.2 1B、Google的Gemma 3 1B和阿里巴巴的Qwen 2.5 1.5B。 z3a-+NjDm  
4qhWm"&CM  
　　或许更令人印象深刻的是，BitNet b1.58 2B4T比其他同等大小的模型速度更快——在某些情况下速度是其两倍——同时只使用一小部分内存。 ?GdsOg^  
$X*mdji  
　　然而，这其中有一个问题。要实现这种性能，需要使用微软的自定义框架bitnet.cpp，但目前该框架仅适用于特定硬件。GPU尚未被列入支持的芯片列表，而GPU正是AI基础设施领域的主导者。 AoYaVlKG8  
$I@GUtzjp  
　　综上所述，Bitnets或许前景光明，尤其对于资源受限的设备而言，但兼容性仍然是一个关键问题，而且很可能仍将如此。 +t98@  

微软创新AI模型，高效运行于CPU，技术突破值得期待！