论坛风格切换
 
  • 帖子
  • 日志
  • 用户
  • 版块
  • 群组
帖子
购买邀请后未收到邀请联系sdbeta@qq.com
  • 104阅读
  • 1回复

[业界新闻]微软开发出一种可在CPU上运行的超高效AI模型 [复制链接]

上一主题 下一主题
 

发帖
8323
今日发帖
最后登录
2025-04-30
只看楼主 倒序阅读 使用道具 楼主  发表于: 2025-04-17 11:01:46
  微软研究人员声称,他们已经开发出迄今为止规模最大的1比特人工智能模型,也称为“Bitnets”。该模型名为BitNet b1.58 2B4T,在MIT许可下公开可用,可在包括苹果M2在内的CPU上运行。 O@ F0UM`!  
1~zzQ:jAZ  
  Bitnets本质上是设计用于在轻量级硬件上运行的压缩模型。在标准模型中,权重(定义模型内部结构的值)通常会被量化,以便模型在各种机器上都能表现良好。量化权重可以减少表示这些权重所需的位数(计算机能够处理的最小单位),从而使模型能够在内存更少的芯片上更快地运行。 64fa0j~<*M  
O&RW[ml*3  
  Bitnets将权重量化为三个值:-1、0和1。理论上,这使得它们比当今大多数模型具有更高的内存和计算效率。 !D!~4h)  
%iPWg  
  微软研究人员表示,BitNet b1.58 2B4T是第一个拥有20亿个参数的比特网络,“参数”在很大程度上与“权重”同义。研究人员声称,BitNet b1.58 2B4T经过4万亿个标记(据估计相当于约3300万本书)的数据集训练,其性能优于类似规模的传统模型。  iVu  
?\"GT]5D  
  需要明确的是,BitNet b1.58 2B4T并没有完全击败竞争对手的20亿参数模型,但它似乎也拥有自己的优势。根据研究人员的测试,该模型在包括GSM8K(一组小学数学题)和PIQA(测试物理常识推理能力)在内的基准测试中,超越了Meta的Llama 3.2 1B、Google的Gemma 3 1B和阿里巴巴的Qwen 2.5 1.5B。 >B!E 6ah  
? %XTD39  
  或许更令人印象深刻的是,BitNet b1.58 2B4T比其他同等大小的模型速度更快——在某些情况下速度是其两倍——同时只使用一小部分内存。 .!e):&(8  
MHeUh[%(  
  然而,这其中有一个问题。要实现这种性能,需要使用微软的自定义框架bitnet.cpp,但目前该框架仅适用于特定硬件。GPU尚未被列入支持的芯片列表,而GPU正是AI基础设施领域的主导者。 WYSqnmi  
@.0>gmY;:  
  综上所述,Bitnets或许前景光明,尤其对于资源受限的设备而言,但兼容性仍然是一个关键问题,而且很可能仍将如此。 q^; SZ^yW5  
离线卢一只

发帖
2263
今日发帖
最后登录
2025-04-30
只看该作者 沙发  发表于: 2025-04-17 17:49:24
微软创新AI模型,高效运行于CPU,技术突破值得期待!