论坛风格切换
 
  • 帖子
  • 日志
  • 用户
  • 版块
  • 群组
帖子
购买邀请后未收到邀请联系sdbeta@qq.com
  • 23阅读
  • 1回复

[业界新闻]微软拥抱 DeepSeek,Copilot+ PC 本地运行 7B 和 14B 模型 [复制链接]

上一主题 下一主题
 

发帖
7775
今日发帖
最后登录
2025-03-06
只看楼主 倒序阅读 使用道具 楼主  发表于: 2025-03-04 13:40:23
  微软今日宣布,通过Azure AI Foundry接入DeepSeek-R1 7B和14B蒸馏模型,为Copilot+PC提供本地运行7B和14B模型的能力。 I0!]J{  
m(0X_& &?z  
  早在今年1月,微软就宣布计划将DeepSeek-R1模型的NPU优化版本直接带到搭载高通骁龙X处理器的Copilot+PC上。如今,这个承诺终于兑现。 i4nFjz  
vo%"(!  
  从微软官方博客获悉,模型将从搭载高通骁龙X处理器的Copilot+PC开始上线,随后是英特尔酷睿Ultra 200V和AMD锐龙的设备。 d[XMQX  
DJAKF  
  由于模型运行在NPU上,因此可以减少对PC电池续航和散热性能影响的同时,持续获得AI计算能力,CPU和GPU将可用于执行其他任务。 =%c\<<]aV  
.t/@d(R  
  微软强调,它使用了Aqua内部自动量化工具,将所有DeepSeek模型变体量化为int4权重。不幸的是,模型标记速度相当低。微软报告称,14B模型的标记速度仅为8 tok/秒,而1.5B模型的标记速度接近40 tok/秒。微软提到,该公司正在进一步优化提高速度。 q alrG2  
/ :6|)AW.{  
  开发者可以通过AI Toolkit VS Code扩展在Copilot+PC上下载和运行DeepSeek模型的1.5B、7B和14B版本。 f8`dJ5i  
离线卢一只

发帖
1994
今日发帖
最后登录
2025-03-05
只看该作者 沙发  发表于: 2025-03-04 17:51:58
微软整合DeepSeek,本地运行大型模型,AI能力提升!