今年1月,微软宣布计划将NPU优化版本的DeepSeek-R1模型直接引入采用高通骁龙X处理器的Copilot+PC。今年2月,
^xmZ|f- tw]/,>\G DeepSeek-R1-Distill-Qwen-1.5B首次在AIToolkit for VSCode中发布。今天,微软宣布通过Azure AI Foundry为Copilot+PC提供DeepSeek R1 7B和14B精馏模型。
oq243\?Y B0S8vU 在Copilot+PC上本地运行7B和14B模型的能力将使开发人员能够构建以前无法实现的新型人工智能驱动的应用。
IF& PGo m^5s>hUl 由于这些模型在NPU上运行,用户可以期待持续的人工智能计算能力,同时减少对PC电池寿命和散热性能的影响。此外,他们的CPU和GPU还可用于执行其他任务。
2h5tBEOX.s M,ppCHy/$ 微软指出,它使用内部自动量化工具Aqua将所有DeepSeek模型变体量化为int4权重。遗憾的是,模型标记速度相当低。微软报告14B模型的标记速度仅为8 tok/秒,1.5B模型接近40 tok/秒。团队正在进行进一步优化以提高速度。随着性能的优化,这些模型对Copilot+PC的影响预计将显著增加。
}]tFz}E\ :mzCeX8 * 感兴趣的开发人员可以通过AI工具包VS代码扩展,在Copilot+PC上下载并运行1.5B、7B和14B版本的DeepSeek模型。DeepSeek模型以ONNX QDQ格式进行了优化,可直接从Azure AI Foundry下载。这些模型未来还将应用于采用英特尔酷睿Ultra 200V和AMD Ryzen处理器的Copilot+PC。
5a8JVDLX^ xp~YIeSg 微软的这一举措标志着微软正在推动更强大的设备上人工智能功能,为人工智能驱动的应用开辟新的可能性。
p EY>A_F
HUK"OH