2024年12月,微软推出了Phi-4,它是一种小型语言模型(SLM),在同类产品中具有最先进的性能。今天,微软将通过两个新模型扩展Phi-4系列:Phi-4-multimodal和Phi-4-mini。新的Phi-4多模态模型可同时支持语音、视觉和文本,而Phi-4-mini则专注于基于文本的任务。
W*WSjuFr2 BenUyv1d Phi-4-multimodal是一个5.6B参数模型,也是微软首个多模态语言模型,它将语音、视觉和文本处理集成到一个统一的架构中。如下表所示,与Google的Gemini 2.0 Flash和Gemini 2.0 Flash Lite等其他现有最先进的全方位模型相比,Phi-4-multimodal在多个基准测试中取得了更好的性能。
]w/%>
g;-6Hg' 在语音相关任务中,Phi-4-multimodal在自动语音识别(ASR)和语音翻译(ST)方面的表现均优于WhisperV3和SeamlessM4T-v2-Large等专业语音模型,该模型以6.14%的惊人单词错误率在Hugging Face OpenASR排行榜上名列前茅。
phP%
XGcl9FaO} 在视觉相关任务中,Phi-4-multimodal在数学和科学推理方面表现出色。在常见的多模态能力(如文档和图表理解、OCR和视觉科学推理)方面,这种新模型可与
LXq0hI L43]0k Gemini-2-Flash-lite-preview和Claude-3.5-Sonnet等流行模型相媲美,甚至超过它们。
6}JW- sA ZOzwO6(_ Phi-4-mini是一个3.8B参数模型,在基于文本的任务(包括推理、数学、编码、指令遵循和函数调用)中,其性能优于几种流行的大型LLM。
4NDT5sL *wl&Zzx 为了确保这些新模型的安全性,微软与内部和外部安全专家一起进行了测试、采用Microsoft AI红队(AIRT)制定的策略。Phi-4-mini和Phi-4-multimodal型号在使用ONNX Runtime进行进一步优化以实现跨平台可用性后,均可在设备上部署,从而使其适用于低成本、低延迟的应用场景。
)\m%&EXG{ Aq,&p,m03 现在,Phi-4-multimodal和Phi-4-mini模型均可在Azure AI Foundry、Hugging Face和NVIDIA API Catalog中供开发人员使用。开发人员可查阅技术文件,了解推荐模型的用途及其限制。
*5z"Xy3J :Oh*Q(> 这些新的Phi-4模型代表了高效人工智能的重大进步,为各种人工智能应用带来了强大的多模态和基于文本的功能。
t2hI^J0y