英伟达9月23日发布博文,宣布推出Llama-3.1-Nemotron-51B AI模型,源自Meta公司的Llama-3.1-70B,不过创新使用神经架构搜索(NAS)方法,建立了一个高度准确和高效的模型。
A8ViJ Ee5YW/9] Llama-3.1-Nemotron-51B简介
)EMlGM'2q d/GSG%zB Llama-3.1-Nemotron-51B AI模型将于Meta公司2024年7月发布的Llama-3.1-70B模型,共有510亿参数。
XY)X-K$ Xg.Lo2s 该AI模型主要采用了神经架构搜索(NAS)技术微调,平衡性能和效率,在高工作负荷下,只需要一片H100 GPU即可运行,大大降低了内存消耗、计算复杂性以及与运行此类大型模型相关的成本。
+PPQ"#1pS o4: e1 英伟达认为这种方式在保持了出色的精度前提下,显著降低了内存占用、内存带宽和FLOPs,并证明可以在创建另一个更小、更快的变体来加以推广。
|i
B# \<I&utn Llama-3.1-Nemotron-51B性能
GX23c
i
[<r.M<3 相比较Meta的Llama-3.1-70B模型,Llama-3.1-Nemotron-51B在保持了几乎相同的精度情况下,推理速度提高了2.2倍。
bD)"Jy q1HJ_y 效率和性能方面的突破
R|@~<