为苹果公司工作的研究人员和来自哥伦比亚大学的研究人员在10月份悄然推出了开源多模态LLM，这是一个名为"Ferret"的研究版本，可以使用图像区域进行查询。Ferret于10月份在Github上发布，在很大程度上没有引起人们的注意，也没有发布任何公开发布或宣传操作。Ferret的代码于10月30日与Ferret-Bench一起发布，并于12月14日推出了检查点版本。
4S,`bnmB 
if}-_E<F 据VentureBeat报道，虽然一开始没有受到太多关注，但周六的发布对人工智能研究人员来说却成了一件大事。一家人工智能医学非营利组织的运营者巴特-德-维特（Bart De Witte）在X上发布了关于这个"错过的"版本的帖子，称其为"苹果致力于有影响力的人工智能研究的证明"。
(2$(
?-M aki _RG>U' Ferret的开源发布是在非商业许可下进行的，因此它目前的状态无法商业化。不过，它总有可能以某种方式用于未来的苹果产品或服务中。
kV?y0J. anIAM 苹果公司AI/ML研究科学家甘哲在10月份发布的一条推文中解释了Ferret的用途，即它是一个可以在图像中"以任何粒度对任何地方的任何东西进行参照和定位"的系统。它还可以通过使用图像中任何形状的区域来做到这一点。
;ToKJ6hN|* 
S7=Bd[4 简单地说，该模型可以分析图像上绘制的区域，确定其中对用户查询有用的元素，并将其识别出来，在检测到的元素周围绘制一个边界框。然后，它就可以将识别出的元素用作查询的一部分，并以典型的方式作出响应。
8S>&WR%jH] km)zMoE{c{ 例如，高亮显示图像中的动物图片并询问LLM这是什么动物，LLM可以确定该动物的种类，并确定用户所指的是动物群中的某只动物。然后，它还可以利用图像中检测到的其他项目的上下文，提供进一步的回复。
+cIUGF p} 
6Pnk5ps }h 这次发布对研究人员来说非常重要，因为它表明苹果公司希望在人工智能工作上更加开放，而不是像以往那样采取神秘的姿态。
^m?KRm2 RMX:9aQ3F 对于苹果公司来说，基础设施也是一个问题，因为虽然它正在努力增加其拥有的人工智能服务器的数量，但目前可能还没有足够的规模来与ChatGPT等公司进行竞争。虽然苹果可以与其他公司合作来扩展自己的能力，但另一条路就是像它刚刚做的那样，即发布一个开源模型。
JXCCTUO tYZ[6 8 从Github发布的信息中可以发现一个有趣的现象，Reddit的r/Apple发现Ferret是"在8个A100 GPU和80GB内存上进行训练的"。鉴于苹果对NVIDIA GPU支持的历史，这被认为是对GPU生产商的罕见认可。
&$"i,~q^b
微博帐号登录