为苹果公司工作的研究人员和来自哥伦比亚大学的研究人员在10月份悄然推出了开源多模态LLM，这是一个名为"Ferret"的研究版本，可以使用图像区域进行查询。Ferret于10月份在Github上发布，在很大程度上没有引起人们的注意，也没有发布任何公开发布或宣传操作。Ferret的代码于10月30日与Ferret-Bench一起发布，并于12月14日推出了检查点版本。
8|2I/#F}] 
G5Z_[Q ~z 据VentureBeat报道，虽然一开始没有受到太多关注，但周六的发布对人工智能研究人员来说却成了一件大事。一家人工智能医学非营利组织的运营者巴特-德-维特（Bart De Witte）在X上发布了关于这个"错过的"版本的帖子，称其为"苹果致力于有影响力的人工智能研究的证明"。
y%Wbm&h <8sy*A?0z Ferret的开源发布是在非商业许可下进行的，因此它目前的状态无法商业化。不过，它总有可能以某种方式用于未来的苹果产品或服务中。
( i)Ed9~F" WoSJp5By$ 苹果公司AI/ML研究科学家甘哲在10月份发布的一条推文中解释了Ferret的用途，即它是一个可以在图像中"以任何粒度对任何地方的任何东西进行参照和定位"的系统。它还可以通过使用图像中任何形状的区域来做到这一点。
R
F#>^S9Gml 简单地说，该模型可以分析图像上绘制的区域，确定其中对用户查询有用的元素，并将其识别出来，在检测到的元素周围绘制一个边界框。然后，它就可以将识别出的元素用作查询的一部分，并以典型的方式作出响应。
=JDa[_lpN O8< @+xlX 例如，高亮显示图像中的动物图片并询问LLM这是什么动物，LLM可以确定该动物的种类，并确定用户所指的是动物群中的某只动物。然后，它还可以利用图像中检测到的其他项目的上下文，提供进一步的回复。
N1l&$#Fr!s 
$g @-WNe 这次发布对研究人员来说非常重要，因为它表明苹果公司希望在人工智能工作上更加开放，而不是像以往那样采取神秘的姿态。
A1kqWhg\ jHx)q|2\ 对于苹果公司来说，基础设施也是一个问题，因为虽然它正在努力增加其拥有的人工智能服务器的数量，但目前可能还没有足够的规模来与ChatGPT等公司进行竞争。虽然苹果可以与其他公司合作来扩展自己的能力，但另一条路就是像它刚刚做的那样，即发布一个开源模型。
Y)KO*40c )an,-EIX% 从Github发布的信息中可以发现一个有趣的现象，Reddit的r/Apple发现Ferret是"在8个A100 GPU和80GB内存上进行训练的"。鉴于苹果对NVIDIA GPU支持的历史，这被认为是对GPU生产商的罕见认可。
g|
M@/D l
微博帐号登录