Microsoft Copilot Studio使企业能够通过直观的图形界面创建自定义AI助手和虚拟代理。创建完成后,这些助手和代理可以直接在Copilot Studio中进行测试和发布。
A]7<'el=
VZ$=6CavH 今天,微软宣布在Copilot Studio中推出一款名为“计算机使用”的全新研究预览工具。该工具允许Copilot Studio客服人员与任何网站或桌面应用程序进行交互,就像它们本身就是工具一样。客服人员现在可以点击按钮、选择菜单,并在应用程序和网站上的字段中输入信息。全新的“计算机使用”工具使客服人员能够在没有可用API进行编程集成的环境中运行。
W4(v6>5l #O" “计算机使用”基于大型语言模型(LLM),可以自动适应应用程序和网站的变化。据微软称,该工具包含内置推理功能,可以自主解决问题。
Z1M>-[j)
F!JJ6d53y
cB#nsu> 为了确保“计算机使用”工具适用于企业,它在微软托管的基础架构上运行,从而无需组织管理自己的服务器。微软强调,客户数据将保留在微软云边界内,并且不会用于训练大型语言模型。
$(ewk): &-M]xo^ 微软强调了“计算机使用”工具增强机器人流程自动化(RPA)的以下方式:
-_NC%iN#C ;imRh'-V6 它实时响应变化:当按钮或屏幕发生变化时,该工具会继续工作而不会中断您的流程。
h4/X
0@l` -T7xK/ 它易于使用:您可以用自然语言描述您想要的内容,无需编码,并使用计算机使用推理链和计划的UI自动化的实时并排视频来测试和完善提示。
#Z\O}< K%MW6y 它是用智能构建的:代理可以看到屏幕上的内容并实时做出明智的决策,即使在复杂或不断变化的环境中也是如此。
2edBQYWd piOXo=9H. 它具有完整的可见性:制造商可以随意查看计算机使用活动的历史记录,包括捕获的屏幕截图和推理步骤。
Po(]rQbE G/vC~6x 今年年初,OpenAI宣布推出Operator,它采用了计算机使用代理(CUA)模型,将GPT-4o的视觉功能与通过强化学习实现的高级推理能力相结合。微软或许正在利用Operator背后的相同底层技术,为Copilot Studio中的这款全新“计算机使用”工具提供支持。
!Vheq3"q/ T$KF<
= 感兴趣的组织可以填写此表格以获得微软的邀请来试用这个新工具。
Y#FO5O%W