微软公布 Copilot 新功能:将支持 GPT-4 Turbo、新 DALL-E 3 模型和 Bing 深度搜索等

12 月 5 日,微软官宣庆祝 Copilot 诞生一周年,同时公布了几项即将推出的新功能。

图片来源:由无界 AI 生成

早在几个月前,微软已将其广泛产品组合中的人工智能辅助功能都纳入了 Copilot,其中包括 GPT-4 模型。随着 OpenAI 在首届开发者大会上发布升级版本,Copilot 也将使用最新的 GPT-4 Turbo 模型生成响应,以使用户能够处理更复杂和更长的任务,例如编写代码等。

微软表示,该模型目前正在对部分用户开放测试,并将在未来几周内广泛集成到 Copilot 中。除此以外,Copilot 还将带来几项重磅更新。


新的 DALL-E 3 模型、多模态搜索基础等


新的 DALL-E 3 模型

除 GPT-4 Turbo 外,Copilot 的文本转图像功能也将升级为新的 DALL-E 3 模型,用户可以根据提示创建质量更高、更准确的图像。经 SlashGear 测试,图像视觉效果得到了显着改善,并且它对提示的理解变得更好。下图为微软展示的一组对比:

对此,你可以通过访问 bing.com/create 或要求 Copilot 创建一个图像来访问此功能。

多模态搜索基础

微软即将推出的另一个有趣的功能是多模态搜索基础,该功能将 GPT-4 功能、视觉、Bing 图像搜索和网页搜索数据相结合,从而提供更好的图像理解能力。

根据展示案例,微软表示,传统的多模态系统只能用普通的方式地描述图像中的内容,但结合搜索基础,用户能够准确识别航天飞机及其发射日期。

代码解释器

正如上文提到的,微软还在开发一个新的代码解释器。使用此功能,用户可以执行复杂的任务,如准确地计算、编码、数据分析、可视化、数学等复杂任务。

据介绍,Copilot 的 Python 环境运行在 Azure 容器应用程序之上的安全沙盒环境中,沙盒预装了许多流行的数据科学工具和库,例如 pandas、numpy、matplotlib、sklearn、flask 等,以解决复杂的问题。

在使用过程中,Copilot 将编写代码来回答用户复杂的自然语言请求,并且允许用户从 Copilot 上传和下载文件,以使用其数据和代码以及 Bing 搜索结果。此项功能微软计划在不久后广泛推出。

视频理解和问答——Edge 中的 Copilot

目前,用户还可以在 Edge 中对正在观看的视频进行总结或提问。如下图所示,如果你正在观看 Satya(微软 CEO)最新的 Ignite 主题演讲视频,你可以要求 Copilot 为你总结。

深度搜索

对于 Bing 搜索而言,该领域最大的升级无疑是深度搜索。简而言之,如果人工智能注定要重新构想网络搜索体验并使其更有价值,那么深度搜索就是答案。

此项功能利用 GPT-4 的强大功能为复杂主题提供优化的搜索结果,它将一个简单的搜索查询分解为多个方向,并为每个方向提供相关答案,以免去后续搜索步骤的麻烦。

那么,深度搜索如何提供帮助?


深度搜索工作原理


根据微软的说法,深度搜索并不是传统网络搜索的替代品。相反,它是一个补充系统,试图提出与用户的初始查询相关的问题,并主动找到答案。

例如,如果你正在搜索“如何在洛杉矶找到好咖啡店”之类的内容,深度搜索将把你的查询分割成一个智能的多步骤旅程,并为你可能会问的其他相关问题找到答案,比如:

  • 洛杉矶的顶级咖啡店
  • 距离你当前位置最近的咖啡店
  • 洛杉矶咖啡店的评论和评分
  • 该地区咖啡店平均消费价格排名
  • 不同咖啡店的营业和休息时间
  • 相关咖啡店的联系方式和菜单

微软表示,深度搜索是关于读取搜索意图的。一旦它概述了与你的主要问题相关的所有预期搜索查询,它就会从资源中列出最佳答案,而当你执行常规 Bing 搜索查询时,就不会出现这些答案。

该公司强调,深度搜索的深度是常规 Bing 搜索的 10 倍,可以分析数千万个网页。这种方法产生的结果不仅比通过标准搜索排名找到的结果更详细,而且也更精确。一旦收集到相关的搜索结果,它就会进行主题匹配,以提供最合适的答案。与此同时,它还会考虑诸如来源的信任和权威、来源材料的新鲜度,以及它是否提供了适当的深度和细节等因素。

深度搜索的工作核心是 OpenAI 的 GPT-4 语言模型。当用户输入单句搜索查询时,AI 模型会利用其生成功能,并通过向其添加多个上下文扩展来扩展搜索查询。理解此行为的最简单方法是,假设如果你的搜索包含“为什么”,深度搜索将以扩展形式向其添加“如何”、“何时”和“何地”的部分。

微软解释道:“深度搜索利用 GPT-4 来查找所有可能的意图,并为每个意图计算出一个全面的描述。”

然而,这充其量只是预测性的上下文感知猜测,甚至微软也承认深度搜索的扩展工作可能会时不时出现问题。为了确保引导用户朝正确的方向前进,并且不会被无用的答案淹没,深度搜索部分将提供一个消歧面板,用户可以为他们的搜索查询选择正确的扩展,而剩余的人工智能生成的搜索上下文将被删除。

这是一个复杂的、多步骤的后台过程。因此,深度搜索结果比常规的 Bing 搜索要花更多的时间来编译和呈现。

微软在博文中指出,根据查询的复杂程度,深度搜索最多可能需要半分钟才能显示结果。但是,用户不会对每一个网络搜索都使用深度搜索,尤其是当你想要一个直接的答案时。因而,可以把深度搜索想象成一个聊天机器人,例如 ChatGPT 或 Bing Chat,但它本质上与互联网搜索有关,并在你提出更多问题之前尝试找到答案。

尝试使用 Bing 的深度搜索

尽管 Copilot 现在已公开可用,但深度搜索在很大程度上仍然是一个实验性功能。因此,微软在推出时采取了谨慎的态度,以确保在更广泛推出之前,所有的问题都在早期阶段得到解决。

目前,该公司指出,深度搜索仅“可供 Bing 全球范围内随机选择的一小部分用户使用”。同时,微软不愿透露在访问深度搜索时是否会优先考虑特定用户或付费用户。但考虑到它很大程度上是一种 Bing 搜索技术,最好的选择是在其他人使用 Edge 浏览器之前访问它。

当它可用时,你将在文本搜索框旁边看到一个新的深度搜索按钮。在此之前,你可以转向微软的网络浏览器,该浏览器目前在屏幕右上角有一个专用的 Copilot:

  • 点击它会打开“Copilot with Bing Chat”窗口,你可以在其中输入查询;
  • 它将以段落形式从网上获取答案,并附有来源引用;
  • 提供答案后,界面会根据你的原始搜索显示一组三个相关的查询。

你可以简单地点击这些预设查询来获得更多相关答案。

那么,在上述 Copilot 的新功能中,你想体验哪个呢?

参考链接:

  • https://blogs.microsoft.com/blog/2023/12/05/celebrating-the-first-year-of-copilot-with-significant-new-innovations/
  • https://blogs.bing.com/search-quality-insights/december-2023/Continued-AI-Innovation-in-Copilot
  • https://blogs.bing.com/search-quality-insights/december-2023/Introducing-Deep-Search
  • https://www.slashgear.com/1463593/how-to-use-bing-gpt-4-deep-search-feature-guide/