苹果史上最疯狂发布会：颠覆性个人智能系统 彻底改革Siri

admin

苹果史上最疯狂发布会：颠覆性个人智能系统 彻底改革Siri文章来源: InfoQ 于 2024-06-10 13:47:39 - 新闻取自各大新闻媒体，新闻内容并不代表本网立场！

作者｜Tina、冬梅

北京时间 6 月 11 日凌晨 1 点，苹果 2024 年全球开发者大会（WWDC）正式开幕，这是一场面向开发者的大会。自 1983 年首届大会举办以来，苹果全球开发者大会一直是苹果与开发者社区沟通的重要平台。许多重磅产品和系统更新都选择在这一盛会上首次亮相，例如 iOS、macOS、watchOS 等操作系统的更新，以及 Siri、Apple Pay 等创新服务的发布

在过去的几个月里，几乎所有其他大型科技公司都全力投入到 AI 竞赛中，微软已经向 OpenAI 及其 ChatGPT 产品投入了 100 亿美元。谷歌通过推出 Gemini 来捍卫其在搜索领域的主导地位。亚马逊向人工智能初创公司 Anthropic 注资 40 亿美元。但作为全球最大、最成熟的科技公司之一，苹果在生成式人工智能领域一直按兵不动。

在苹果公司 5 月初 的最新财报电话会议上，首席执行官 Tim Cook 表示：“我们认为生成式人工智能 (Generative AI) 对我们的所有产品来说都是一个关键机遇，并且相信我们在这方面拥有独特的优势。” 他同时提到公司将在“未来几周内”宣布相关消息。所以大家也非常希望苹果能在 WWDC 上打出第一张牌。

苹果官宣一系列重大更新，聚焦操作系统

如今，苹果也终于不负众望，开始通过发布一系列重大的人工智能升级计划阐述他们的人工智能愿景。在今天的主题演讲中，库克首先介绍了苹果的各种操作系统的更新visionOS 2，用手势就能翻照片

苹果首先介绍了 Vision Pro 的更新，如今 Vision Pro 有超过 2,000 个原生 App 以及 150 万个兼容的 iPhone 和 iPad 应用程序。

今天苹果正式发布了 vision OS 2 。vision OS2 有个很厉害的功能，可以让你将 2D 图像转换为 3D 空间照片，并可以通过 SharePlay 与其他 Vision Pro 用户分享这些照片。



vision OS 2 还带来了一些新的功能，比如新的 UI 集成：该操作系统更新了手势控制选项，现在你可以张开手并点击以进入主屏幕，或转动手腕以查看时间和电池电量


visionOS 2 引入了新的 frameworks 和 APIs，使开发者更容易创建空间应用程序。通过 Tabletopkit，开发者可以制作在平面上运行的应用程序，同时还新增了 volumetric 和 enterprise APIs。

苹果介绍他们正与 Blackmagic Design 合作，利用 Blackmagic 相机改进苹果沉浸式视频内容。这个创建空间内容的新方法，是 Vision Pro 的一个关键卖点。

Vision Pro 将于 6 月 28 日登陆中国、日本和新加坡，并于 7 月 12 日登陆澳大利亚、加拿大、法国、德国和英国。



iOS 18 来了，更加注重用户隐私和定制化

接下来，苹果发布了 iOS 18 系统，这一次，苹果更加注重定制化。苹果设备的主屏幕看起来比以往更符合用户自己的风格。用户能够更改应用程序图标的颜色，当启用暗模式时，图标可以自动获得不同的外观。应用程序也不再需要锁定在固定的网格中。



此外，苹果也更加关注隐私问题。用户现在可以锁定单个应用程序。即使有人可以访问你的手机，你也可以锁定单个应用程序，这样他们就需要再次解锁才能访问该应用程序或其中包含的数据。此外，该应用不会在手机上共享数据，例如在搜索结果中。苹果还提供了一个隐藏的应用文件夹，用户可以单独锁定它。

这些很多年前就存在于 Android 系统中的功能如今终于在 iOS 18 系统上实现了。

iPadOS 18 再升级

在备受瞩目的新品发布会上，苹果发布了备受期待的 iPadOS 18 操作系统。此次更新带来了全新设计和诸多实用功能，将进一步提升 iPad 的使用体验。

苹果公司全球营销高级副总裁 Greg Joswiak 介绍了 iPadOS 18 和全新的设计以及新的 Pencil 功能。

其中最值得关注的是数学备忘录功能，配合新发布的 Apple Pencil，就算书写很“狂草”，苹果也能识别出来。同时 iPadOS 18 会先分析你的书写风格，然后智能脚本将通过理顺书写方式“随时改进你的书写”。通过这些改进，该功能允许你使用 Apple Pencil 在屏幕上书写数学表达式和公式，并自动将其转换为数字结果。



对于数学爱好者来说，iPadOS 18 中的数学备忘录功能将是一个巨大的惊喜。此外，数学备忘录还支持手写图形识别，可以根据您的草图进行计算。

iPadOS 18 的发布让这场发布会迎来了一个小高潮，因为 iPad 刚刚获得了有史以来最强大的 Apple 芯片，即 iPad Pro 上的 Apple M4 芯片组。



Apple 还提供了一种更简单的 iPad 对 iPand 的交互方式，这种方式允许用户能够在共享的 iPad 屏幕上绘图，甚至可以控制其他人的 iPad。

发布 MacOS Sequoia，加入 iPhone 镜像功能和新密码应用

值得注意的是没，苹果也对 MacOS 进行了一些值得关注的升级。最新版本名为 MacOS Sequoia。其中最大的一项就是  iPhone 镜像。现在，通过 MacOS 的 Continuity 功能，用户可以镜像  iPhone 的屏幕，并直接从 Mac 控制它。

可以镜像显示的内容包括图标、主屏幕、应用程序等。任何应用程序都可以直接从 Mac 打开，用户的 ‌iPhone‌ 音频甚至可以传到 Mac。与此同时 ‌iPhone‌ 可以保持锁定状态，因此其他人无法访问它。用户甚至可以将项目和文件从 Mac 无缝拖放到 ‌iPhone‌。



‌macOS 15‌ 还将 ‌iPhone‌ 通知引入 Mac，这些通知会与 Mac 通知一起显示。此外，macOS 现在会自动调整窗口大小以平铺并填满屏幕，从而最大限度地利用屏幕空间。

‌macOS 15‌ 还包含一个新的专用密码应用程序，可让用户管理 Wi-Fi 密码、应用程序和网站密码、验证码等。密码可跨设备同步，macOS 使用自动填充功能在密码应用程序中填充密码。得益于 iCloud for Windows 应用程序，密码应用程序也可在 Windows 上使用。

苹果的一大步：大模型加持！

苹果在介绍完一系列操作系统之后，终于来到了今天的重头戏阶段：该公司宣布将深度集成人工智能到其应用程序和功能中，并将其命名为“Apple Intelligence”。该款个人智能系统将应用于新版本的 iPhone、iPad 和 Mac 操作系统。



苹果称这是他们的“一大步”，是一段“新的旅程”！苹果表示，这项技术将为新工具提供动力，包括可以生成文本和图像的工具，以及能够在其一系列应用程序中检索和分析信息的工具。



“我们很高兴开启 Apple 创新的新篇章。Apple Intelligence 将改变用户使用我们产品的方式，以及我们的产品能为用户做些什么，”苹果公司首席执行官 Tim Cook 表示。“我们独特的方法将生成式 AI 与用户的个人背景相结合，提供真正有用的信息。它可以以完全私密和安全的方式访问这些信息，帮助用户做对他们来说最重要的事情。这是只有苹果才能提供的 AI，我们迫不及待地想让用户体验它的功能。”



它的一些功能如下：

上下文驱动的通知：Apple Intelligence 可以识别哪些通知对你的个人上下文很重要；

写作改进：Apple Intelligence 将在第三方和原生应用程序中引入系统范围的校对和风格改进，借助 iOS 18、iPadOS 18 和 macOS Sequoia 内置的全新全系统写作工具，用户几乎可以在任何写作的地方重写、校对和总结文本，包括邮件、备忘录、Pages 和第三方应用；



图片生成：Apple Intelligence 可以根据你的照片库生成照片，类似于其他一些平台。有三种风格：素描、插画和动画。

跨应用程序任务处理：Apple Intelligence 可以深入研究用户的应用程序并代表用户执行任务。

关注个人背景：Apple Intelligence 可以利用关注用户的全部活动，也可以只关注屏幕上的内容。例如在 Mail 中，随时查看电子邮件从未如此简单。通过优先消息功能，收件箱顶部的新部分会显示最紧急的电子邮件，例如当天的晚餐邀请或登机牌。在收件箱中，用户无需打开邮件即可查看摘要，而不必预览每封电子邮件的前几行。对于长邮件，用户只需轻点一下即可查看相关详细信息。智能回复功能会提供快速回复建议，并会识别电子邮件中的问题以确保所有问题都得到解答。



再比如在 Notes 和电话应用中，用户现在可以录制、转录和总结音频。通话期间开始录音时，参与者会自动收到通知，通话结束后，Apple Intelligence 会生成摘要以帮助回忆关键点。



私有云计算：Apple Intelligence 将使用 Apple Silicon 的特殊服务器上的基于云的模型来确保用户数据的私密性和安全性。如果请求需要发送到云服务器，苹果表示它只会以“加密”安全的方式发送有限的数据。

让人惊喜的是，苹果还推出了一款名为 genmoji 的全新自定义表情符号工具。当用户找不到合适的表情符号来表达自己想要表达的意思时，他们可以使用苹果的人工智能创建自己的表情符号。用户还可以创建与朋友一模一样的 genmoji。用户可以通过在键盘上输入描述来创建 genmoji。Apple 将创建一些选项供您选择。



在“消息”界面，当用户和他人聊天时，Apple Intelligence 甚至能为用户生成图像。





“它必须理解你，并扎根于你的个人背景，比如你的日常生活、你的人际关系、你的交流等等。它超越了人工智能。它是个人智能，”库克说。“这就是 Apple Intelligence。”

高级副总裁 Craig Federighi 补充道：“Apple 智能以用户的个人数据和环境为基础。”该功能将有效地建立在用户输入日历和地图等应用程序的所有个人数据之上。



该系统建立在大型语言和智能模型之上。苹果称，大部分处理都是在本地完成的，采用最新版本的 Apple 芯片。Federighi 还称：“这些模型中的许多都完全在设备上运行。”

苹果表示，隐私是苹果的首要任务。苹果将 Apple Intelligence 描述为“功能强大”的大型语言和“扩散模型”的集合，以及一个跨应用程序工作的“设备内语义索引”，用于识别数据并将其提供给模型。



其中许多模型将在设备上运行。对于那些需要存储在云端的模型，苹果称有能力让用户控制存储在云端的数据类型以及访问方式，并表示：“我们希望将 iPhone 的隐私和安全延伸到云端。”

融入大模型，Siri 浴火重生

2011 年，苹果推出了语音助手 Siri，并发布了一系列引人注目的广告，展示了 Siri 的便捷功能。在一个广告中，用户询问她的手机能否送来番茄汤；另一位用户则在出租车后座上调整他的日程安排。这些广告展示了提醒、天气、闹钟等功能，强调了 Siri 作为一个有用且始终陪伴的助手，可以解决你的一切需求。不需要应用程序或点击，只需开口问问就行。



苹果高管 Phil Schiller 称 Siri 是革命性的功能，可以满足用户各种需求。“几十年来，技术专家一直在向我们展示这样的梦想：你可以与技术对话，它会为我们做事，”他说，“但这从未成为现实！”他说，我们真正想要的只是以任何方式与设备对话并获得信息和帮助。

然而，在过去的 13 年里，虽然苹果一直对 Siri 做小的改进，但实际效果从未能达成最初的预期。对于大多数人来说，Siri 实用性低，用户体验不佳，导致 Siri 未能充分发挥其潜力的一个原因是“底层技术不够好”。如果你用过 Siri，你就会知道它经常会听错名字、误解命令。但这正是大模型能起到作用的地方：虽然大模型并不完美，但与我们之前拥有的相比有了很大的改进。



如今，Siri 进行了全面的革新。Siri 的联合创始人 Kittlaus 表示，由于对 AI 技术的高度重视，今年可能是 Siri 的重要一年，因为公司计划将智能 AI 功能融入 iPhone 中。他说：“Siri 多年来一直停滞不前，但我完全预见到它即将迎来复兴。”

在今天的 WWDC 上，我们首次见到了真正的 Siri — — 或者至少是更接近真正的 Siri，苹果称“今年标志着 Siri 新时代的开始。”



Siri 现在更加自然、相关性更强、更个性化，并且有了新的外观，包括一个改版的图标。助手会以环绕设备屏幕边缘的发光效果弹出。苹果首先演示了通过 Siri 询问加利福利亚的天气，然后让其安排自己的日程，Siri 能处理语音中的口误并更好地理解上下文，这些操作显示出 Siri 有了更强的智能。

实际上，新版 Siri 可以执行 100 多项操作。例如，让 Siri 在照片应用中显示你的特定照片或回忆，或者在邮件应用中的电子邮件中查找预期的送货详细信息。Siri 还能够执行一些复杂任务，比如如果朋友发送了他们的地址，你可以对 Siri 说“将此地址添加到联系人卡片中”，它会帮你完成这项操作。



第三方开发者还可以利用这些新功能，通过新的“应用意向框架（app intents framework）”来利用 Apple Intelligence，使某些操作与 Siri 兼容。

另一个重大变化是 Siri 将不再仅是语音激活的助手。苹果正在添加“Type to Siri”功能，使其更接近其他生成式人工智能聊天机器人的体验。

Siri 还将能够在应用程序内及跨应用程序执行操作。你可以让 Siri “让这张照片更突出”，然后“将这张照片添加到另一个应用程序中”。这得益于新的 App Intents API，它允许开发者让 Siri 在他们的应用程序中执行操作，并且升级后的 Siri 对个人上下文的感知也包括消息、日历事件、文件和照片。

这些功能相当强大。苹果给出的例子是，Siri 可以找到你驾照的照片，提取你的身份证号码，并将其输入到网页表单中。



苹果并未具体说明所有新版 Siri 功能的上线时间，但表示新版智能助理将适用于 iPhone、iPad 和 Mac 设备。改进后的 Siri 是苹果进军“个人智能”领域的一部分，蒂姆·库克 (Tim Cook) 将其描述为公司迈出的“下一步”。

正如预期的那样，苹果还宣布与 OpenAI 合作，将 ChatGPT 大模型中的 GPT-4o 引入 Siri 等产品。用户无需注册账户或付费即可使用该产品（不过，他们仍然可以升级到高级版）。

该功能将于今年晚些时候在 iOS、iPadOS 和 macOS 上推出。苹果公司表示，它还将与其他第三方 LLM 集成，但没有提供太多细节。谷歌的 Gemini 似乎很可能位居榜首。

奥特曼这次没有像微软 Build 大会那样作为压轴嘉宾登台，虽然在发布会开始的时候，已经有人看到奥特曼出现在 WWDC 发布会现场。



其实在发布会之前，就有外媒报道，苹果正在就 iPhone 集成聊天机器人功能，加紧与 OpenAI 的谈判。发布会结束后，奥特曼发了一条推文，表示很高兴苹果将在今年晚些时候把 ChatGPT 集成进去。



结  语

这次发布会的亮点非常多，还有网友特地画图进行总结：



苹果分析师 Gene Munster 表示，这是苹果这 17 年来最重要的一次发布会，“今天对于苹果来说，比发布 Apple Store、iPad、Apple Watch、Apple TV 和 Vision Pro 更重要。”



通过将人工智能嵌入到自己的应用程序（例如 Apple Maps、iMovie 和 iPhoto），这也意味着 Apple 的整个生态系统将发生变化。一些分析师预计 Apple 将发布工具，供品牌开发商和应用程序制造商创造新的体验。