Siri 与 ChatGPT 整合，支持 iPhone 的屏幕感知功能

Apple 的 Siri 正在进化，通过与 ChatGPT 的整合，为支持的 iPhone 提供屏幕感知功能。这一技术突破让 Siri 能够从当前显示屏中提取信息，包括网页、照片和实时相机画面。虽然完整的屏幕感知功能预计将在 iOS 18.4 中正式推出，但支持 Apple Intelligence 的 iPhone 已可以初步使用此功能。

Siri 屏幕感知：功能升级的重大突破

Apple 在 iOS 18 发布会上宣布了屏幕感知功能，这项功能让 Siri 能够与屏幕内容互动，并在不同应用中执行操作。例如，当联系人发送一个新地址时，Siri 可直接将其添加到通讯录中。但更深度的跨应用互动预计将在 iOS 18.4 版本中实现。

目前，Siri 对屏幕信息的获取依赖于 ChatGPT，仅在 iPhone 15 Pro、iPhone 15 Pro Max 和即将发布的 iPhone 16 机型上支持。通过整合 ChatGPT，Siri 可以通过简单的指令对屏幕内容进行总结、分析照片或提取网页隐藏信息。

如何使用 Siri 和 ChatGPT 处理屏幕内容

要使用此功能，用户需持有兼容的 iPhone。激活 Siri 后，说出“总结屏幕上的信息”或“描述我屏幕上的内容”等指令，Siri 会请求发送屏幕截图至 ChatGPT。用户同意后，ChatGPT 会处理截图，并将结果通过 Siri 语音播报。

这一功能不仅限于文本内容。当用户查看照片或实时画面时，也可以通过 Siri 进行提问。例如，使用相机应用对准一只动物并问“这是什么动物？”，Siri 会通过 ChatGPT 分析并给出答案。同样，用户无需滚动网页即可请求隐藏信息，如餐厅的营业时间。

Siri 屏幕感知的主要应用场景

1. 网页信息提取：用户可以提取整个网页的信息，包括不可见的部分，通过选择“完整内容”实现。
2. 照片分析：Siri 可通过 ChatGPT 分析照片中的元素，如动物种类或物体名称。
3. 文本摘要：Siri 结合 ChatGPT 可快速总结长篇文档或网页文章的主要内容。
4. 实时相机查询：iPhone 15 Pro 和 15 Pro Max 用户可利用相机应用实时识别现实物体。

功能限制与未来展望

尽管当前的整合功能强大，但仍存在一些限制。目前，用户需要手动复制提取的信息，尚无法直接与屏幕内容进行深度互动。如直接将屏幕上的地址添加到通讯录的操作，将在 iOS 18.4 完整功能上线后实现。

隐私考虑

所有通过 ChatGPT 处理的查询均在云端进行。用户在使用该功能时，应避免分享屏幕上或照片中的敏感内容。

通过整合 ChatGPT，Siri 提供了强大的屏幕感知功能，为用户节省了大量时间。随着 Apple 在 iOS 18.4 中进一步优化该功能，应用之间的互操作性将得到提升，为用户带来更流畅便捷的体验。