Siri結合ChatGPT提升支援iPhone的螢幕辨識功能

Apple 的 Siri 正隨著 ChatGPT 的整合而進化，讓支援的 iPhone 能夠實現螢幕辨識功能。這項技術讓 Siri 可以從當前顯示內容中提取資訊，包括網頁、照片和即時相機畫面。雖然完整的螢幕辨識功能預計將隨 iOS 18.4 推出，但具備 Apple Intelligence 的 iPhone 已可部分運用此功能。

Siri 的螢幕辨識功能：革命性的升級

Apple 在 iOS 18 發布會上首次介紹了螢幕辨識功能。此功能讓 Siri 能夠與螢幕內容互動，並在不同的應用程式中執行操作。例如，當聯絡人傳送一個新地址時，Siri 可直接將其新增至聯絡卡。然而，這種更深入的應用程式間互動功能，將於明年 iOS 18.4 正式推出。

目前，Siri 擷取螢幕資訊的能力依賴於 ChatGPT，該功能適用於 iPhone 15 Pro、iPhone 15 Pro Max 和即將推出的 iPhone 16 系列。透過 ChatGPT 的整合，Siri 可以用簡單的指令摘要內容、分析照片或擷取隱藏的網頁細節。

如何使用 Siri 與 ChatGPT 處理螢幕內容

使用這項功能的前提是擁有一台相容的 iPhone。啟動 Siri 並說出類似「總結這個螢幕上的資訊」或「描述我的螢幕內容」的語句，Siri 會請求用戶允許將螢幕截圖發送至 ChatGPT。一旦獲得批准，ChatGPT 將處理影像並生成回應，由 Siri 讀出結果。

此功能不僅限於文字內容。用戶在查看照片或即時影像時，也可向 Siri 提問。例如，將相機應用程式對準一隻動物並詢問「這是什麼動物？」便會觸發 ChatGPT 進行分析。同樣，用戶還可請求網頁隱藏資訊，例如餐廳營業時間，而無需手動捲動。

Siri 螢幕辨識功能的主要應用場景

1. 網頁內容提取：用戶可從完整的網頁中提取資訊，包括未顯示的部分，方法是選擇提示中的「完整內容」。
2. 照片分析：Siri 可透過將圖片發送至 ChatGPT，識別照片中的元素，例如動物種類或物品名稱。
3. 文本摘要：ChatGPT 可幫助 Siri 快速摘要冗長的文件或網頁文章內容。
4. 即時相機查詢：iPhone 15 Pro 和 15 Pro Max 用戶可利用相機應用程式即時分析現實世界的物體。

限制與未來改進

儘管目前的整合功能已十分強大，但仍存在一些限制。用戶需手動複製提取的資訊，因為真正的螢幕互動性尚未實現。像是將螢幕上的地址直接新增至聯絡人的功能，僅能在 iOS 18.4 的完整版本推出後實現。

隱私考量

所有透過 ChatGPT 處理的查詢均在雲端完成。建議用戶避免在使用此功能時分享螢幕上的敏感內容或照片。

透過與 ChatGPT 的整合，Siri 提供了一個強大的螢幕辨識替代方案，帶來顯著的時間節省工具。隨著 Apple 在 iOS 18.4 中進一步完善此功能，應用程式間的互操作性將得到提升，用戶體驗將更加流暢。