Siri、対応するiPhoneでChatGPTを活用した画面認識機能を実現

AppleのSiriが進化し、ChatGPTとの統合によって対応するiPhoneで画面認識機能が利用可能になりました。この新機能により、Siriはウェブページ、写真、ライブカメラフィードなど現在表示されている画面から情報を抽出することができます。この完全な画面認識機能はiOS 18.4で正式に導入される予定ですが、Apple IntelligenceをサポートするiPhoneではすでに一部の機能を活用することが可能です。

Siriの画面認識機能: 革新的なアップグレード

AppleはiOS 18の発表時に画面認識機能を公開しました。この機能により、Siriは画面上のコンテンツと対話し、さまざまなアプリを横断して操作を行うことができます。例えば、連絡先が新しい住所を送信してきた場合、Siriはそれを直接連絡先カードに追加することが可能です。ただし、このような深いアプリ間連携は、来年リリース予定のiOS 18.4で実現する見込みです。

現在のところ、Siriが画面上の情報にアクセスするにはChatGPTが必要で、この機能はiPhone 15 Pro、iPhone 15 Pro Max、そして次世代のiPhone 16モデルで利用できます。ChatGPTとの統合により、Siriはコンテンツの要約、写真の分析、隠されたウェブページの詳細の抽出などを簡単なコマンドで実行できます。

ChatGPTを活用した画面コンテンツ操作の使い方

この機能を利用するには、対応するiPhoneが必要です。Siriを起動して「この画面の情報を要約して」や「画面上に何があるか説明して」といったフレーズを話しかけると、SiriがスクリーンショットをChatGPTに送信する許可を求めます。許可すると、ChatGPTが画像を処理し、Siriがその結果を読み上げます。

この機能はテキストだけにとどまりません。写真やライブ画像を表示中に、Siriにその内容を尋ねることができます。例えば、カメラアプリで動物を映しながら「この動物は何？」と尋ねると、ChatGPTが分析を行います。同様に、レストランの営業時間など隠されたウェブページの情報も、スクロールせずに取得できます。

Siriの画面認識機能の主な利用ケース

1. ウェブページ情報の抽出: ウェブページ全体の情報、特に非表示のセクションを「完全な内容を選択」することで取得可能です。
2. 写真の分析: 写真内の動物の種や物体名を特定するため、Siriが画像をChatGPTに送信して分析します。
3. テキスト要約: 長文の文書やウェブ記事を効率的に要約できます。
4. ライブカメラクエリ: iPhone 15 Proおよび15 Pro Maxの所有者は、カメラアプリを使用して実世界の物体をリアルタイムで分析できます。

制限と今後の改善

現在の統合は強力ですが、いくつかの制限があります。抽出した情報を手動でコピーする必要があり、画面上のアクションを直接実行することはまだできません。例えば、画面上の住所を連絡先に直接追加するような操作は、iOS 18.4の正式リリース後に可能となります。

プライバシーに関する配慮

ChatGPTによるすべてのクエリ処理はクラウド上で行われます。この機能を使用する際は、画面や写真を通じて機密性の高い内容を共有しないよう注意が必要です。

ChatGPTとの統合により、Siriは画面認識において強力な選択肢を提供し、時間を節約できるツールとして役立ちます。AppleはiOS 18.4でこの機能をさらに洗練させ、アプリ間の相互運用性を向上させ、ユーザー体験を一層快適なものにする予定です。