Apple prévoit d’intégrer le robot de chat intelligent ChatGPT dans son assistant personnel Siri, ce qui offrira aux utilisateurs de nombreuses fonctionnalités, y compris la possibilité de demander des détails sur le contenu affiché à l’écran via Siri.
La fonction de reconnaissance du contenu à l’écran est similaire à la fonction « Circle to Search » de Google, qui permet aux utilisateurs de dessiner un cercle autour de n’importe quel élément sur l’écran de leur téléphone pour le reconnaître et le rechercher via le moteur de recherche de Google. Google a introduit cette fonctionnalité sur de nombreux appareils Android au cours des derniers mois, y ajoutant des améliorations telles que la prise en charge de la traduction, la reconnaissance vocale, la numérisation des codes QR et des codes-barres.
Il est désormais possible pour l’assistant Siri d’utiliser ChatGPT pour répondre à des questions complexes, en plus de lire le contenu affiché sur les iPhones, les iPads et les Mac. Par exemple : en regardant une vidéo, une image ou en naviguant sur Internet, il est désormais possible de poser des questions à ChatGPT via Siri sur ce qui est affiché sur l’écran.
Lorsqu’une question est posée, une capture d’écran est envoyée à ChatGPT, qui peut comprendre le contexte et répondre aux demandes des utilisateurs. Pour protéger la confidentialité, Siri demande l’autorisation de l’utilisateur avant de prendre une capture d’écran et de l’envoyer à ChatGPT.
Cette fonction diffère de la fonctionnalité d’intelligence visuelle, qui permet d’utiliser l’appareil photo pour obtenir des réponses aux problèmes mathématiques ou des informations sur les éléments environnants, en utilisant la recherche en ligne, une fonctionnalité exclusive aux iPhones 16.
Il convient de mentionner qu’Apple travaille également sur une fonctionnalité pour comprendre le contenu de l’écran en utilisant ses modèles d’intelligence artificielle. Cette fonctionnalité devrait être incluse dans une prochaine mise à jour du système iOS 18 l’année prochaine. Cette technologie permettra à Siri de comprendre le contexte et d’agir en fonction du contenu de l’écran, en traitant toutes les données sur l’appareil pour garantir la confidentialité.
Il convient de noter que la version de test iOS 18.2 actuellement testée par Apple comportera de nombreuses fonctionnalités basées sur l’intelligence artificielle, telles que la fonction Image Playground, la fonction Genmoji pour générer des emojis, la recherche visuelle sur les iPhones 16 et d’autres fonctionnalités.
