3 nouvelles fonctionnalités iOS 18 que tout utilisateur d'iPhone devrait connaître

Apple a annoncé ses ambitions sophistiquées en matière d'intelligence artificielle (IA) lors de la conférence annuelle des développeurs en juin 2024, mais les utilisateurs ont dû attendre longtemps en raison de l'approche prudemment échelonnée d'Apple pour déployer tout ce qui concerne l'IA. Après une longue phase de test bêta, la première vague de fonctionnalités Apple Intelligence est arrivée avec la mise à jour iOS 18.1, d'abord pour les développeurs, puis pour les bêta-testeurs publics.

Peu de temps après, Apple a publié la mise à jour bêta d'iOS 18.2 pour les développeurs – et cette version logicielle est ce que les fans d'Apple Intelligence attendaient. Il présente trois des fonctionnalités d'IA les plus intéressantes présentées par Apple lors de la conférence.

Le premier est un Siri suralimenté grâce à l’intégration directe de ChatGPT, ce qui le rend capable de répondre à des requêtes qui nécessiteraient autrement une recherche sur Internet. Ensuite, nous avons l'intelligence visuelle, qui est essentiellement la version d'Apple de Google Lens, au sommet de l'intelligence artificielle multimodale d'OpenAI. Enfin, la mise à jour introduit également Image Playground, une application autonome permettant de créer des images amusantes. Gardez à l’esprit que toutes les fonctionnalités décrites ci-dessous sont encore en phase de test bêta et, selon Bloomberg, ne seront entièrement disponibles qu’en décembre 2024.

Apple espère donner une nouvelle vie à l'expérience Siri avec iOS 18. À cette fin, la société a amélioré la compréhension du langage sous-jacent, mis à jour la banque de connaissances locale de l'assistant virtuel et a même remanié l'interface d'interaction visuelle. Cependant, Siri est toujours un assistant virtuel dans l'âme, ce qui signifie qu'il ne peut toujours pas accomplir ce que des chatbots comme Gemini ou ChatGPT peuvent réaliser. Du moins, pas tout seul.

C’est là qu’intervient le partenariat d’Apple avec OpenAI. Le résultat de cette collaboration est l'intégration avec ChatGPT et un système d'adhésion qui transfère de manière transparente les requêtes de Siri vers ChatGPT si le premier ne peut pas y répondre. « Les utilisateurs Apple sont interrogés avant que les questions ne soient envoyées à ChatGPT, accompagnées de tout document ou photo, et Siri présente ensuite directement la réponse », assure OpenAI.

Grâce à la banque de connaissances intégrée au cœur de ChatGPT sous forme de données de formation, associée à ses capacités de langage naturel et de recherche sur Internet, Siri permettra au chatbot d'OpenAI de gérer les requêtes sans aucun problème technique.

Le plus gros attrait ici est que les utilisateurs n'ont pas besoin de passer d'une application à l'autre, ni même de lancer une application, d'ailleurs. Tout ce qu'ils ont à faire est d'invoquer Siri par texte ou par voix et d'obtenir la réponse qu'ils recherchent soigneusement organisée dans une fenêtre en haut de l'écran, dans un style conversationnel.

L'intelligence visuelle est essentiellement la version d'Apple du concept de Google Lens, mais avec Siri en tête et l'aide de ChatGPT. Tout ce que vous avez à faire est d’appuyer longuement sur le bouton de contrôle de la caméra situé sur le bord droit de votre iPhone. Cela lancera l’interface Visual Intelligence en mode portrait. Il ne vous reste plus qu'à pointer l'appareil photo, à appuyer sur le déclencheur et à poser votre question.

Dans son avatar actuel, Visual Intelligence gère les requêtes sous deux formats. Si la question de suivi est au format texte, Siri s'en charge. Si la requête est hors de portée de Siri, il sera demandé aux utilisateurs si leur question peut être téléchargée sur ChatGPT. Une fois qu'ils seront d'accord, Siri traitera la saisie et fournira une réponse en conséquence.

Dans le cas où la requête de l'utilisateur concerne l'analyse du cadre puis sa recherche sur Internet, l'option par défaut est la recherche Google. Si vous avez utilisé la fonctionnalité Circle to Search qui est apparue sur la récente génération de smartphones Google Pixel et Samsung Galaxy, l'intelligence visuelle vise plus ou moins à reproduire cela, mais en utilisant l'appareil photo.

Au stade de la mise à jour bêta d'iOS 18.2, la gamme de ce que l'intelligence visuelle peut accomplir est assez limitée par rapport à ce dont sont capables des outils comme Gemini. De plus, les réponses peuvent être assez aléatoires, voire carrément jargonneuses. Lorsque j'ai capturé l'image d'un article et demandé à Visual Intelligence de résumer le contenu du texte, l'IA m'a plutôt présenté une version résumée des notifications de mon application.

Image Playground est une application autonome qui permet aux utilisateurs de créer des images amusantes à l'aide de descriptions textuelles. L'application s'inspire également de l'application appareil photo de l'iPhone pour appliquer des effets stylistiques aux images, et utilise également la formule de la cuisine emoji pour mélanger plusieurs effets dans la même image. L'application est encore en phase bêta, de sorte que les résultats ne sont pas aussi précis que ceux que l'on obtiendrait avec des outils de conversion texte-image comme Dall-E d'OpenAI ou le moteur Imagen de Google.

Une autre distinction cruciale est qu'Image Playground ne générera pas d'images photoréalistes. Lorsque vous lancez l'application pour la première fois, vous verrez une zone de texte en forme de pilule en bas dans laquelle vous pourrez décrire le type d'image que vous souhaitez créer. Juste au-dessus se trouve un carrousel affichant cinq effets complémentaires qui fonctionneraient mieux avec l'image générée après la saisie de texte.

Lorsque vous faites glisser votre doigt dessus, vous verrez un tableau de bord Thèmes dans lequel vous pouvez choisir entre des préréglages tels que Été, Fête et Fantaisie, pour modifier l'image en conséquence. Ensuite, il existe des sélections d'effets distinctes dans les catégories Costumes, Accessoires et Lieux, qui fonctionnent toutes avec une approche en un seul clic. Dans le coin inférieur droit se trouve une icône « + » qui vous permet de récupérer une image personnalisée dans l'application Photos de votre iPhone et de lui donner une touche amusante. L’accent ici est davantage mis sur la création d’images ludiques plutôt que sur le réalisme ou la précision réaliste.