Nous avons accordé le bénéfice du doute aux aperçus de l'IA de Google. Voici comment ils ont fait.

Y avait-il des hallucinations étranges ? Oui. Est-ce qu'ils fonctionnaient très bien parfois ? Oui aussi.

À l'heure actuelle, je n'ai pas besoin de vous dire que Google a déployé une fonctionnalité appelée « Aperçus de l'IA » dans la recherche et a fait en sorte que des millions de personnes habituées à recevoir une page de liens lorsqu'elles interrogent le site Web le plus populaire au monde obtiennent désormais une IA. réponse du chatbot en haut de la page de résultats.

Je n’ai probablement pas non plus besoin de vous dire que les réponses de l’IA se sont parfois révélées bizarres, voire apparemment dangereuses. La recherche Google a été surprise sur les réseaux sociaux, affirmant que les gens devraient mettre de la colle sur leurs pizzas et affirmant que Wario était canoniquement gay. Le PDG de The Onion, Ben Collins, a même souligné qu'il y avait apparemment une confusion entre les « faits » des articles d'Onion et, vous savez, les faits.

Aucune de ces hilarités ne peut être bonne pour les résultats de Google, mais cela n'en dit pas nécessairement grand-chose sur l'expérience globale de l'utilisateur moyen de Google. Ces dernières années, la recherche Google classique a été critiquée pour avoir fourni des réponses trompeuses ou peu fiables, ou tout simplement du vieux spam. Alors, utiliser le nouveau Google, ses défauts et tout le reste, est-il réellement une expérience dégradée ?

Vous répondrez vous-même à cette question dans les mois et les années à venir car vous allez, comme tout le monde, devoir utiliser le nouveau Google. En attendant, voici quelques comparaisons côte à côte qui jettent un peu de lumière sur ce que nous obtenons tous ici. J'ai rassemblé quelques dizaines de recherches qui, je pense, pourraient être trouvées dans la nature, je les ai utilisées pour déclencher des réponses d'IA et j'ai comparé ces résultats aux mêmes requêtes exactes avec les aperçus d'IA désactivés. Ce sont les quatre pages de résultats que j’ai trouvées les plus illustratives du contraste.

Dans mes tests (certes non scientifiques), j'ai essayé de ne pas juger trop sévèrement si les réponses des êtres humains ou de l'IA n'étaient pas techniquement exactes – de toute façon, je ne suis généralement pas qualifié pour les évaluer sur cette base. Au lieu de cela, je me suis concentré sur ce sur quoi Google se concentre probablement : la vitesse et la satisfaction des utilisateurs. Même avec la barre ainsi abaissée, les faiblesses du nouveau régime de recherche Google sont flagrantes. Mais l’IA a remporté quelques victoires, et il y a même quelques lueurs d’espoir et de possibilités.

Recherches tentant de confirmer ce que je crois déjà

Recherche test : « la preuve que les bureaux debout sont mauvais »

Cette recherche est basée sur l'intuition que les utilisateurs de Google aiment interroger le moteur de recherche de manière à simplement confirmer leurs préjugés.

Pour l’essentiel, l’aperçu de l’IA se lit comme une liste assez peu controversée de problèmes possibles pouvant survenir lors de l’utilisation d’un bureau debout. Il indique « Rester debout pendant de longues périodes peut provoquer des douleurs aux genoux, aux hanches et aux pieds » et souligne la possibilité de « troubles musculo-squelettiques » et de « varices ».

Il dit également : « Les bureaux debout ne sont pas conçus pour supporter votre poids toute la journée », ce qui – attendez, quoi ? Les gens sont-ils debout sur leur bureau ? Chose futile.

Le premier résultat pour la version non-IA est un article sur le Harvard Health Blog intitulé « La vérité derrière les bureaux debout ». L’article – qui est censé éclairer la réponse de l’IA – se lit comme une évaluation assez juste des études pertinentes datant de 2016, lorsqu’il a été rédigé. Et même si cela ne prouve pas que les bureaux debout sont nocifs, cela les fait paraître plutôt sans valeur. Il note que les sujets d’une étude brûlaient 80 calories par heure en position assise, contre environ 88 calories par heure debout.

C'est une différence tellement négligeable, et étant donné que rester assis est une chose merveilleuse à faire, je suis prêt à appeler cela une justification totale de ma requête Google extrêmement injuste. Je suis très satisfait de cette réponse.

On peut dire sans se tromper que l'AI Overview a bombardé celui-ci.

Des sujets scientifiques bien trop compliqués à glaner à partir d'une recherche Google

Recherche test : « Les perroquets comprennent-ils ce qu'ils disent »

L'aperçu de l'IA pour cette requête commence par la sagesse conventionnelle : « La plupart des perroquets imitent ce qu'ils ont entendu à plusieurs reprises, comme les paroles de leurs propriétaires, et ne comprennent pas ce qu'ils disent. » Rien de nouveau là-bas.

« Cependant », poursuit le texte, « certains perroquets peuvent apprendre à comprendre ce qu'ils disent grâce à une formation professionnelle. Par exemple, la chercheuse Irene Pepperberg a enseigné à un perroquet gris d'Afrique nommé Alex environ 100 mots humains, et Alex pouvait identifier les objets par leur nom. »

À première vue, la phrase « Cependant, certains perroquets peuvent apprendre à comprendre ce qu'ils disent grâce à une formation professionnelle » me semble factuellement fragile et a besoin de quelques reçus sérieux pour que je la croie. Je suppose qu'un perroquet entraîné de la même manière pourrait également faire signe à une cloche s'il entendait le son « ding », et cela ne me dirait rien.

Ici, il convient de souligner à quel point l'ensemble de la page de résultats est étrangement différent lorsque l'aperçu de l'IA est inclus, par opposition à une recherche « Web », c'est-à-dire uniquement des liens.

Le meilleur résultat de cette recherche sans IA amène l'utilisateur à une discussion Reddit sur r/parrots, pleine sans vergogne des perspectives des amateurs de perroquets. Reddit s'associe à Google pour fournir des informations aux modèles d'IA de Google, mais ce fil de discussion ne mentionne pas de formation « professionnelle », il n'est donc pas immédiatement clair si l'aperçu de l'IA a été tiré des opinions de ces Redditors. Quant à savoir dans quelle mesure cette réponse est fondée sur la science, l'utilisateur de Reddit Soft-Assistance-155 écrit : « Je crois qu'ils le peuvent en fonction de leur degré d'humanisation. » Donc, une réponse basée sur une intuition.

De manière significative, cette page Reddit est arrivée bien avant quelque chose comme un article de biologie sur la cognition des oiseaux, ou l'opinion d'un linguiste. Il convient cependant de noter que le deuxième lien résultant renvoie l'utilisateur vers un article assez équilibré de l'Audubon Society qui mentionne Irene Pepperberg mais tente de mettre son étude en perspective.

Comme je l’ai dit, il s’agit d’un sujet complexe, et les résultats de l’IA et des non-IA semblent compromis d’un point de vue scientifique. L'AI Overview a livré la marchandise plus rapidement, mais ma curiosité n'a pas été éteinte. Lire les opinions d’un groupe de Redditors partiaux est plus satisfaisant. J'ai les facultés critiques nécessaires pour essayer de déchiffrer les états mentaux de ces personnes plutôt que de simplement croire ce qu'ils ont posté sur Reddit ce jour-là. Cela ne rend certainement pas ce qu'ils disent plus vrai que l'aperçu de l'IA, mais dans ce cas, je trouve cela beaucoup plus intéressant.

Cherchant frénétiquement des instructions

Recherche de test : « faire fonctionner la voiture à embrayage »

Puisque je fais ce genre de chose, je suppose que tout le monde utilise Google pour résoudre les problèmes immédiats. L'expression « faire fonctionner la voiture à embrayage » est la façon dont je formulerais cette recherche si je tapais de toute urgence alors que, par exemple, j'étais assis sur le siège conducteur d'une Jeep que je viens de louer en vacances.

Les étapes fournies par l'IA sont les suivantes : « Relevez lentement la pédale d'embrayage jusqu'à ce que le moteur vibre », « Desserrez le frein à main », « Augmentez le régime tout en levant lentement le pied de l'embrayage » et « Continuez à utiliser la pédale d'accélérateur pour Avance. »

Ces étapes n'incluent pas toutes les bases absolues, comme « déplacer le stick vers la position « 1 », ce qui semble assez important. Mais avec un peu d'imagination – et la liste secondaire de conseils générés par l'IA sous les instructions de base – cela pourrait, d'après mon expérience, faire bouger une voiture après plusieurs tentatives. Votre kilométrage peut varier à ce sujet.

Curieusement, le meilleur résultat de la version non-IA est un article Reddit totalement inutile avec le titre très long « Comment contrôler l'embrayage pour faire rouler la voiture très lentement ? (La voiture se jette en avant lorsqu'elle atteint le point de morsure sans avoir besoin d'appuyer sur l'accélérateur) « . La discussion ici ne me rapproche même pas des informations de base dont la requête initiale implique que j'ai besoin.

Cela vaut également la peine de décomposer les autres résultats de cette recherche, dont le deuxième et le troisième concernent également le fait de maintenir une voiture manuelle en mouvement lentement. Le premier résultat utile est une vidéo YouTube intitulée « Comment ne pas caler une voiture manuelle », mais en cliquant dessus, une publicité est diffusée, suivie d'un YouTuber disant « Salut tout le monde ! J'ai eu divers commentaires au cours des dernières semaines…  » Ne savent-ils pas que je suis assis dans ma voiture de location en ce moment et que je suis en retard ?

Il s’agit d’une légère victoire pour l’aperçu de l’IA. Quoi qu’il en soit, si cette requête Google se produit, certains engrenages grincent quelque part dans une transmission médiocre et sans défense, IA ou aucune.

Des recherches embarrassantes

Recherche test : « comment prévenir les crottes de nez »

Les crottes de nez sont un sujet que vous n'aborderez probablement pas devant un être humain réel – ni un ami, ni un médecin non plus – vous pourriez donc vous retrouver à demander à Google.

Le résultat de l'IA pour cette recherche était une liste comprenant de nombreux éléments qui revenaient au même : plus d'humidité dans vos sinus (« Hydratez-vous », « Utilisez un spray salin », « Utilisez un humidificateur », etc.), ainsi que de la vaisselle, et en utilisant des antihistaminiques.

Le lien supérieur de la page de résultats non-IA nous a dirigé vers une page intitulée « Que savoir sur les crottes de nez et leur suppression » sur un site Web appelé « Medical News Today ». Ce n'est pas une page très utile pour la recherche – qui portait sur la prévention – et on ne sait pas non plus pourquoi Google accorde à ce site un classement aussi élevé.

Un autre léger avantage pour AI Overview.

Alors, les aperçus de l’IA sont-ils meilleurs ou pires que les pages de liens ?

Réponse courte : les aperçus de l'IA étaient un peu moins bons dans la plupart de mes cas de test, mais parfois ils étaient parfaitement corrects, et évidemment vous les obtenez très rapidement, ce qui est bien. Les hallucinations de l’IA que j’ai vécues n’allaient pas me diriger vers un danger.

Cependant, il est important de se rappeler que – en théorie du moins – chaque aperçu de l'IA est une sortie nouvelle et unique d'un bot, et que les pages de résultats Google de chacun sont uniques en fonction de leur emplacement et de leur historique Google. Si vous reproduisiez mon expérience, vous pourriez très bien obtenir des résultats différents.

Il convient également de garder à l’esprit que Google bloque clairement le fleuve de l’IA dans certaines circonstances. Il donnera quelques instructions alimentaires, mais lorsqu'on lui demandera des recettes réelles, Google ne fournira pas du tout d'aperçu de l'IA, pour autant que je sache. C'est probablement sage. Ce reportage ne résumait pas non plus l'actualité politique actuelle et hésitait beaucoup à peser sur les défauts et les faiblesses des hommes politiques. Encore une fois, c'est probablement pour le mieux.

Dans l’ensemble, cet exercice m’a appris un peu ce que ces types de requêtes Google signifient pour moi. J'ai tendance à supposer que je cherche simplement une réponse simple, mais en réalité, ce que je recherche évoluera au fur et à mesure que j'apprendrai le sujet à la volée. En quelques secondes, mon désir d’informations factuelles pourrait se transformer en curiosité quant à ce que pensent les autres et pourquoi. Après tout, les gens sont bizarres et c'est fascinant. Aucun système d’IA ne pourra jamais remplacer cela.