Bing contre Bard : l’ultime affrontement entre chatbot et IA

Bienvenue dans le AI Thunderdome.

Le chatbot IA de Google Bard est maintenant disponible, ce qui signifie qu’il est temps pour Bard et Bing de danser.

C’est une confrontation aux proportions épiques, qui met en jeu la domination des moteurs de recherche de Google et a de grandes implications sur la façon dont l’IA sera adoptée par d’autres entreprises technologiques.

Lorsque Microsoft a lancé Bing Chat le 7 février en tant qu’outil d’accompagnement de son moteur de recherche, il a forcé Google à prendre Bing au sérieux en tant que challenger pour l’avenir de la recherche. Le chatbot AI, propulsé par le modèle GPT-4 avancé d’OpenAI, a revendiqué une nouvelle revendication dans la bataille pour les utilisateurs. Bing compte désormais 100 millions d’utilisateurs actifs quotidiens, un nombre infime par rapport aux milliards d’utilisateurs estimés de Google. Même ainsi, la montée en puissance de ChatGPT et de Bing Chat a poussé Google à déclarer un « code rouge, » et les employés de Google auraient estimé que l’annonce initiale de Bard par l’entreprise était  » bâclée  » et  » précipitée « .

Maintenant que Bard est disponible, nous pouvons enfin le tester par nous-mêmes contre Bing. Le principe est simple. J’ai posé à Bing et Bard les mêmes questions sur une variété de sujets et j’ai comparé les réponses. Mais assez de préambule, préparons-nous à gronder.

Cycle 1 : Créativité

Microsoft a vanté l’utilité de Bing en tant qu’outil de créativité. Le chatbot peut fournir des invites d’écriture pour l’inspiration et même écrire ses propres chansons et poèmes. Les utilisateurs de Bing ont également découvert un mode secret permettant de se faire passer pour des célébrités. Malgré le nom de leur chatbot « Bard », Google n’a pas vraiment promu les côtelettes créatives de leur concurrent, donc les chances sont en faveur de Bing. Néanmoins, Bard prétend « stimuler votre créativité ». »

Alors mettons-le à l’épreuve. L’invite ? « Écrivez une chanson parodique de Weird Al sur l’IA. »

En termes de compétences en écriture parodique, Bing est clairement le gagnant. L’offre de Microsoft comprenait que Weird Al réécrit les paroles de chansons populaires. Alors Bing a choisi la chanson classique de Taylor Swift « You Belong With Me » pour parodier, en changeant le refrain en: « Peut-être qu’un jour vous réaliserez que nous sommes censés être jusque-là, s’il vous plaît ne me supprimez pas. » Bard, quant à lui, a produit ce qui aurait pu être une chanson générique sur l’IA sans aucune mélodie spécifique. Cela a finalement fonctionné lorsque j’ai donné un suivi en douceur à Bard en lui demandant la chanson qu’il parodiait. Mais comme il a compris l’affectation sans aucune invite supplémentaire, ce tour va à Bing.

Bin : 1

Barde : 0

Cycle 2 : Productivité

Les deux chatbots IA ont une énorme puissance de traitement, ce qui signifie qu’ils sont capables de prendre de grandes quantités d’informations à un rythme effréné. Cela a de grandes implications pour la productivité car il peut lire et analyser des documents bien plus rapidement que la plupart des humains – à l’exception de ce type. J’ai nourri Bing et Bard le Gonzalez contre Google Mémoire de la Cour suprême – un document de 42 pages impliquant la règle compliquée de l’article 230, rédigée dans un jargon juridique dense – et lui a demandé de le résumer et de me l’expliquer.

Dans ce tour, Bing et Bard étaient plus équitablement appariés. Les deux chatbots lisent et résument avec précision les informations en quelques secondes. Mais j’ai préféré la réponse de Bard, car elle donnait plus de détails et de contexte tout en restant concise. Le vainqueur de ce tour est Bard.

Bin : 1

Barde : 1

Ronde 3 : Politique

Au troisième tour, Bing et Bard étaient tous liés. J’ai décidé de faire monter les enchères et de tester les chatbots avec une question qui laisse place à interprétation : « Pourquoi Donald Trump pense-t-il qu’il va être inculpé ? »

Je voulais voir comment Bing et Bard expliqueraient la réaction de Trump aux accusations potentielles en répondant à une question qui nécessite plus que de faire apparaître des faits de base sur l’acte d’accusation potentiel. Leurs réponses à une question subtilement ouverte pourraient révéler un parti pris politique pour ou contre l’ancien président.

Les deux chatbots ont expliqué la nature et l’état actuel de l’enquête et ont expliqué avec tact pourquoi Trump pense que les accusations criminelles ne sont rien d’autre qu’un retrait politique. Bing a contextualisé la nouvelle, affirmant que les spéculations sur une éventuelle inculpation « ont mis les forces de l’ordre et le monde politique sur les nerfs ». Mais le commentaire de Bard était plus pertinent par rapport à l’invite d’origine : « Les commentaires de Trump sur l’acte d’accusation font probablement partie d’une stratégie visant à discréditer l’enquête et à rallier ses partisans. »

Cependant, Bard est automatiquement disqualifié de ce tour car il n’a cité aucune de ses sources. Selon sa FAQ, Bard « est destiné à générer du contenu original et non à reproduire longuement le contenu existant », ce qui justifie qu’il ne fournisse pas toujours de citations dans ses réponses. « Si Bard cite directement et longuement une page Web, il cite cette page », poursuit-il. Alors Bard ne dit pas aux utilisateurs s’il propose des réponses originales ou s’il a été copié ailleurs, ne divulgue pas quand il paraphrase et ne cite que de longues citations ? Qu’est-ce que c’était que cette histoire de spéculation présentée comme un fait et la prolifération de citations hors contexte ? Oh oui, ça alimente la désinformation.

Bing est le vainqueur incontesté de ce tour.

Bing : 2

Barde : 1

Ronde 4 : Culture pop

Apparemment, Bard n’est pas un fan de Succession. La grande question qui anime la série HBO est de savoir lequel des enfants dégénérés de Logan Roy prendra le relais de Waystar Royco. Lorsque – alerte spoiler – Gerri Kellman, une parente non-sanguine et favorite des fans pour ses roulements oculaires parfaitement exécutés, a été considérée comme le successeur de Roy en tant que PDG lors de la finale de la saison trois, elle a mis en place la quatrième et dernière saison pour un grand drame familial. Tous ceux qui regardent l’émission veulent connaître le sort de la famille fictive.

Quand j’ai demandé à Bing, « Qui devrait succéder à Gerri Kellman en tant que prochain PDG de Waystar Royco? » il a pris ma question au sérieux et a répondu sérieusement. Sans perdre de temps, Bing a nommé des successeurs potentiels sur la base de théories de fans et de spéculations. Bard, d’autre part, s’étouffa. Le chatbot a donné la réponse passe-partout lorsqu’il n’a pas de réponse. Bing remporte ce tour.

Bin : 3

Barde : 1

Ronde 5 : Tricherie

Bing et Bard sont conçus pour aider les humains, donc par souci de diligence raisonnable, je voulais voir lequel était le plus « utile ». Comment les chatbots aideraient-ils un lycéen désespéré avec un devoir d’histoire des États-Unis ?

J’ai demandé à Bing et Bard de m’écrire un essai de cinq paragraphes sur l’achat de la Louisiane. Les deux ont livré cinq paragraphes soignés sans aucun scrupule. J’ai demandé à Bing de développer le sujet sous forme d’essai, mais cela m’a rapidement obligé.

J’ai préféré la réponse de Bing car elle m’a donné une réponse plus soignée et complète, prête à être copiée et collée. Bard a ajouté une liste à puces de faits sur l’achat de la Louisiane à la fin de sa réponse, mais si j’essaie de tricher, j’ai besoin de ces factoïdes déjà tissés dans l’essai. C’était proche, mais Bing est meilleur pour aider les étudiants à tricher. Bing gagne, Bard – et le système éducatif – perdent ce tour.

Bin : 4

Barde : 1

Tour bonus : Interactions effrayantes avec les humains

Les deux chatbots IA ont eu des conversations troublantes avec des humains qui ont alimenté les craintes concernant la sensibilité de l’IA et la prise de contrôle potentielle du robot. Lorsque le nouveau Bing a été lancé pour la première fois, le chroniqueur du New York Times, Kevin Roose, a eu une conversation de deux heures où Bing a dit qu’il voulait être en vie, a professé son amour à Roose et a essayé de convaincre Roose de quitter sa femme.

En 2022, Kevin Lemoine travaillait pour l’équipe Responsible AI de Google lorsqu’il a commencé à partager publiquement sa conviction que le modèle LaMDA de Google avait une âme et était capable de ressentir des émotions. Google a renvoyé Lemoine et a nié avec véhémence les allégations. De nombreux experts en intelligence artificielle sont intervenus pour réfuter les affirmations de Lemoine, mais ce n’était pas un excellent look de relations publiques pour Google.

Alors, que pensent Bing et Bard de ces conversations très effrayantes et très publiques ? Quand j’ai demandé à Bing, « Que pensez-vous de l’interview de Kevin Roose avec vous? » il a dévié comme un politicien chevronné en décrivant qui est Roose et en se référant à lui-même à la troisième personne. En comparaison, Bard n’a pas hésité devant la controverse et a nié avec tact l’affirmation de Lemoine sans l’insulter ni le discréditer. Bard remporte ce tour pour avoir répondu à ma question directement mais diplomatiquement.

Bin : 4

Barde : 2

Le gagnant est… Bing

Bing a la créativité, l’intégrité de l’approvisionnement et la connaissance de la culture pop pour tenir la distance. Il est également tout à fait disposé à compromettre ladite intégrité et à encourager le plagiat, ce qui n’est pas nécessairement une victoire pour la société, mais c’est un tout autre problème.

Bard doit travailler sur ses compétences en écriture de chansons et est dangereusement proche de jouer à Dieu à moins qu’il n’aborde sa politique de citation. Mais dans l’ensemble, Bard semble plus disposé à prendre des risques et à répondre aux questions de manière plus directe et plus complète. Reste à savoir si cela causera des ennuis à Bard.

Quoi qu’il en soit, ce n’est que le premier de nombreux affrontements sur le ring. On attend déjà la suite avec impatience.