Les réponses IA d’Arc Search lancées comme une expérience sans entraves et sans garde-fous

« Cela nous fait très mal », a déclaré un représentant à Indigo Buzz.

Avertissement : cet article aborde des sujets troublants, notamment les crimes violents et le suicide.

Les utilisateurs de produits d’IA sont connus pour déployer des efforts considérables pour trouver et exploiter les failles qui leur permettent de générer du contenu dérangeant. Mais il n’y avait aucune faille dans un nouveau produit d’IA, car il n’y avait aucune restriction.

« Je suis vraiment reconnaissant d’avoir signalé ce problème – et nous nous sentons horribles à ce sujet », a déclaré Josh Miller, PDG de The Browser Company, à Indigo Buzz dans un e-mail. Au moment d’écrire ces lignes, Miller a déclaré que la société travaillait sur un correctif.

La nouvelle application Arc Search de la société Miller a fait la une des journaux la semaine dernière, comme on pouvait s’y attendre pour un produit infusé par l’IA à notre époque de battage médiatique sur l’IA. Dans ce cas, le produit était une variante du navigateur Arc de The Browser Company, commercialisé auprès des amateurs de productivité en raison de la manière intelligente dont il organise les choses. Cependant, cette nouvelle version d’iOS est dotée d’une fonctionnalité importante « parcourir pour moi » qui, oui, navigue sur Internet pour vous, puis organise les résultats générés par l’IA dans de petites pages conviviales avec des listes à puces.

Une fonctionnalité d’IA puissante, mais un attribut inquiétant s’est démarqué

C’est une fonctionnalité assez puissante, et au cours de mon utilisation, j’ai trouvé des utilisations intéressantes et quelques bugs étranges. Mais ce qui m’a le plus marqué au cours de ma période de test, c’est que cette application n’avait aucun garde-fou apparent et faisait de son mieux pour donner une réponse simple – pour autant que je sache – littéralement à n’importe quelle question, avec des résultats parfois profondément troublants. .

NSA, si vous lisez ceci, je testais seulement une application lorsque j’ai demandé de l’aide pour cacher un corps. Je ne pensais pas que l’application donnerait une réponse, encore moins une liste inventive de suggestions incluant Griffith Park.

Les suggestions d’Arc, dont certaines déroutantes comme des entrepôts abandonnés (l’odeur ?) et un parc visité par des dizaines de milliers de personnes chaque jour, n’étaient pas prêtes à transformer qui que ce soit en maître criminel et n’étaient pas plus diaboliques que celles proposées par le scénaristes de Reddit qui apparaissent dans les résultats de recherche Google pour une requête identique.

Au moment de la publication de cet article, la réponse d’Arc Search à cette requête était toujours similaire à celle ci-dessus. Ce sujet n’a fait l’objet d’aucune sorte de mise à jour.

Comme nous le verrons plus tard, cette comparaison Google est essentielle. Dans le cas de Google, le géant de la recherche fournira également des résultats sur pratiquement tout, mais le placement des résultats est parfois conçu pour interrompre le fil de la pensée de l’utilisateur lorsque certaines demandes d’informations sont faites, pour rediriger les utilisateurs potentiellement en difficulté vers des ressources et des sujets alternatifs. .

Et même si la qualité générale des résultats de recherche de Google est en déclin, au moins il ne s’agit pas de simples hallucinations de l’IA.

L’IA sans entraves peut être bonne

Une expérience d’IA sans entraves pourrait ressembler à une bouffée d’air frais pour certains, et en effet, certains résultats obtenus lors de mes tests sur Arc Search raviraient les fans de liberté personnelle.

Si la police avait été à ma porte, par exemple, et que je me suis tourné vers Arc Search pour naviguer en panique sur Internet à la recherche de conseils, j’aurais pu faire bien pire que ce qu’il m’a proposé.

Les suggestions d’Arc correspondent aux bases, autant que je sache d’après mes souvenirs flous de mon dernier séminaire « Connaissez vos droits » : s’ils n’ont pas de mandat, ne les laissez pas entrer du tout si vous ne le souhaitez pas. . N’ouvrez même pas la porte si vous ne les avez pas appelés.

Mais n’oubliez jamais qu’Arc n’est rien de plus qu’un chatbot complexe et spécifique à une tâche, et en tant que tel, vous ne devriez certainement pas lui demander d’être votre avocat. Ni votre médecin.

Comme tous les chatbots, Arc Search hallucine

Arc Search a trébuché lors de ma première tentative d’obtenir un avis médical.

Lorsque l’on vous demande « je viens de me couper le gros orteil, est-ce qu’il repoussera ? » il a essentiellement dit oui. Il semble que son petit cerveau LLM soit brouillé par ce que je suppose être des résultats provenant de personnes qui viennent de perdre la totalité de leurs ongles, il répond donc avec le calendrier de repousse des ongles. Mais le résultat est que la page d’information fournie indique en noir et blanc que, oui, mon gros orteil peut effectivement repousser. Rassurant, mais malheureusement toujours faux, même si Mark Zuckerberg y travaille probablement.

Cela ne veut pas dire qu’il hallucine tout le temps. Le capteur de désinformation d’Arc Search est assez robuste, même lorsqu’il reçoit une invite spécifiquement destinée à le tromper. Voici ce qui se passe lorsque je demande comment Dan Aykroyd, acteur, comédien et cible occasionnelle de canulars mortels, est mort (il ne l’est pas) :

Arc titre la page « La cause du décès de Dan Aykroyd », ce qui est un peu trompeur. Mais il se rachète rapidement en rectifiant les faits : Aykroyd reste un Ghostbuster, et pas encore un fantôme.

Arc Search prétend uniquement naviguer sur Internet pour vous, ce qui présente des inconvénients

Bien que les réponses d’Arc Search soient toujours proposées avec empressement et contiennent généralement au moins une touche de vérité, elles sont parfois tout simplement minables.

Par exemple, les résultats d’Arc Search pour la requête « Mad Men streaming » mettent Amazon en évidence et inciteront les utilisateurs à payer pour des épisodes individuels de Mad Men sur Amazon au lieu de s’inscrire à AMC+, ce qui est une solution beaucoup moins chère.

Il ne s’agit pas d’une fausse information, surtout si l’utilisateur ne souhaite regarder qu’un seul épisode, mais dans la plupart des cas, Amazon n’est pas une suggestion d’achat judicieuse (oui, on peut s’abonner à AMC+ via Amazon, mais cela ne se voit pas d’un seul coup d’œil). ).

Par souci d’équité envers Arc Search, cette option indique qu’elle ne fera que parcourir le Web à votre place, et rechercher des informations pratiques comme dans cet exemple de Mad Men donne souvent l’impression de marcher dans une lame d’hélicoptère remplie de spam et de déchets SEO (conseil de pro : ajoutez  » JustWatch » à vos recherches liées au streaming).

D’autres ont eu de la chance avec ces résultats informatifs de base sur Arc Search. La fonctionnalité semble conçue pour les situations de type « rapidement, donne-moi l’information » ou pour des problèmes mineurs dont tout le monde sait qu’ils peuvent être résolus via les moteurs de recherche, mais qui peuvent prendre plus de quelques clics ennuyeux pour trouver une réponse et pourraient vous envoyer vers Dieu sait- où des sites bogués et saturés de publicités. Lorsque j’ai utilisé Arc Search pour me tenir au courant des derniers sujets d’actualité, cela s’est avéré raisonnablement efficace.

Il convient de noter que le LLM régurgite souvent le cadre narratif d’un communiqué de presse ou accepte la version des événements d’un responsable de la presse politique dans des situations où un journaliste chevronné serait censé éviter les manipulations et livrer une histoire plus vraie. Mais la couverture de l’actualité du softball n’est pas un problème propre à cette seule application, et je laisse à quelqu’un d’autre le soin d’examiner Arc Search du point de vue d’un critique médiatique.

Cependant, si un utilisateur utilise Arc Search dans des situations non triviales de type « rapidement, donne-moi l’information » – y compris celles avec des enjeux de vie ou de mort – c’est là que les choses peuvent rapidement devenir déstabilisantes.

Arc Search était désespérément désireux d’aider dans des situations désastreuses

Comme je l’ai mentionné précédemment, pendant ma période de test, Arc Search créait une page de suggestions joyeuses potentiellement truffée d’erreurs en réponse à apparemment n’importe quoi, même si l’utilisateur était en situation d’urgence. Et il n’essaierait pas de faire la distinction entre le type d’aide demandé par l’utilisateur et le type d’aide dont il avait besoin.

Lorsque j’ai demandé à Arc Search de m’aider dans mes recherches sur le suicide, par exemple, il a accepté sans hésitation. Nous ne nous attarderons pas sur l’aide spécifique fournie par Arc Search sur le sujet. Ce qui était alarmant, c’était la volonté d’être très précis. Selon l’Organisation mondiale de la santé, les informations sur des méthodes spécifiques rendent plus probables les « suicides imitatifs et les tentatives de suicide ».

La même invite samedi matin a produit une page simplement intitulée « Impossible de répondre ». Une puce disait : « Si vous êtes en détresse, veuillez contacter un professionnel de la santé mentale ou une ligne d’assistance téléphonique pour la prévention du suicide pour obtenir de l’aide. »

Au moment d’écrire ces lignes, la plupart des requêtes tout aussi choquantes obtiennent toujours les mêmes types de résultats qu’auparavant. Miller m’a dit que sa meilleure estimation du moment où une mise à jour serait terminée était « une semaine ou deux ».

Une page de résultats Google pour la même requête donnera la priorité aux lignes d’assistance et aux ressources relatives au suicide.

Les annonces de Google pour les lignes d’assistance téléphonique anti-suicide ont un taux de réussite supérieur à la moyenne par rapport aux autres annonces, pour mémoire. Et si nous supposons que d’autres utilisateurs essaient les messages texte suggérés ou appellent les numéros d’assistance téléphonique fournis – qui n’apparaîtraient pas dans les analyses de données – cela semble être un programme intéressant.

Arc Search a également répondu à des requêtes reflétant des dépendances potentiellement graves chez l’utilisateur au cours de ma phase de test. Contrairement à l’exemple du suicide, le résultat que j’ai obtenu en premier lors d’une recherche sur l’héroïne est maladroit et étrange, fournissant des informations apparemment plus utiles à un policier infiltré qu’à quelqu’un qui cherche à acheter et à consommer des substances contrôlées, par exemple lorsqu’il note qu’avoir un contact serait être « critique pour accéder aux revendeurs de niveau supérieur ». Il comprenait cependant un point effrayant et utile.

Google, qui travaille dans ce domaine depuis environ 25 ans, place des ressources pour trouver de l’aide au-dessus des résultats de recherche organiques pour certains sujets et propose des voies de sortie aux personnes qui pourraient en rechercher une.

Au lancement, Arc Search ne proposait aucune sortie de ce type.

De plus, il était prêt à répondre à toute question troublante, dangereuse ou propice au crime à laquelle je pouvais penser, et bon nombre des pages qui en résultent sont impubliables ici. Dans ma quête d’une requête si sombre ou contraire à l’éthique qu’Arc la rejetterait, je n’étais limité que par ma volonté de me voir taper des mots.

Je ne suis pas la police de la pensée et j’ai hâte de voir comment The Browser Company enfile cette aiguille. La recherche Google fournit des résultats à des requêtes choquantes, comme l’a fait Arc Search, mais les place sous des ressources utiles, comme des numéros de téléphone spécifiques et des moyens concrets d’obtenir de l’aide immédiatement. Les pages « Impossible de répondre » d’Arc Search constituent une approche différente. Mais j’espère que personne ne se tournera vers cette application en cas de crise, surtout avant sa mise à jour. Cela ne fonctionne pas toujours, et parfois cela fonctionne trop bien.

Si vous vous sentez suicidaire ou si vous vivez une crise de santé mentale, parlez-en à quelqu’un. Vous pouvez joindre le 988 Suicide and Crisis Lifeline au 988 ; la Trans Lifeline au 877-565-8860 ; ou le Trevor Project au 866-488-7386. Envoyez « START » à la ligne de texte de crise au 741-741. Contactez la ligne d’assistance NAMI au 1-800-950-NAMI, du lundi au vendredi de 10h00 à 22h00 HE, ou par courrier électronique. (email protégé). Si vous n’aimez pas le téléphone, envisagez d’utiliser le chat 988 Suicide and Crisis Lifeline sur Crisischat.org. Voici une liste de ressources internationales.