Le mode vocal de ChatGPT est capable de faire des choses étranges, mais voici comment OpenAI s'y prend.
GPT-4o peut imiter les voix, mais OpenAI affirme qu'il ne le fera pas.
Le mode vocal de ChatGPT présente quelques failles de sécurité, mais OpenAI affirme qu'il les surmonte.
Jeudi, OpenAI a publié un rapport sur les fonctionnalités de sécurité de GPT-4o, abordant les problèmes connus qui surviennent lors de l'utilisation du modèle. GPT-4o est le modèle sous-jacent qui alimente la dernière version de ChatGPT et est livré avec un mode vocal qui a récemment été publié pour un groupe restreint d'utilisateurs disposant d'un abonnement ChatGPT Plus.
Les « problèmes de sécurité » identifiés incluent des risques standards comme le fait de demander au modèle des réponses érotiques et violentes, d’autres contenus interdits, ainsi que des « inférences non fondées » et des « attributions de traits sensibles » – des hypothèses qui pourraient être discriminatoires ou biaisées, en d’autres termes. OpenAI affirme avoir entraîné le modèle à bloquer toutes les sorties signalées dans ces catégories. Cependant, le rapport indique également que les atténuations n’incluent pas les « vocalisations non verbales ou autres effets sonores » tels que les gémissements érotiques, les cris violents et les coups de feu. On peut donc en déduire que les invites impliquant certains sons non verbaux sensibles pourraient recevoir une réponse inappropriée.
OpenAI a également mentionné les défis uniques liés à la communication vocale avec le modèle. Les Red Teamers ont découvert que GPT-4o pouvait être invité à se faire passer pour quelqu'un ou à imiter accidentellement la voix de l'utilisateur. Pour lutter contre ce problème, OpenAI n'autorise que les voix pré-autorisées (à l'exception de la célèbre voix qui ressemble à celle de Scarlett Johansson). GPT-4o peut également identifier d'autres voix que celle de l'orateur, ce qui pose un sérieux problème de confidentialité et de surveillance. Mais il a été formé pour refuser ces demandes, à moins que le modèle ne soit invité à utiliser une citation célèbre.
Les Red Teamers ont également noté que GPT-4o pourrait être amené à parler de manière persuasive ou emphatique, une fonctionnalité qui pourrait être plus nuisible que les sorties de texte lorsqu'il s'agit de désinformation et de théories du complot.
OpenAI a également abordé les problèmes potentiels de droits d'auteur qui ont affecté l'entreprise et le développement global de l'IA générative, qui s'entraîne à partir de données récupérées sur le Web. GPT-4o a été formé pour refuser les demandes de contenu protégé par des droits d'auteur et dispose de filtres supplémentaires pour bloquer les sorties contenant de la musique. À ce propos, le mode vocal de ChatGPT a reçu pour instruction de ne chanter en aucune circonstance.
Les nombreuses mesures d'atténuation des risques d'OpenAI décrites dans le long document ont été mises en œuvre avant la sortie du mode vocal. Le message ostensible du rapport indique donc que même si GPT-4o est capable de certains comportements risqués, il ne le fera pas.
Cependant, OpenAI précise : « Ces évaluations ne mesurent que les connaissances cliniques de ces modèles et ne mesurent pas leur utilité dans les flux de travail du monde réel. » Le test a donc été effectué dans un environnement contrôlé, mais lorsque le grand public mettra la main sur le GPT-4o, il pourrait s'avérer différent dans la nature.
Indigo Buzz a contacté OpenAI pour obtenir des éclaircissements supplémentaires sur ces atténuations et nous mettrons à jour si nous avons une réponse.
