La détection des discours de haine basée sur l’IA modérera le chat vocal dans Call of Duty

Mercredi, Activision a annoncé qu’elle introduirait une modération du chat vocal en temps réel basée sur l’IA dans la prochaine version de Call of Duty: Modern Warfare III, le 10 novembre . La société s’associe à Modulate pour mettre en œuvre cette fonctionnalité, en utilisant une technologie appelée ToxMod pour identifier et prendre des mesures contre les discours de haine, l’intimidation, le harcèlement et la discrimination.

Bien que le problème des comportements toxiques en ligne à l’échelle de l’industrie ne soit pas propre à Call of Duty, Activision affirme que l’ampleur du problème a été accrue en raison de la base massive de joueurs de la franchise. L’entreprise se tourne donc vers la technologie d’apprentissage automatique pour aider à automatiser la solution.

ToxMod est un système de modération vocale alimenté par l’IA, conçu pour identifier et agir contre ce qu’Activision appelle un « langage nuisible » qui viole le code de conduite du jeu . L’objectif est de compléter les mesures anti-toxicité existantes de Call of Duty, qui incluent un filtrage de texte en 14 langues et un système de rapport sur les joueurs dans le jeu.

Activision affirme que les données de ses précédents efforts anti-toxicité ont restreint le chat vocal ou textuel pour plus d’un million de comptes qui violaient son code de conduite. De plus, 20 pour cent de ceux qui ont reçu un premier avertissement n’ont pas récidivé, ce qui suggère qu’un retour clair est utile pour modérer le comportement des joueurs.

À première vue, la modération vocale en temps réel semble être une avancée notable pour lutter contre les comportements perturbateurs dans le jeu, d’autant plus que les problèmes de confidentialité qui peuvent généralement accompagner un tel système sont probablement absents dans un jeu vidéo. L’objectif est de rendre le jeu plus agréable pour tous les joueurs.

Cependant, à l’heure actuelle, les systèmes de détection de l’IA sont notoirement inconstants et peuvent produire des faux positifs, en particulier auprès des anglophones non natifs. Compte tenu des variations de qualité audio, des accents régionaux et des différentes langues, il est difficile pour un système de détection vocale de fonctionner parfaitement dans ces conditions. Heureusement, Activision affirme qu’un humain restera au courant des mesures coercitives :

« La détection s’effectue en temps réel, le système catégorisant et signalant le langage toxique en fonction du code de conduite de Call of Duty au fur et à mesure qu’il est détecté. Les violations détectées du Code de conduite peuvent nécessiter des examens supplémentaires des enregistrements associés pour identifier le contexte avant que l’application ne soit déterminée. Les mesures prises ne seront donc pas instantanées. À mesure que le système se développe, nos processus et nos délais de réponse évolueront.

En outre, Activision affirme que le système de modération du chat vocal de Call of Duty « ne soumet que des rapports sur les comportements toxiques, classés par type de comportement et un niveau de gravité évalué basé sur un modèle évolutif. » Les humains déterminent ensuite s’ils appliqueront les violations de modération du chat vocal. .

Le nouveau système de modération a commencé un test bêta à partir de mercredi, couvrant initialement l’Amérique du Nord et se concentrant sur les jeux existants Call of Duty : Modern Warfare II et Call of Duty : Warzone. Le déploiement complet de la technologie de modération, à l’exclusion de l’Asie, devrait coïncider avec le lancement de Modern Warfare III, commençant en anglais, avec d’autres langues ajoutées au fil du temps.

Malgré les inconvénients potentiels des faux positifs, il n’y a aucun moyen de désactiver l’écoute de l’IA. Comme le dit la FAQ d’Activision , « Les joueurs qui ne souhaitent pas que leur voix soit modérée peuvent désactiver le chat vocal dans le jeu dans le menu des paramètres. »