La detección de discursos de odio impulsada por IA moderará el chat de voz en Call of Duty

El miércoles, Activision anunció que introducirá moderación de chat de voz en tiempo real impulsada por IA en el próximo lanzamiento del 10 de noviembre de Call of Duty: Modern Warfare III . La empresa se está asociando con Modulate para implementar esta función, utilizando una tecnología llamada ToxMod para identificar y tomar medidas contra el discurso de odio, la intimidación, el acoso y la discriminación.

Si bien el desafío que representa el comportamiento tóxico en línea en toda la industria no es exclusivo de Call of Duty, Activision dice que la escala del problema se ha incrementado debido a la enorme base de jugadores de la franquicia. Por eso, está recurriendo a la tecnología de aprendizaje automático para ayudar a automatizar la solución.

ToxMod es un sistema de moderación de voz impulsado por inteligencia artificial diseñado para identificar y actuar contra lo que Activision llama «lenguaje dañino» que viola el código de conducta del juego . El objetivo es complementar las medidas antitoxicidad existentes de Call of Duty, que incluyen filtrado de texto en 14 idiomas y un sistema de informes de jugadores en el juego.

Activision dice que los datos de sus esfuerzos anteriores contra la toxicidad han restringido el chat de voz o texto para más de 1 millón de cuentas que violaban su código de conducta. Además, el 20 por ciento de los que recibieron una primera advertencia no reincidieron, lo que sugiere que una retroalimentación clara es útil para moderar el comportamiento de los jugadores.

A primera vista, la moderación de voz en tiempo real parece un avance notable para combatir el comportamiento disruptivo en el juego, especialmente porque las preocupaciones de privacidad que normalmente vienen con un sistema de este tipo probablemente no estén presentes en un videojuego. El objetivo es hacer que el juego sea más divertido para todos los jugadores.

Sin embargo, por el momento, los sistemas de detección de IA son notoriamente volubles y pueden producir falsos positivos, especialmente entre hablantes no nativos de inglés. Dadas las variaciones en la calidad del audio, los acentos regionales y los diversos idiomas, es una tarea difícil para un sistema de detección de voz funcionar perfectamente en esas condiciones. Afortunadamente, Activision dice que un humano permanecerá informado para las acciones de cumplimiento:

“La detección ocurre en tiempo real, y el sistema clasifica y marca el lenguaje tóxico según el Código de conducta de Call of Duty a medida que se detecta. Las violaciones detectadas del Código de Conducta pueden requerir revisiones adicionales de las grabaciones asociadas para identificar el contexto antes de que se determine su aplicación. Por tanto, las acciones que se adopten no serán instantáneas. A medida que el sistema crezca, nuestros procesos y tiempos de respuesta evolucionarán”.

Además, Activision dice que el sistema de moderación del chat de voz de Call of Duty «sólo envía informes sobre comportamiento tóxico, categorizados por su tipo de comportamiento y un nivel de gravedad clasificado basado en un modelo en evolución». Luego, los humanos determinan si impondrán violaciones de moderación del chat de voz. .

El nuevo sistema de moderación comenzó una prueba beta a partir del miércoles, cubriendo inicialmente América del Norte y enfocándose en los juegos existentes Call of Duty: Modern Warfare II y Call of Duty: Warzone. Se planea que el lanzamiento completo de la tecnología de moderación, excluyendo Asia, coincida con el lanzamiento de Modern Warfare III, comenzando en inglés, con idiomas adicionales agregados con el tiempo.

A pesar de los posibles inconvenientes de los falsos positivos, no hay forma de optar por no escuchar la IA. Como dice la pregunta frecuente de Activision , «Los jugadores que no deseen que se modere su voz pueden desactivar el chat de voz en el juego en el menú de configuración».