A detecção de discurso de ódio com tecnologia de IA moderará o bate-papo por voz em Call of Duty

Na quarta-feira, a Activision anunciou que apresentará moderação de bate-papo por voz em tempo real com tecnologia de IA no próximo lançamento de Call of Duty: Modern Warfare III, em 10 de novembro . A empresa fez parceria com a Modulate para implementar esse recurso, usando tecnologia chamada ToxMod para identificar e tomar medidas contra discurso de ódio, bullying, assédio e discriminação.

Embora o desafio do comportamento online tóxico em toda a indústria não seja exclusivo de Call of Duty, a Activision diz que a escala do problema aumentou devido à enorme base de jogadores da franquia. Portanto, está recorrendo à tecnologia de aprendizado de máquina para ajudar a automatizar a solução.

ToxMod é um sistema de moderação de voz alimentado por IA projetado para identificar e agir contra o que a Activision chama de “linguagem prejudicial” que viola o código de conduta do jogo . O objetivo é complementar as medidas antitoxicidade existentes do Call of Duty, que incluem filtragem de texto em 14 idiomas e um sistema de denúncia de jogadores no jogo.

A Activision afirma que os dados de seus esforços antitoxicidade anteriores restringiram o bate-papo por voz ou texto para mais de 1 milhão de contas que violaram seu código de conduta. Além disso, 20% dos que receberam uma primeira advertência não reincidiram, sugerindo que um feedback claro é útil para moderar o comportamento dos jogadores.

Superficialmente, a moderação de voz em tempo real parece um avanço notável para combater comportamentos perturbadores no jogo – especialmente porque as preocupações com a privacidade que normalmente acompanham esse sistema provavelmente estão ausentes em um videogame. O objetivo é tornar o jogo mais divertido para todos os jogadores.

No entanto, neste momento, os sistemas de deteção de IA são notoriamente instáveis ​​e podem produzir falsos positivos, especialmente com falantes não nativos de inglês. Dadas as variações na qualidade do áudio, sotaques regionais e vários idiomas, é difícil que um sistema de detecção de voz funcione perfeitamente nessas condições. Felizmente, a Activision diz que um humano permanecerá informado sobre as ações de fiscalização:

“A detecção acontece em tempo real, com o sistema categorizando e sinalizando linguagem tóxica com base no Código de Conduta do Call of Duty à medida que é detectada. As violações detectadas do Código de Conduta podem exigir análises adicionais das gravações associadas para identificar o contexto antes que a aplicação seja determinada. Portanto, as ações tomadas não serão instantâneas. À medida que o sistema cresce, nossos processos e tempos de resposta evoluirão.”

Além disso, a Activision diz que o sistema de moderação de bate-papo por voz do Call of Duty “apenas envia relatórios sobre comportamento tóxico, categorizados por seu tipo de comportamento e um nível de gravidade avaliado com base em um modelo em evolução”. .

O novo sistema de moderação iniciou um teste beta a partir de quarta-feira, cobrindo inicialmente a América do Norte e focando nos jogos existentes Call of Duty: Modern Warfare II e Call of Duty: Warzone. A implementação completa da tecnologia de moderação, excluindo a Ásia, está planejada para coincidir com o lançamento do Modern Warfare III, começando em inglês, com idiomas adicionais adicionados ao longo do tempo.

Apesar das possíveis desvantagens dos falsos positivos, não há como cancelar a escuta da IA. Como diz o FAQ da Activision , “Os jogadores que não desejam ter sua voz moderada podem desativar o bate-papo por voz no jogo no menu de configurações”.