AI-aangedreven detectie van haatzaaiende uitspraken zal de voicechat in Call of Duty modereren

Woensdag kondigde Activision aan dat het real-time AI-aangedreven voicechat-moderatie zal introduceren in de komende release van Call of Duty: Modern Warfare III op 10 november . Het bedrijf werkt samen met Modulate om deze functie te implementeren, waarbij gebruik wordt gemaakt van de technologie genaamd ToxMod om haatzaaiende uitlatingen, pesterijen, intimidatie en discriminatie te identificeren en er actie tegen te ondernemen.

Hoewel de branchebrede uitdaging van giftig online gedrag niet uniek is voor Call of Duty, zegt Activision dat de omvang van het probleem is vergroot vanwege de enorme spelersbasis van de franchise. Daarom wendt het zich tot machine learning-technologie om de oplossing te helpen automatiseren.

ToxMod is een door AI aangedreven stemmoderatiesysteem dat is ontworpen om wat Activision ‘schadelijk taalgebruik’ noemt dat de gedragscode van het spel schendt, te identificeren en hiertegen op te treden . Het doel is om de bestaande anti-toxiciteitsmaatregelen van Call of Duty aan te vullen, waaronder tekstfiltering in 14 talen en een in-game spelersrapportagesysteem.

Activision zegt dat gegevens van eerdere inspanningen tegen toxiciteit de spraak- of tekstchat hebben beperkt voor meer dan 1 miljoen accounts die de gedragscode hebben geschonden. Bovendien heeft 20 procent van degenen die een eerste waarschuwing kregen, geen recidive gepleegd, wat erop wijst dat duidelijke feedback nuttig is om het gedrag van spelers te modereren.

Op het eerste gezicht lijkt real-time stemmoderatie een opmerkelijke vooruitgang in de strijd tegen storend gedrag in games, vooral omdat privacyproblemen die doorgaans bij een dergelijk systeem voorkomen, waarschijnlijk afwezig zijn in een videogame. Het doel is om het spel voor alle spelers leuker te maken.

Op dit moment zijn AI-detectiesystemen echter notoir wispelturig en kunnen ze valse positieven opleveren, vooral bij niet-moedertaalsprekers van het Engels. Gezien variaties in audiokwaliteit, regionale accenten en verschillende talen is het een hele opgave voor een stemdetectiesysteem om onder die omstandigheden feilloos te werken. Gelukkig zegt Activision dat een mens op de hoogte zal blijven van handhavingsmaatregelen:

“De detectie gebeurt in realtime, waarbij het systeem giftige taal categoriseert en markeert op basis van de Call of Duty-gedragscode zodra deze wordt gedetecteerd. Bij gedetecteerde schendingen van de Gedragscode kunnen aanvullende beoordelingen van de bijbehorende opnames nodig zijn om de context te identificeren voordat handhaving wordt vastgesteld. Daarom zullen de ondernomen acties niet onmiddellijk plaatsvinden. Naarmate het systeem groeit, zullen onze processen en responstijden evolueren.”

Verder zegt Activision dat het voicechat-moderatiesysteem van Call of Duty “alleen rapporten indient over giftig gedrag, gecategoriseerd op basis van het soort gedrag en een beoordeeld niveau van ernst op basis van een evoluerend model.” Mensen bepalen vervolgens of ze schendingen van voicechat-moderatie zullen afdwingen. .

Het nieuwe moderatiesysteem begon woensdag met een bètatest, die aanvankelijk Noord-Amerika bestreek en zich concentreerde op de bestaande games Call of Duty: Modern Warfare II en Call of Duty: Warzone. De volledige uitrol van de moderatietechnologie, met uitzondering van Azië, zal naar verwachting samenvallen met de lancering van Modern Warfare III, beginnend in het Engels, en in de loop van de tijd zullen er extra talen worden toegevoegd.

Ondanks de potentiële nadelen van valse positieven, is er geen manier om je af te melden voor het meeluisteren van AI. Zoals de FAQ van Activision zegt : “Spelers die niet willen dat hun stem wordt gemodereerd, kunnen de in-game voicechat uitschakelen in het instellingenmenu.”