AI-drevet detektering af hadefuld tale vil moderere stemmechat i Call of Duty

Onsdag annoncerede Activision, at det vil introducere real-time AI-drevet stemmechatmoderering i den kommende 10. november udgivelse af Call of Duty: Modern Warfare III . Virksomheden samarbejder med Modulate for at implementere denne funktion ved at bruge teknologi kaldet ToxMod til at identificere og handle mod hadefulde ytringer, mobning, chikane og diskrimination.

Selvom den brancheomspændende udfordring med giftig onlineadfærd ikke er unik for Call of Duty, siger Activision, at problemets omfang er blevet øget på grund af franchisens massive spillerbase. Så det drejer sig om maskinlæringsteknologi for at hjælpe med at automatisere løsningen.

ToxMod er et AI-drevet stemmemodereringssystem designet til at identificere og handle mod det, Activision kalder “skadeligt sprog”, der overtræder spillets adfærdskodeks . Målet er at supplere Call of Dutys eksisterende anti-toksicitetsforanstaltninger, som inkluderer tekstfiltrering på 14 sprog og et spillerrapporteringssystem i spillet.

Activision siger, at data fra dets tidligere antitoksicitetsindsats har begrænset tale- eller tekstchat for over 1 million konti, der overtrådte dets adfærdskodeks. Desuden fornærmede 20 procent af dem, der modtog en første advarsel, ikke igen, hvilket tyder på, at klar feedback er nyttig til at moderere spilleradfærd.

På overfladen virker stemmemoderering i realtid som et bemærkelsesværdigt fremskridt for at bekæmpe forstyrrende adfærd i spillet – især da privatlivsproblemer, der typisk følger med et sådant system, sandsynligvis er fraværende i et videospil. Målet er at gøre spillet sjovere for alle spillere.

Men i øjeblikket er AI-detektionssystemer notorisk ustabile og kan producere falske positiver, især med ikke-engelsktalende som modersmål. Givet variationer i lydkvalitet, regionale accenter og forskellige sprog, er det en stor opgave for et stemmeregistreringssystem at fungere fejlfrit under disse forhold. Heldigvis siger Activision, at et menneske vil forblive i løkken for håndhævelseshandlinger:

“Detektion sker i realtid, hvor systemet kategoriserer og markerer giftigt sprog baseret på Call of Duty Code of Conduct, efterhånden som det detekteres. Opdagede overtrædelser af adfærdskodeksen kan kræve yderligere gennemgange af tilknyttede optagelser for at identificere kontekst, før håndhævelse bestemmes. Derfor vil handlinger ikke være øjeblikkelige. I takt med at systemet vokser, vil vores processer og svartider udvikle sig.”

Yderligere siger Activision, at Call of Dutys stemmechatmodereringssystem “kun indsender rapporter om giftig adfærd, kategoriseret efter dens type adfærd og et vurderet sværhedsniveau baseret på en udviklende model.” Mennesker bestemmer derefter, om de vil håndhæve overtrædelser af stemmechatmoderering .

Det nye modereringssystem startede en beta-test fra onsdag, og dækkede indledningsvis Nordamerika og fokuserede på de eksisterende spil Call of Duty: Modern Warfare II og Call of Duty: Warzone. Den fulde udrulning af modereringsteknologien, undtagen Asien, er planlagt til at falde sammen med lanceringen af ​​Modern Warfare III, begyndende på engelsk, med yderligere sprog tilføjet over tid.

På trods af de potentielle ulemper ved falske positiver, er der ingen måde at fravælge AI-lytning. Som Activisions FAQ siger : “Spillere, der ikke ønsker at få deres stemme modereret, kan deaktivere stemmechat i spillet i indstillingsmenuen.”