Spotify utiliza IA para clonar y traducir voces de podcasters en un nuevo programa piloto

El lunes, Spotify lanzó un programa piloto limitado que utiliza IA para traducir automáticamente podcasts a varios idiomas, utilizando tecnología de síntesis de voz de OpenAI para preservar la voz del hablante original. La función tiene como objetivo ofrecer una experiencia auditiva más auténtica en comparación con el doblaje tradicional. También podría introducir errores de idioma que son difíciles de detectar para hablantes no nativos, ya que la traducción automática está lejos de ser una tecnología perfecta .

En su comunicado de prensa anunciando el programa, Spotify dice que es una plataforma que permite a los creadores compartir su trabajo en todo el mundo. Luego plantea una pregunta: “Con los avances recientes, nos hemos estado preguntando: ¿hay más formas de cerrar la brecha lingüística para que estas voces puedan ser escuchadas en todo el mundo?”

La respuesta de Spotify es Voice Translation, que supuestamente puede traducir voces en inglés al español, francés y alemán conservando las características vocales distintivas del hablante. Actualmente, la función se utiliza únicamente con podcasters seleccionados, como Dax Shepard, Monica Padman, Lex Fridman, Bill Simmons y Steven Bartlett.

«Creemos que un enfoque reflexivo de la IA puede ayudar a construir conexiones más profundas entre oyentes y creadores, un componente clave de la misión de Spotify de desbloquear el potencial de la creatividad humana», dijo Ziad Sultan, vicepresidente de personalización de Spotify, en el anuncio.

En X, Lex Friedman publicó una muestra de su voz clonada y traducida al español, escribiendo: “ Este soy yo hablando español, gracias al increíble trabajo de los ingenieros de inteligencia artificial de Spotify. La traducción y la clonación de voz se realizan íntegramente mediante IA. El lenguaje puede crear barreras de comprensión y, por tanto, alimentar la división. No puedo esperar a que la IA derribe esta barrera y revele nuestra humanidad común”.

Perdido en la traducción

Pero no todos los podcasters están entusiasmados con el potencial de las traducciones automatizadas con IA. En reacción a las noticias en BlueSky, el cocreador y copresentador de Retronauts , Jeremy Parish, publicó : «Otra razón para poner los ojos en blanco cuando la gente pregunta por qué no hacemos que el podcast esté disponible en Spotify».

En el pasado, hemos visto la tecnología de clonación de voz de Microsoft y Meta analizar muestras de audio fuente y luego aumentar ese audio con un gran conjunto de datos de entrenamiento de voces para sintetizar una voz nueva y similar. Esa tecnología puede fallar potencialmente cuando el estilo vocal de una persona no está bien representado en el conjunto de datos de muestras de entrenamiento, especialmente con ciertos acentos .

Aquí, Spotify está agregando una capa adicional de complejidad, con la esperanza de traducir perfectamente el significado entre idiomas sin cometer errores, algo que Meta también ha intentado con SeamlessM4T . Durante la última década, la traducción impulsada por la IA ha logrado grandes avances, pero no ha dejado completamente fuera del juego a los traductores humanos. Los expertos de la industria señalan que estos sistemas todavía se equivocan con los matices y no comprenden el contexto cultural, lo que afecta la calidad del material traducido.

Los usuarios expertos en tecnología probablemente esperen errores de traducción cuando la fuente está correctamente estructurada como una traducción automática, pero cuando los errores vienen en la propia voz del podcaster, puede agregar una nueva dimensión de problemas, especialmente si el audio traducido se saca de contexto y Más tarde se supuso que era original. Además, si el hablante original no conoce el idioma traducido, no puede verificar si la traducción refleja con precisión sus intenciones originales. Eso es poner mucha confianza (y reputación personal) en manos de tecnología de automatización no probada.

Por ahora, parece que el programa de Spotify está funcionando de forma limitada y voluntaria solo entre podcasters seleccionados, por lo que los problemas de consentimiento sobre la clonación de voces de invitados de podcasts no parecen estar en juego a menos que esto se implemente más ampliamente. En el futuro, Spotify dice que espera recopilar comentarios de creadores y oyentes para perfeccionar la función de traducción de voz. Sin embargo, con más de 100 millones de oyentes habituales de podcasts en la plataforma, son 100 millones de maneras en que este experimento podría salir mal si la tecnología de traducción comete errores vergonzosos.