Spotify는 AI를 사용하여 새로운 파일럿 프로그램에서 팟캐스터 음성을 복제하고 번역합니다.

월요일에 Spotify는 원래 화자의 음성을 보존하기 위해 OpenAI의 음성 합성 기술 을 사용하여 AI를 사용하여 팟캐스트를 다양한 언어로 자동 번역하는 제한된 파일럿 프로그램을 출시했습니다 . 이 기능은 기존 더빙에 비해 더욱 실제적인 청취 경험을 제공하는 것을 목표로 합니다. 기계 번역은 완벽한 기술과는 거리가 멀기 때문에 원어민이 아닌 사람이 감지하기 어려운 언어 오류가 발생할 수도 있습니다 .

스포티파이는 이 프로그램을 발표한 보도 자료에서 창작자들이 자신의 작품을 전 세계에 공유할 수 있는 플랫폼이라고 밝혔습니다. 그런 다음 다음과 같은 질문을 합니다. “최근 발전을 통해 우리는 이러한 목소리가 전 세계적으로 들을 수 있도록 언어 격차를 해소할 수 있는 더 많은 방법이 있는지 궁금합니다.”

Spotify의 대답은 음성 번역입니다. 이 기술은 화자의 독특한 보컬 특성을 유지하면서 영어 음성을 스페인어, 프랑스어, 독일어로 번역할 수 있는 것으로 알려졌습니다. 이 기능은 현재 Dax Shepard, Monica Padman, Lex Fridman, Bill Simmons 및 Steven Bartlett과 같은 일부 팟캐스터에서만 사용되고 있습니다.

Spotify의 개인화 부문 부사장인 Ziad Sultan은 발표문에서 “우리는 AI에 대한 사려 깊은 접근 방식이 청취자와 창작자 사이에 더 깊은 연결을 구축하는 데 도움이 될 수 있다고 믿습니다. 이는 인간 창의성의 잠재력을 실현하려는 Spotify 사명의 핵심 요소입니다.”라고 말했습니다.

X에서 Lex Friedman은 자신의 목소리를 복제하여 스페인어로 번역한 샘플을 게시 하고 다음과 같이 썼습니다 . 번역 및 음성 복제는 모두 AI에 의해 수행됩니다. 언어는 이해의 장벽을 만들어 분열을 촉진할 수 있습니다. AI가 이 장벽을 허물고 우리의 공통된 인간성을 드러내기를 기대합니다.”

번역 중 손실

그러나 모든 팟캐스터가 자동화된 AI 번역의 잠재력에 관심을 갖는 것은 아닙니다. BlueSky의 뉴스에 반응하여 Retronauts 의 공동 창작자이자 공동 진행자인 Jeremy Parish는 “사람들이 왜 우리가 Spotify에서 팟캐스트를 제공하지 않는지 물을 때 눈을 굴리는 또 다른 이유”라고 게시했습니다 .

과거에는 Microsoft 와 Meta 의 음성 복제 기술 이 소스 오디오 샘플을 분석한 다음 대규모 음성 훈련 데이터 세트로 해당 오디오를 보강하여 새롭고 유사한 음성을 합성하는 것을 보았습니다. 특히 특정 악센트가 있는 훈련 샘플의 데이터 세트에서 사람의 보컬 스타일이 잘 표현되지 않으면 해당 기술이 잠재적으로 실패할 수 있습니다 .

여기에서 Spotify는 실수 없이 언어 간의 의미를 원활하게 번역하기를 희망하면서 복잡성의 추가 계층을 추가하고 있으며 Meta도 SeamlessM4T를 통해 시도한 것입니다 . 지난 10년 동안 AI 기반 번역은 큰 발전을 이루었지만 인간 번역가를 완전히 몰아내지는 못했습니다. 업계 전문가들은 이러한 시스템이 여전히 뉘앙스에 문제가 있고 문화적 맥락을 이해하지 못해 번역된 자료의 품질에 영향을 미친다고 지적합니다 .

기술에 정통한 사용자는 소스가 기계 번역으로 적절하게 구성되면 번역 실수를 예상할 가능성이 높습니다. 그러나 팟캐스터 자신의 목소리에서 실수가 발생할 경우 새로운 차원의 문제가 추가될 수 있습니다. 특히 번역된 오디오가 문맥에서 벗어나고 나중에 원본으로 추정됩니다. 또한 원어민이 번역된 언어를 모르면 번역이 원래 의도를 정확하게 반영하는지 확인할 수 없습니다. 이는 입증되지 않은 자동화 기술의 손에 많은 신뢰와 개인적 평판을 부여하는 것입니다.

현재 Spotify의 프로그램은 일부 팟캐스터들 사이에서만 제한적으로 선택적으로 작동하는 것으로 보이므로 팟캐스트 게스트 음성 복제에 대한 동의 문제는 이것이 더 광범위하게 출시되지 않는 한 문제가 되지 않는 것 같습니다. Spotify는 앞으로 제작자와 청취자로부터 피드백을 수집하여 음성 번역 기능을 개선할 수 있기를 희망한다고 밝혔습니다. 그러나 플랫폼에 1억 명이 넘는 정규 팟캐스트 청취자가 있기 때문에 번역 기술이 당혹스러운 실수를 저지르면 이 실험이 제대로 실패할 수 있는 방법이 1억 개가 넘습니다.