Spotify käyttää tekoälyä podcaster-äänien kloonaamiseen ja kääntämiseen uudessa pilottiohjelmassa

Spotify julkaisi maanantaina rajoitetun pilottiohjelman, joka käyttää tekoälyä kääntämään podcastit automaattisesti eri kielille käyttämällä OpenAI:n puhesynteesitekniikkaa alkuperäisen puhujan äänen säilyttämiseen. Ominaisuus pyrkii tarjoamaan autenttisemman kuuntelukokemuksen perinteiseen kopiointiin verrattuna. Se voi myös aiheuttaa kielivirheitä, joita muiden kuin äidinkielenään puhuvien on vaikea havaita, koska konekäännös on kaukana täydellisestä tekniikasta.

Ohjelmaa ilmoittavassa lehdistötiedotteessa Spotify sanoo, että se on alusta, jonka avulla tekijät voivat jakaa töitään ympäri maailmaa. Sitten se esittää kysymyksen: ”Viimeaikaisten edistysten myötä olemme pohtineet: Onko olemassa muita tapoja kuroida kielikuilu, jotta nämä äänet kuuluisivat maailmanlaajuisesti?”

Spotifyn vastaus on Voice Translation, jonka kerrotaan kääntävän englanninkieliset äänet espanjaksi, ranskaksi ja saksaksi säilyttäen samalla puhujan ominaiset lauluominaisuudet. Ominaisuutta käytetään tällä hetkellä vain tiettyjen podcastereiden kanssa, kuten Dax Shepard, Monica Padman, Lex Fridman, Bill Simmons ja Steven Bartlett.

”Uskomme, että harkittu lähestymistapa tekoälyyn voi auttaa luomaan syvempiä yhteyksiä kuuntelijoiden ja tekijöiden välille, mikä on keskeinen osa Spotifyn tehtävää vapauttaa ihmisen luovuuden potentiaali”, sanoi Ziad Sultan, Spotifyn personointijohtaja ilmoituksessa.

X:llä Lex Friedman julkaisi näytteen hänen kloonatusta ja espanjaksi käännettyään äänestä ja kirjoitti: ” Tässä minä puhun espanjaa Spotifyn tekoälyinsinöörien hämmästyttävän työn ansiosta . Käännöksen ja äänikloonauksen tekee täysin tekoäly. Kieli voi luoda ymmärryksen esteitä ja siten ruokkia jakautumista. En malta odottaa, että tekoäly murtaa tämän esteen ja paljastaa yhteisen ihmisyytemme.”

Kadonnut käännettäessä

Mutta kaikki podcastit eivät ole innoissaan automaattisten tekoälykäännösten mahdollisuudesta. Retronautsin luoja ja juontaja Jeremy Parish vastasi BlueSkyn uutisiin : ”Toinen syy pyöritellä silmiäni, kun ihmiset kysyvät, miksi emme tarjoa podcastia Spotifyssa.”

Aiemmin olemme nähneet sekä Microsoftin että Metan äänen kloonaustekniikan analysoivan näytteitä lähdeäänestä ja täydentäneen sitä sitten suurella opetusdatajoukolla ääniä syntetisoidakseen uuden, samanlaisen äänen. Tämä tekniikka voi mahdollisesti epäonnistua, jos henkilön laulutyyli ei ole hyvin edustettuna harjoitusnäytteiden tietojoukossa, etenkään tietyillä aksenteilla .

Tässä Spotify lisää monimutkaisuutta ja toivoo voivansa kääntää merkityksen saumattomasti kielten välillä tekemättä virheitä, mitä Meta on myös yrittänyt SeamlessM4T:llä . Tekoälyyn perustuva käännös on edistynyt merkittävästi viimeisen vuosikymmenen aikana, mutta se ei ole syrjäyttänyt ihmiskääntäjiä kokonaan pelistä. Alan asiantuntijat huomauttavat , että nämä järjestelmät kompastuvat edelleen vivahteisiin eivätkä ymmärrä kulttuurikontekstia, mikä vaikuttaa käännetyn materiaalin laatuun.

Tekniset käyttäjät odottavat todennäköisesti käännösvirheitä, kun lähde on oikein kehystetty konekäännökseksi, mutta kun virheet tulevat podcasterin omalla äänellä, se voi lisätä ongelmia, varsinkin jos käännetty ääni irrotetaan kontekstista ja myöhemmin oletettu alkuperäiseksi. Lisäksi, jos alkuperäinen puhuja ei osaa käännettyä kieltä, hän ei voi tarkistaa, vastaako käännös oikein heidän alkuperäistä tarkoitustaan. Tämä antaa paljon luottamusta – ja henkilökohtaista mainetta – todistamattoman automaatiotekniikan käsiin.

Toistaiseksi näyttää siltä, ​​​​että Spotifyn ohjelma toimii rajoitetusti, vain valituissa podcaster-ohjelmissa, joten suostumuskysymykset podcast-vierasäänien kloonaamisesta eivät näytä olevan pelissä, ellei tämä oteta käyttöön laajemmin. Jatkossa Spotify toivoo saavansa palautetta tekijöiltä ja kuuntelijoilta äänenkäännösominaisuuden parantamiseksi. Kuitenkin, kun alustalla on yli 100 miljoonaa säännöllistä podcast-kuuntelijaa, tämä on 100 miljoonaa tapaa, joilla tämä kokeilu voi mennä huonosti, jos käännöstekniikka tekee kiusallisia virheitä.