DeepMind在twitter發(fā)文稱:“讓人類和機(jī)器對話是人機(jī)交互領(lǐng)域長久以來的夢想!”
通常我們聽到的計(jì)算機(jī)或手機(jī)輸出的文本轉(zhuǎn)語音(TTS)音頻都會(huì)覺得別扭、生硬,甚至詭異。此次DeepMind推出的這款新型語音合成系統(tǒng)WaveNet將大大改善這種情況,讓機(jī)器輸出音頻更自然、更像人類發(fā)聲。
當(dāng)然,讓計(jì)算機(jī)發(fā)出聲音,這并不是什么新鮮事兒。
最常用的TTS方法可能是拼接式語音合成(ConcatenativeSynthesis):先錄制單一說話者的大量語音片段,建立一個(gè)大型語料庫,然后簡單地從中進(jìn)行選擇并合成完整的大段音頻、詞語和句子。這種“機(jī)械式”方法使得計(jì)算機(jī)輸出音頻經(jīng)常產(chǎn)生語音毛刺、語調(diào)的詭異變化、甚至結(jié)巴,并且無法調(diào)整語音的強(qiáng)調(diào)性音節(jié)或情緒。
另外一種方法是所謂的參數(shù)化方法,利用數(shù)學(xué)模型對已知的聲音進(jìn)行排列、組裝成詞語或句子來重新創(chuàng)造音頻。這種技術(shù)倒是不易產(chǎn)生聲音毛刺,所以確實(shí)讓機(jī)器輸出的音頻聽起來不那么機(jī)器化。
然而,這兩種技術(shù)的共同點(diǎn)是:簡單、機(jī)械地將語音片段拼接起來,而不是從零開始創(chuàng)造出整個(gè)音頻波形。
WaveNet正是一種從零開始創(chuàng)造整個(gè)音頻波形輸出的技術(shù)。
WaveNet利用真實(shí)的人類聲音剪輯和相應(yīng)的語言、語音特征來訓(xùn)練其卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetworks),讓其能夠辨別這兩方面(語言和語音)的音頻模式。使用中,對WaveNet系統(tǒng)輸入新的文本信息,也即相對應(yīng)的新的語音特征,WaveNet系統(tǒng)會(huì)重新生成整個(gè)原始音頻波形來描述這個(gè)新的文本信息。
WaveNet組織結(jié)構(gòu)
WaveNet是逐步進(jìn)行操作的:首先,生成一個(gè)音頻波形樣本;接著再處理、生成一個(gè)音頻波形樣本,逐步進(jìn)行。其中非常重要的是,新的樣本生成都會(huì)受到此前樣本結(jié)果的影響,也即每一步的樣本結(jié)果都將影響下一步的樣本預(yù)測,并幫助生成下一步的樣本。
最終的音頻結(jié)果確實(shí)表現(xiàn)驚人(試聽參照DeepMind網(wǎng)站:https://deepmind.com/blog/wavenet-generative-model-raw-audio/)。相比于連續(xù)合成和參數(shù)化合成技術(shù),WaveNet輸出音頻明顯更接近自然人聲。
DeepMind的WaveNet技術(shù)無疑是計(jì)算機(jī)語音合成領(lǐng)域的一大突破。然而,由于WaveNet是計(jì)算整個(gè)原始音頻波形,每輸出一秒音頻神經(jīng)網(wǎng)絡(luò)必須處理16000個(gè)樣本,所以WaveNet技術(shù)需要強(qiáng)大的運(yùn)算能力來合成語音。
據(jù)DeepMind透露給《金融時(shí)報(bào)》(FinancialTimes)的內(nèi)部消息稱,這意味著目前還不能應(yīng)用于谷歌或其他的任何一項(xiàng)產(chǎn)品中。
然而,這并不是計(jì)算機(jī)面臨的唯一語言問題。翻譯自然語言和手寫文字也是人工智能系統(tǒng)的一大難題。
起碼以現(xiàn)在這速度,在計(jì)算機(jī)形成真正的智能思考能力之前,它們應(yīng)該早就能夠用花哨的語言和人類交流了。