近日，由國際音頻頂級會議ICASSP（International Conference on Acoustics, Speech, and Signal Processing，國際音頻、語音與信號處理會議）聯(lián)合阿里巴巴發(fā)起的ICASSP 2022多通道多方會議轉(zhuǎn)錄挑戰(zhàn)賽（M2MeT）落下帷幕，喜馬拉雅智能語音實(shí)驗(yàn)室和中國科學(xué)技術(shù)大學(xué)合作，在說話人日志賽道獲得第三名。同時(shí)，相關(guān)論文已經(jīng)被ICASSP 2022收錄，并受邀于今年5月份在新加坡舉辦的線上/線下會議中進(jìn)行展示，這是今年喜馬拉雅的第二項(xiàng)研究技術(shù)成果得到ICASSP 2022的認(rèn)可。
此前，喜馬拉雅自研的跨語言語音合成創(chuàng)新技術(shù)論文有關(guān)跨語言語音合成創(chuàng)新技術(shù)的論文已被ICASSP 2022錄用。ICASSP是由IEEE（電氣電子工程師學(xué)會）主辦的在信號處理及其應(yīng)用方面的頂級會議，在國際上享有盛譽(yù)并具有廣泛的學(xué)術(shù)影響力。今年是ICASSP的第47屆會議，會議主題為“以人為本的信號處理”。
而M2MeT挑戰(zhàn)賽是ICASSP2022信號處理大挑戰(zhàn)（Grand Challenge）之一，包括說話人日志和多說話人語音識別兩個(gè)賽道，旨在進(jìn)一步促進(jìn)該領(lǐng)域的深入研究。喜馬拉雅和中國科學(xué)技術(shù)大學(xué)合作在說話人日志賽道取得了4.05% 的日志錯(cuò)誤率（DER）結(jié)果，名列第三位。 第一、第二名分別由昆山杜克大學(xué)的李明教授團(tuán)隊(duì)(2.98%)和騰訊-香港中文大學(xué)團(tuán)隊(duì)(3.98%)獲得。
說話人日志技術(shù)，也稱說話人分段聚類，通過記錄多說話人音頻數(shù)據(jù)上屬于特定說話人的語音事件來解決“誰在什么時(shí)候說話”的問題，比如在語音聊天室場景中，可以告訴開會者當(dāng)前誰在說話。同時(shí)，該技術(shù)也在其他相關(guān)的語音處理技術(shù)中扮演著重要角色，比如會議轉(zhuǎn)寫的語音識別，或者為語音分離、VAD等其他語音技術(shù)提供關(guān)鍵的先驗(yàn)信息。
會議場景是語音技術(shù)應(yīng)用中最有價(jià)值、同時(shí)也是最具挑戰(zhàn)性的場景之一。因?yàn)檫@樣的場景包含了豐富的講話風(fēng)格和復(fù)雜的聲學(xué)條件，需要考慮到重疊語音、數(shù)量未知的說話人、大型會議室中的遠(yuǎn)場信號、噪音和混響等挑戰(zhàn)。而此次的M2MeT挑戰(zhàn)賽便聚焦中文會議數(shù)據(jù)，對參賽團(tuán)隊(duì)提出了挑戰(zhàn)。
為了提高日志準(zhǔn)確率，喜馬拉雅和中國科學(xué)技術(shù)大學(xué)合作研發(fā)的系統(tǒng)，在語音的預(yù)處理上，首先使用麥克陣列技術(shù)對信號進(jìn)行降噪、降混響，使得信號相對純凈，之后使用基于深度學(xué)習(xí)的聲紋模型和譜聚類方法，對多人遠(yuǎn)場數(shù)據(jù)進(jìn)行初步處理，并使用多通道標(biāo)簽融合技術(shù)對不同通道的結(jié)果進(jìn)行融合，進(jìn)一步提升準(zhǔn)確率。
由于在挑戰(zhàn)賽的會議場景中，多人同時(shí)說話的比例達(dá)到30~40%，傳統(tǒng)聚類方法在該場景下會產(chǎn)生極高的漏判錯(cuò)誤(MISS ERROR)，因此喜馬拉雅創(chuàng)新研發(fā)的系統(tǒng)還使用target-speaker VAD將聚類問題轉(zhuǎn)化為多標(biāo)簽問題處理，并使用神經(jīng)網(wǎng)絡(luò)進(jìn)行建模和訓(xùn)練。在采用多種數(shù)據(jù)增強(qiáng)和后處理策略后，成功將DER由基線的15.6%降低到4.05%，基本達(dá)到了實(shí)用要求。
喜馬拉雅已在AI語音技術(shù)領(lǐng)域潛心鉆研多年，并在內(nèi)部專門成立了喜馬拉雅智能語音實(shí)驗(yàn)室這一核心部門，長期專注于語音合成、識別、語音信號處理、編解碼以及智能音效的研究和開發(fā)，而這次說話人日志技術(shù)的研究成果便來自于這一部門。目前，喜馬拉雅已經(jīng)在研發(fā)類似會議場景的多人同時(shí)會議轉(zhuǎn)寫項(xiàng)目，其中說話人日志解決了誰在什么時(shí)候說話的問題，大幅度提升了撰寫效果。未來，喜馬拉雅的說話人日志技術(shù)，也將可能被應(yīng)用到更多場景中，比如語音聊天室，告訴參與者當(dāng)前誰在說話；又比如喜馬拉雅的AI文稿，說話人日志技術(shù)通過提供說話人的信息，有利于進(jìn)一步提高AI文稿的準(zhǔn)確率。
除了說話人日志，喜馬拉雅的TTS（語音合成）技術(shù)也處于行業(yè)前列，并已經(jīng)廣泛被運(yùn)用于評書、新聞、小說等多種內(nèi)容的制作中，正助力喜馬拉雅在現(xiàn)有的“UGC + PGC + PUGC”內(nèi)容生態(tài)之外，進(jìn)一步拓展AIGC的可能性。
2021年，喜馬拉雅通過將自主設(shè)計(jì)單獨(dú)的韻律提取模塊融入到 HiTTS 技術(shù)框架，完美復(fù)現(xiàn)了單田芳的“聲音”，目前已用單田芳的AI合成音上線了超過80張的“單田芳聲音重現(xiàn)”專輯，其中，《毛氏三兄弟》和歷史類作品的聲音完播率遠(yuǎn)超過普通人聲作品，為未來出版物大量有聲化提供了新的解決方案。此前喜馬拉雅被ICASSP 2022S收錄的自研跨語言語音合成技術(shù)，未來將可能讓我們聽到單田芳先生的“聲音”來播講英文內(nèi)容。同時(shí)，2021年，還有新京報(bào)、環(huán)球時(shí)報(bào)、瀟湘晨報(bào)、時(shí)代周報(bào)、海外網(wǎng)、刺猬公社等眾多主流媒體入駐喜馬拉雅，借助喜馬拉雅TTS技術(shù)加速制作新聞?lì)愐纛l節(jié)目，讓聽眾有了更多的渠道聽到更權(quán)威的新聞。
未來，喜馬拉雅將持續(xù)投入語音技術(shù)的研發(fā)升級，不斷創(chuàng)新和突破，進(jìn)一步打開對于聲音的想象，讓技術(shù)加持聲音、讓聲音服務(wù)生活。