本文提出一種基于對齊學習的非自回歸Transformer（AL－NAT）語音識別方法。受端到端模型中編碼器CTC的輸出和目標序列具有單調(diào)相關性這一事實的啟發(fā)。我們將編碼器CTC的輸出作為解碼器的輸入，并定義了一種對齊損失函數(shù)用于最小化該輸入和目標序列之間的對齊成本矩陣。我們的方法不需要長度預測機制，在識別準確率和解碼速度方面相比已有的NAT模型取得了顯著提升。此外，為了學習上下文知識以提高識別準確率，我們進一步在編碼器和解碼器端分別增加了輕量級3－gram語言模型。實驗結(jié)果表明，分別在編碼器和解碼器端增加語言模型對識別性能有很大提升。

近年來，深度學習技術(shù)被引入到聲學回聲消除（AEC）中，并取得了顯著的效果。然而對于基于深度學習方法的AEC來說，最重要的問題是在多樣性場景下模型的泛化能力。與大多數(shù)處理整個頻段的方法不同，本文提出了用于端到端AEC的原地卷積遞歸神經(jīng)網(wǎng)絡（ICRN），它利用原地卷積和通道級的時間建模來確保近端信號信息得到保留。此外，本文采用復數(shù)頻譜映射與多任務學習策略，獲得更好的泛化能力。在多個不匹配的場景下進行的實驗表明，所提出的方法優(yōu)于以前的方法。

基于作者之前在時頻域上使用Inplace　CRN模型對每個頻率點進行單獨處理得到的顯著性能提升。在本文中，該方法將單頻點特征作為基本的處理單元，這使得模型可以統(tǒng)一RNN在時頻域中對頻率維度和時間維度的處理方式。在此基礎上，該方法將卷積神經(jīng)網(wǎng)絡（CNN）和RNN緊密結(jié)合起來作為一種基本的時頻域處理單元，最終得到了密連循環(huán)卷積神經(jīng)網(wǎng)絡（DRC－NET）。DRC－NET有效融合了RNN的無限沖擊響應特性和CNN的有限沖擊響應特性，使得性能得到了顯著提升。實驗結(jié)果表明，無論是非因果版本的DRC－NET還是因果版本的DRC－NET，語音去混響的性能都優(yōu)于SOTA基線模型。

本文針對偽造語音中的半真半假音頻鑒別提出了一種利用高頻奇異性檢測特征和序列信息進行音頻鑒偽的方法，以彌補對于半真半假音頻檢測方法的缺失。給定當前待檢測的音頻，該方法首先對音頻進行小波分解，并提取分解后的高頻分量進行重構(gòu)，提取出音頻中的高頻奇異點以及突變特征。然后利用長短時記憶模塊（LSTM）進行序列建模，進行初步的奇異點上下文建模以及定位。為了消除音頻本身存在的固有奇異點干擾，該方法組合了線性頻率倒譜系數(shù)（LFCC）作為補充。該方法不僅實現(xiàn)了對于半真半假音頻數(shù)據(jù)的鑒別，同時也對偽造的音頻片段進行定位。所提方法為一種新型的攻擊方式——半真半假音頻提供了一種有效方法，且實驗結(jié)果表明，相對于已有鑒偽方法，該方法在精度和魯棒性方面都有了很大的提高。

在本文中，作者研究了有監(jiān)督的單通道語音增強系統(tǒng)的損失－度量不匹配問題。大多數(shù)現(xiàn)有的語音增強系統(tǒng)的性能并不令人滿意，因為它們根據(jù)經(jīng)驗選擇的損失函數(shù)與不可微的評估指標存在語義上的差距，又稱損失－度量不匹配問題。在這項工作中，作者提出了一種簡單而有效的方法，為真實的前端語音增強場景生成合適的損失函數(shù)，以緩解損失－度量不匹配的問題。具體來說，該方法采用了函數(shù)平滑技術(shù)，通過一組基函數(shù)及其線性組合來逼近不可微的評價指標。實驗結(jié)果表明，由該方法生成的損失函數(shù)能夠幫助語音增強系統(tǒng)在大多數(shù)評價指標上取得更顯著的性能。

骨傳導（BC）麥克風通過將人類頭骨的振動轉(zhuǎn)換為電信號來捕獲語音信號。BC傳感器對噪聲不敏感，但帶寬有限。另一方面，傳統(tǒng)或空氣傳導?。ˋC）麥克風能夠捕獲全頻帶語音，但容易受到背景噪音。我們通過使用執(zhí)行復雜頻譜映射的卷積循環(huán)網(wǎng)絡結(jié)合AC和BC麥克風的優(yōu)勢。為了更好地利用來自兩種麥克風的信號，我們采用了基于注意力的融合以及早期融合和晚期融合策略。實驗證明了所提出的方法優(yōu)于其他最近結(jié)合BC和AC信號的語音增強方法。此外，我們的增強性能明顯優(yōu)于傳統(tǒng)的語音增強對應物，尤其是在低信噪比場景中。