WebRtcAec_Process接口如上，參數(shù)reported_delay_ms為當前設(shè)備需要調(diào)整延時的目標值。如某Android設(shè)備固定延時為400ms左右，400ms已經(jīng)超出濾波器覆蓋的延時范圍，至少需要調(diào)整300ms延時，才能滿足回聲消除沒有回聲的要求。固定延時調(diào)整在WebRTCAEC算法開始之初作用一次,為什么target_delay是這么計算？inttarget_delay=startup_size_ms*self->rate_factor*8;startup_size_ms其實就是設(shè)置下去的reported_delay_ms，這一步將計算時間毫秒轉(zhuǎn)化為樣本點數(shù)。16000hz采樣中，10ms表示160個樣本點，因此target_delay實際就是需要調(diào)整的目標樣本點數(shù)（aecpc->rate_factor=aecpc->splitSampFreq/8000=2）。我們用330ms延時的數(shù)據(jù)測試：如果設(shè)置默認延時為240ms，overhead_elements次被調(diào)整了-60個block，負值表示向前查找，正好為60*4=240ms，之后線性濾波器固定index=24，表示24*4=96ms延時，二者之和約等于330ms。②大延時檢測是基于遠近端數(shù)據(jù)相似性在遠端大緩存中查找相似的幀的過程，其算法原理有點類似音頻指紋中特征匹配的思想。大延時調(diào)整的能力是對固定延時調(diào)整與線型濾波器能力的補充，使用它的時候需要比較慎重。需要控制調(diào)整的頻率，以及控制造成非因果的風(fēng)險。

     雙耦合聲學(xué)回聲消除算法的主要貢獻體現(xiàn)在兩個方面。移動聲學(xué)回聲介紹

    他的是線性回聲傳遞函數(shù)?；谶@樣的數(shù)學(xué)假設(shè)，我們收到的信號y就可以表示成發(fā)射的信號x分別跟這樣兩個傳遞函數(shù)進行卷積之后的結(jié)果。接下來我們對這個模型進行了適當?shù)暮喕喕饕腔跀?shù)學(xué)分解，我們假設(shè)非線性的傳遞函數(shù)，可以分解成線性跟非線性這樣兩個系統(tǒng)函數(shù)的組合形式，就會得到中間的方程。接下來對中間的方程進行變量替換，就得到這個表達式，這個表達式它的物理意義很清晰，我們從可以看到，整個回聲路徑是可以表示成線性回聲路徑跟非線性回聲路徑二者之和的形式，這是它的物理意義。2.雙耦合自適應(yīng)濾波器,基于這樣一個數(shù)學(xué)模型，接下來我們就構(gòu)建了一種新的濾波器結(jié)構(gòu)，稱之為雙耦合自適應(yīng)濾波器。這個濾波器跟傳統(tǒng)線性的自適應(yīng)濾波器相比，主要有兩個方面的不同，個不同是傳統(tǒng)的線性濾波器只有一個學(xué)習(xí)單元，而我們的這個濾波器有兩個學(xué)習(xí)單元，分別是這里的線性回聲路徑濾波器，我們用Wl來表示。還有非線性的回聲路徑濾波器，我們用Wn來表示。第二個不同就是，我們在這兩個濾波器之間還加入了一個耦合因子，這個耦合因子目的就是為了協(xié)同二者更好的工作，讓二者能夠發(fā)揮出比較大的效能，甚至能夠起到1+1＞2的效果。

  移動聲學(xué)回聲介紹介紹非線性聲學(xué)回聲消除的公開文獻也少之又少。

    喇叭發(fā)聲單元跟麥克接收單元之間，通常是需要做隔振處理的，如果沒有隔振處理的話，那么在喇叭發(fā)聲的過程中，他所產(chǎn)生的振動會通過物理方式傳遞到麥克接收端。對麥克接收到的聲學(xué)信號進行調(diào)制，而這種振動本質(zhì)上是一種隨機的、非線性的振動，所以它必然會帶來非線性失真。手機聲學(xué)特性調(diào)研我們之前針對市面上主要的手機機型做過一次調(diào)研，主要調(diào)查聲學(xué)特性。結(jié)果我們很驚訝地發(fā)現(xiàn)，市面上超過半數(shù)的手機機型，聲學(xué)特性不夠理想，對應(yīng)這里面的“較差”和“極差”這兩檔。我們平時用手機開外音玩游戲，或者語音通話時，經(jīng)常會出現(xiàn)漏回聲問題和雙講剪切問題，就與手機聲學(xué)特性不佳有直接聯(lián)系。當然這組數(shù)據(jù)只是針對手機這種電子產(chǎn)品，市面上類似于手機這樣的電子產(chǎn)品還有很多，它們應(yīng)該也有類似的問題。這組數(shù)據(jù)告訴我們，非線性失真問題在我們生活中的電子產(chǎn)品里是一個普遍存在的問題，我相信對這個問題的研究將會是一個很有價值也很有意義的方向。

    23.避免廳堂音質(zhì)缺陷的方法主要是從廳堂的體形設(shè)計和吸聲材料布置兩方面入手，消除產(chǎn)生音質(zhì)缺陷的條件。例如，為了消除回聲，應(yīng)在可能引起回聲的部位布置強吸聲材料，使反射聲減弱經(jīng)；另一種方法是調(diào)整反射面角度，將后墻與頂棚交接處作成比較大的傾角，將聲音反射給后區(qū)觀眾，徹底消除回聲，取得化害為利的效果。為了消除聲聚集現(xiàn)象，應(yīng)盡量控制廳堂界的曲面弧度，采用凸形結(jié)構(gòu)，并在弧面上布置合適的吸音材料。為了消除音質(zhì)缺陷，可根據(jù)廳堂內(nèi)聲源的位置。采用幾何作圖法，用聲線的分布找出各種聲缺陷的條件和部位，再采取必要的措施進行抑制。24.回聲指強度和時間差大到足可以引起聽覺將它與直達聲區(qū)分開來的反射聲。從單一聲源產(chǎn)生的一連串可分辯的回聲則叫多重回聲，當室內(nèi)兩個界面之間距離大于一定數(shù)值，且吸聲量不足時，在其中間聲源發(fā)出的聲音就可能產(chǎn)生多重回聲?；芈晻绊懧犚糇⒁饬?，影響聲音的清晰度，破壞立體聲聆聽的聲像定位效果。25.顫動回聲當聲源在平行界面或一平面與一凹面之間發(fā)生反射，界面距離大于一定數(shù)值時會出現(xiàn)顫動回聲。發(fā)生顫動回聲時，聲音有連續(xù)的重疊聲，并有顫抖的感覺。顫動回聲會引起聽力疲勞，使人感到厭煩。

    聲學(xué)回聲的功能怎么樣？

    在線性的回聲場景里，雙耦合的非線性濾波器是處于休眠的狀態(tài)，所以它的值是趨于0的，這個時候起主導(dǎo)作用的是線性濾波器。接下來我們再看一下右邊的非線性聲學(xué)回聲場景。我們假設(shè)非線性的失要出現(xiàn)在t1到t2這個時間段內(nèi)，大家可以看到黃色線在這個時間里，出現(xiàn)了一次突變，對于NLMS算法，當出現(xiàn)非線性失真之后，它的線性濾波器會去逼近非線性失真。但是由于學(xué)習(xí)的速度跟不上濾波器變化的速度，所以它跟真實的值之間總是存在一個比較大的gap。同時當非線性失真消失之后，它還需要一段時間恢復(fù)到正常狀態(tài)，因此在整個時間段里，都會出現(xiàn)回聲泄露的問題。接下來我們再看雙耦合算法，在非線性失真出現(xiàn)之后，線性濾波器會進入到一種相對休眠的狀態(tài)，就是前面所提到的耦合機制，會降低它的更新速度，所以在整個非線性出現(xiàn)的這段時間里，他的值是緩慢變化的。進入非線性失真狀態(tài)之后，非線性濾波器開始工作，它會快速非線性特性的變化，而當非線性失真消失之后，非線性濾波器又進入休眠狀態(tài)。將這兩個濾波器結(jié)合起來，就可以實現(xiàn)對整個聲學(xué)回聲路徑的變化進行有效。這里只是給出了一個示例，實際情況往往要復(fù)雜很多。接下來我們對這2個濾波器做了特性比較，主要是從4個不同的維度。

     我們把聲學(xué)回聲消除這個技術(shù)變成一張實體的插件（設(shè)備插卡），在系統(tǒng)中，為實現(xiàn)次回聲過濾。移動聲學(xué)回聲介紹

回聲消除AEC（AcousticEchoCancellation）一般指的是聲學(xué)回聲消除，其主要用于抑制產(chǎn)品本身發(fā)出的聲音。移動聲學(xué)回聲介紹

    噪聲抑制和聲源分離同屬于語音增強的范疇，如果把噪聲理解為廣義的噪聲三者之間的關(guān)系,噪聲抑制需要準確估計出噪聲信號，其中平穩(wěn)噪聲可以通過語音檢測判別有話端與無話端的狀態(tài)來動態(tài)更新噪聲信號，進而參與降噪，常用的手段是基于譜減法(即在原始信號的基礎(chǔ)上減去估計出來的噪聲所占的成分)的一系列改進方法，其效果依賴于對噪聲信號估計的準確性。對于非平穩(wěn)噪聲，目前用的較多的就是基于遞歸神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，很多Windows設(shè)備上都內(nèi)置了基于多麥克風(fēng)陣列的降噪的算法。效果上，為了保證音質(zhì)，噪聲抑制允許噪聲殘留，只要比原始信號信噪比高，噪且聽覺上失真無感知即可。單聲道的聲源分離技術(shù)起源于傳說中的雞尾酒會效應(yīng)，是指人的一種聽力選擇能力，在這種情況下，注意力集中在某一個人的談話之中而忽略背景中其他的對話或噪音。該效應(yīng)揭示了人類聽覺系統(tǒng)中令人驚奇的能力，即我們可以在噪聲中談話?？茖W(xué)家們一直在致力于用技術(shù)手段從單聲道錄音中分離出各種成分，一直以來的難點，隨著機器學(xué)習(xí)技術(shù)的應(yīng)用，使得該技術(shù)慢慢變成了可能，但是較高的計算復(fù)雜度等原因，距離RTC這種低延時系統(tǒng)中的商用還是有一些距離。噪聲抑制與聲源分離都是單源輸入。

     移動聲學(xué)回聲介紹