成都生物所發(fā)現(xiàn)視聽整合幫助樹蛙識別不完整鳴叫

　　通訊信號的破碎化在自然環(huán)境中是常態(tài)，例如森林中目標(biāo)物體經(jīng)常被部分遮擋，動物的叫聲經(jīng)常被噪音遮蔽或打斷。長期的進化和適應(yīng)，使人和許多動物具有一定的補全殘缺信號的能力。當(dāng)連續(xù)的聲音被另一個短暫而響亮的聲音（譬如咳嗽聲）掩蓋時，我們的聽覺系統(tǒng)會積極填充遮蔽部分，仍然可以將殘缺信號感知為一個完整的聽覺信號。這種感知修復(fù)形式，被稱為聽覺誘導(dǎo)（auditory induction）或非模態(tài)補整（amodal completion）。非模態(tài)補整已經(jīng)在幾種動物中被證明，包括一些靈長類和鳴禽（Miller et al., 2001）。在繁殖季節(jié)，蛙類的求偶場中充斥著各種遮蔽鳴聲信號的聲源（同種其他個體鳴叫或異種鳴叫），雌性在選擇鳴叫個體作為配偶的過程中面臨著諸多挑戰(zhàn)。目前，關(guān)于無尾兩棲類聽覺誘導(dǎo)的研究十分有限，尚無研究證明無尾兩棲類的鳴聲通訊具有非模態(tài)補整。我們的野外觀察發(fā)現(xiàn)，鋸?fù)仍笜渫埽↘urixalus odontotarsus）在自然條件下偶爾會發(fā)出部分音節(jié)缺失的廣告鳴叫（圖1），可以為研究非模態(tài)補整提供理想模型。 

　　

　　圖1. 鋸?fù)仍笜渫苋笔Q叫的波形圖（上）和窄帶語圖（下） 

　　

　　圖2. 三種鳴聲刺激：完整5音節(jié)廣告呼叫（a），第2個音節(jié)缺失的廣告鳴叫（b），在第2個音節(jié)位置填充白噪音后的廣告鳴叫（c）。 

　　當(dāng)一邊播放完整的5音節(jié)廣告鳴叫，另一邊播放第2個音節(jié)缺失的廣告鳴叫時，64%的雌蛙選擇完整鳴叫（圖3a）。當(dāng)在缺失位置填上白噪音后，雌蛙的選擇偏好并沒有發(fā)生改變（圖3b），表明鋸?fù)仍笜渫艿镍Q聲通訊不具有非模態(tài)補整，即在缺失位置補上噪音無法使缺失鳴叫恢復(fù)為完整意義的鳴叫。 

　　

　　圖3. 雌性的選擇比例。左右兩邊為成對的實驗刺激，中間為選擇結(jié)果。 

　　在長期復(fù)雜的環(huán)境壓力下，人和動物進化出了整合多種感覺系統(tǒng)進行通訊的能力，即多模通訊（multimodal communication）。我們在交流時會使用聲音、嘴型和手勢等多模信號，人腦可以從面部表情以及嘴型獲取視覺信息（“唇讀”，lip-reading），這些視覺信息可以幫助我們識別說話內(nèi)容。許多動物的求偶信號也包含多種感覺信息。蛙類鳴叫時伸縮的鳴囊與我們的嘴唇類似，鳴囊不僅可以作為聲音的放大器，同時可以傳遞視覺信息（Starnberger et al., 2014）。 

　　

　　圖4. 無尾兩棲類的鳴囊具有多模態(tài)特征（引自文獻Starnberger et al., 2014） 

　　視聽多模信號的整合方式會影響信號感知的結(jié)果，例如著名的麥克格效應(yīng)（McGurk effect）表明說話時嘴型提供的視覺線索會影響我們的聽覺認知（McGurk and MacDonald, 1976）。當(dāng)一種低吸引力的聲音信號和一種低吸引力的視覺信號結(jié)合時，雌性泡蟾（Physalaemus pustulosus）會認為這是一種高吸引力的多模信號——“多感覺拯救假說”（the perceptual rescue hypothesis）（Taylor and Ryan, 2013）。我們以前的研究表明，蛙類的視聽多模信號能增加雌性的工作記憶，利于雌性做出選擇（Zhu et al., 2021）。那么，視聽整合能否幫助雌蛙識別缺失鳴叫呢？ 

　　

　　圖5. 視聽多模信號回放實驗場地示意圖。兩個視聽播放裝置與被試呈60°夾角，距離1米。視聽播放裝置可以單獨呈現(xiàn)聲音、視覺、聲音+視覺刺激。用音箱播放雄蛙鳴聲，用液晶顯示器呈現(xiàn)視覺刺激（動態(tài)鳴囊）。 

　　 結(jié)果顯示，盡管視覺鳴囊顯著增加了缺失鳴叫的吸引力（圖6c），但吸引力仍然趕不上完整的廣告鳴叫（圖6d），結(jié)果不支持“多感覺拯救假說”。單純的視覺鳴囊并不能幫助雌蛙識別缺失鳴叫。而當(dāng)在缺失位置同時呈現(xiàn)白噪音和視覺鳴囊時，缺失鳴叫與完整鳴叫的吸引力相當(dāng)（圖6e），這一結(jié)果支持“信號交互作用假說”（inter-signal interaction hypothesis）（Caldart et al., 2021）。 

　　

　　圖6. 雌性選擇比例。波形圖代表聲音信號，鳴囊膨大的樹蛙代表視覺信號。 

　　 研究還發(fā)現(xiàn)，當(dāng)存在視覺信號時，雌蛙做出選擇的時間更短。這將降低雌性在評估配偶過程中被捕食的風(fēng)險，并暗示視覺線索能夠比聽覺線索提供更準(zhǔn)確的位置信息。 

　　

　　圖7. 雌性做出選擇所需時間 

　　 當(dāng)存在視覺鳴囊時，被噪聲遮蔽的缺失鳴叫的吸引力與完整鳴叫一樣，表明視覺線索可以彌補聲音通訊中的噪聲干擾。這與人類在語音暫時被噪聲掩蓋時，可以通過“唇語”來增強語音識別類似。這種多感官信號交互作用可以幫助動物在噪音環(huán)境中識別鳴聲信號。該研究對揭示動物視-聽覺多模信號的功能、人類和動物非模態(tài)補整能力的進化有重要意義。 

　　研究結(jié)果以“Multisensory integration facilitates perceptual restoration of an interrupted call in a species of frog”為題發(fā)表在國際學(xué)術(shù)期刊Behavioral Ecology上。中國科學(xué)院成都生物研究所動物行為與仿生項目組特別研究助理朱弼成博士為該論文第一作者，崔建國研究員為通訊作者；海南師范大學(xué)汪繼超教授、王同亮博士和美國得克薩斯大學(xué)Michael J. Ryan教授為合作作者。本研究得到國家自然科學(xué)基金（31772464，32001095）、四川省科技創(chuàng)新項目 （2022JDTD0026）、中國科學(xué)院青年創(chuàng)新促進會（2012274）和生態(tài)環(huán)境部生物多樣性調(diào)查評估項目（2019HJ2096001006）的資助。

　　原文鏈接 

　　主要參考文獻 

　　Caldart VM, dos Santos MB, Machado G. Function of a multimodal signal: a multiple hypothesis test using a robot frog. Journal of Animal Ecology, 2021, 91: 701-714. https://doi.org/10.1111/1365-2656.13620 

　　McGurk H, MacDonald J. Hearing lips and seeing voices. Nature, 1976, 264: 746-748. 

　　Miller CT, Dibble E, Hauser MD. Amodal completion of acoustic signals by a nonhuman primate. Nature Neuroscience, 2001, 4(8): 783-784. 

　　Starnberger I, Preininger D, Walter H？dl. The anuran vocal sac: a tool for multimodal signaling. Animal Behaviour, 2014, 97: 281-288. 

　　Taylor RC, Ryan MJ. Interactions of multisensory components perceptually rescue túngara frog mating signals. Science, 2013, 341(6143): 273-274. 

　　Zhu BC, Yang Y, Zhou Y, Deng K, Wang TL, Wang JC, Tang YZ, Ryan MJ, Cui JG. Multisensory integration facilitates perceptual restoration of an interrupted call in a species of frog. Behavioral Ecology, 2022, arac053. https://doi.org/10.1093/beheco/arac053 

　　Zhu BC, Zhou Y, Yang Y, Deng K, Wang TL, Wang JC, Tang YZ, Ryan MJ, Cui JG. Multisensory modalities increase working memory for mating signals in a treefrog. Journal of Animal Ecology, 2021, 90: 1455-1465. https://doi.org/10.1111/1365-2656.13465