無需穿戴設(shè)備，“AI時空導(dǎo)游”安安“說走就走”，帶你“瞬移”旅游景點，目及之處皆是美景、遠(yuǎn)觀近瞧隨心所欲，開啟身臨其境的沉浸式“云旅游”。根據(jù)不同場景，安安還能在甜美、端莊、酷辣造型中“無縫切換”，表情豐富、情感細(xì)膩、理解力強，是個很專業(yè)的AI導(dǎo)游。

這個AI能力“硬核”的虛擬導(dǎo)游，集成了“訊飛超腦2030計劃”的多模感知、多維表達(dá)、深度理解等多項前沿技術(shù)，給人機交互帶來全新的沉浸式體驗，真人和虛擬人可以非常自然地“穿越”不同場景對話，在安徽合肥體育中心就能現(xiàn)場體驗。

11月18日，2022科大訊飛全球1024開發(fā)者節(jié)正式啟幕，下午的發(fā)布會上，科大訊飛AI研究院副院長高建清以“AI新紀(jì)元，訊飛超腦2030”為主題，解密“訊飛超腦2030計劃”階段性技術(shù)突破，一大波“預(yù)演未來”的創(chuàng)新應(yīng)用將走入生活，讓AI惠及每個人。

“無監(jiān)督學(xué)習(xí)”新突破，“AI超腦”更懂知識

“支撐‘訊飛超腦2030計劃’的發(fā)展，有兩個關(guān)鍵算法亟待突破，無監(jiān)督學(xué)習(xí)和知識推理。”高建清說，前者要實現(xiàn)實用化、場景化的預(yù)訓(xùn)練技術(shù)，后者要構(gòu)建基于知識檢索、決策以及融合的推理系統(tǒng)。

科大訊飛設(shè)計了基于無監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練框架，并創(chuàng)新使用了少量有監(jiān)督數(shù)據(jù)進(jìn)行優(yōu)化，大幅提升訓(xùn)練效率。

針對多模語音識別、情感識別等多模態(tài)任務(wù)，全新的預(yù)訓(xùn)練框架對音頻、人臉等不同模態(tài)的輸入“一視同仁”，利用其中內(nèi)容、表情及身份等信息的關(guān)聯(lián)性進(jìn)行融合，可設(shè)計出不同的訓(xùn)練目標(biāo)。而少量有監(jiān)督數(shù)據(jù)構(gòu)建碼本，讓訓(xùn)練機時下降八成，實現(xiàn)了實用化預(yù)訓(xùn)練。 在無監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練算法框架下，訊飛開放了輕量化的中文語音、中英文多模態(tài)預(yù)訓(xùn)練模型，高建清說，“預(yù)訓(xùn)練模型支持語音識別、聲紋識別、情感識別、多模態(tài)語音識別等多個任務(wù)，參數(shù)量遠(yuǎn)遠(yuǎn)少于業(yè)界公開的模型，但效果卻達(dá)到了業(yè)界最優(yōu)。”

在知識推理方面，以回答“面包在低溫下會馬上發(fā)霉嗎”為例，機器要理解“低溫變質(zhì)慢”等常識，在引入海量知識的基礎(chǔ)上，要用預(yù)訓(xùn)練模型進(jìn)行知識重要性排序，也要融合知識與問題進(jìn)行推理，才能與人暢聊“面包變質(zhì)的二三事”。同時，提出了知識與問題融合的Across attention model，實現(xiàn)問題和知識之間的充分交互，從而實現(xiàn)更有效的知識推理。

此外，科大訊飛還探索將神經(jīng)網(wǎng)絡(luò)與符號推理相結(jié)合，實現(xiàn)了推理過程的可解釋性。應(yīng)用于小學(xué)平面幾何題上，這個推理系統(tǒng)讓AI答題的正確率從完全不可用，提升到了90%的水平，顯著優(yōu)于傳統(tǒng)推理系統(tǒng)。

“唇形+語音”多模態(tài)感知，“喚醒”人機交互新模式

環(huán)境太吵、人聲太多，語音交互怎么辦？在“訊飛超腦2030計劃”中，科大訊飛用“唇形+語音”的多模態(tài)語音增強技術(shù)，喚醒智能語音交互新模式。

“機器想更自然地與人類進(jìn)行交互，需要通過聽覺、視覺、語義以及各種傳感器的組合去獲取更多的有用信息，AI感知方式必然要從單模態(tài)發(fā)展到多模態(tài)，逐步擬人化。”高建清表示。

繼“語音識別在多人討論場景下效果做到70%”“多點噪聲干擾場景做到了可用”之后，今年，科大訊飛挑戰(zhàn)商場、醫(yī)院、地鐵等復(fù)雜場景，提出了全新的多模態(tài)語音增強與識別框架。結(jié)合視頻信息輸入，新技術(shù)可以利用人臉、唇形、語音等多模態(tài)信息的互補，將主說話人的干凈人聲從嘈雜背景環(huán)境中分離出來，顯著提升開放場景的識別效果。

一個典型的場景是，當(dāng)你在嘈雜的環(huán)境中通話，旁邊其他人也在說話，搭載了多模感知技術(shù)的應(yīng)用系統(tǒng)只“聽”到你的聲音，不受旁邊嘈雜音干擾，從而非常順利地完成溝通。

此外，科大訊飛還提出基于多元語義評價的“語音識別一體化”框架，在語音輸入過程中，通過“語義糾錯+語音識別”聯(lián)合優(yōu)化來提升語音識別的可懂度。“這一方案，從用戶主觀理解度層面有了極大改善，是真正站在用戶體驗的角度優(yōu)化系統(tǒng)的一種方法”，高建清表示，這個算法主要解決“語音識別準(zhǔn)確率高，但用戶體驗不好”的現(xiàn)實問題。

多情感多風(fēng)格語音合成，虛擬人有溫度有個性

如何讓機器的聲音媲美人類？這是AIGC領(lǐng)域需求量大、技術(shù)門檻高的難題。

高建清分享了科大訊飛在語音合成技術(shù)領(lǐng)域的新突破——多風(fēng)格多情感合成系統(tǒng)SMART-TTS，語音合成從簡單的信息播報“變身”具備喜怒哀樂情感的語音助手。

“系統(tǒng)充分利用了文本和語音的‘無監(jiān)督預(yù)訓(xùn)練’，實現(xiàn)了從文本到聲學(xué)特征、再到語音的端到端建模。”高建清介紹，SMART-TTS系統(tǒng)可提供“高興、抱歉、撒嬌、嚴(yán)肅、悲傷、困惑、害怕、鼓勵、生氣、安慰、寵溺”等11種情感，每種情感有20檔強弱度不同的調(diào)節(jié)能力；也能提供聲音的創(chuàng)造能力，如停頓、重音、語速等，可以根據(jù)自己喜好調(diào)節(jié)，真正實現(xiàn)了合成系統(tǒng)媲

美具備個性化特點的真人表達(dá)能力。

這是什么意思？現(xiàn)場播放的視頻展示了SMART-TTS的多風(fēng)格多情感語音合成能力：當(dāng)你漫步林蔭路，TA可以用字正腔圓的“播音腔”為你讀新聞；當(dāng)你結(jié)束一天工作準(zhǔn)備入睡，TA可以輕聲細(xì)語讀為你散文；當(dāng)你驅(qū)車去公司上班，TA可以用你最喜歡的歌手聲音告訴你走哪條路不堵車；當(dāng)你和家人一起觀看紀(jì)錄片，TA可以為紀(jì)錄片不同人物配音。人機交互表達(dá)自然、情感飽滿。目前，訊飛有聲APP和訊飛開放平臺都開放了SMART-TTS語音合成系統(tǒng)，開發(fā)者可以在訊飛有聲直接下載體驗，或在開放平臺進(jìn)行調(diào)用。

同樣隸屬于AIGC范疇，在聲音和虛擬形象生成技術(shù)方面，科大訊飛實現(xiàn)了語義可控的聲音、形象生成，語義驅(qū)動的情感、動作表達(dá)。比如：你輸入“一頭長發(fā)”，系統(tǒng)智能生成溫柔大方的女性形象，聲音端莊又不失甜美；輸入“英俊瀟灑”，生成有一些商務(wù)范的男生形象，聲音略帶磁性。高建清透露，訊飛開放平臺將開放500個虛擬合成的聲音。

此外，訊飛還實現(xiàn)了語音語義驅(qū)動的動作合成，通過對語音節(jié)奏、韻律體會和語義理解，虛擬人可以隨時、流暢地切換動作，擁有更加自然的肢體語言。“與傳統(tǒng)動作庫相比，這套語義驅(qū)動的系統(tǒng)在動作擬人度及契合度方面，有明顯的效果提升。”高建清表示。

創(chuàng)新交互系統(tǒng)認(rèn)知技術(shù)，AI對話“滔滔不絕”

想讓AI告訴你《獨行月球》這部電影講什么？沒問題！今年，科大訊飛在交互系統(tǒng)的認(rèn)知關(guān)鍵技術(shù)取得突破性進(jìn)展，今年以來，依托科大訊飛建設(shè)的認(rèn)知智能國家重點實驗室相關(guān)團(tuán)隊在認(rèn)知智能技術(shù)突破方面奪得3項國際冠軍——在常識推理挑戰(zhàn)賽CommonsenseQA 2.0中刷新機器常識推理水平世界紀(jì)錄，在科學(xué)常識推理挑戰(zhàn)賽OpenBookQA中以準(zhǔn)確率94.2%的絕對優(yōu)勢奪冠，在常識推理挑戰(zhàn)賽QASC中以多模型準(zhǔn)確率93.48%、單模型準(zhǔn)確

率92.07%奪冠，后兩項比賽更是超越人類平均水平。

隨著核心源頭技術(shù)創(chuàng)新和系統(tǒng)性創(chuàng)新的持續(xù)突破，AI擁有更加“智慧”的語義理解和對話生成能力。“好的人機交互系統(tǒng)，在開放式的場景下要具備深度理解能力，并能了解交互對象從而發(fā)起主動的對話。”高建清說，圍繞認(rèn)知智能技術(shù)，訊飛實現(xiàn)了于語義圖網(wǎng)絡(luò)的開放場景語義理解，基于事理圖譜的對話管理，基于知識學(xué)習(xí)的可控對話生成。

其中，面向開放世界的基于圖表示的深度語義理解體系，增加了關(guān)系預(yù)測模塊，形成信息豐富的語義完備的語義表示圖，并將要素和關(guān)系都進(jìn)行具體化，可以更精準(zhǔn)的理解用戶的意圖，從而更準(zhǔn)確回答用戶問題，解決了AI對開放問題無能為力的痛點。目前，訊飛定義了1517個意圖、近2000個事件，“通過這個框架的提出，我們在深度語義理解技術(shù)上又邁進(jìn)了一大步。”

基于知識學(xué)習(xí)的可控對話生成框架，包括知識學(xué)習(xí)、大規(guī)模對話生成兩個模塊，可根據(jù)對話上下文，從知識庫中檢索到對話涉及的相關(guān)知識，結(jié)合外部知識及對話內(nèi)容，生成更可控、更合理的回復(fù)。根據(jù)評估，基于知識學(xué)習(xí)的對話生成，相對于通用對話生成，平均得分從2.8提升到3.7分。

AI與運動“碰撞”，機器狗能上樓爬坡

在AI科技館，四足機器狗“小黑”是妥妥的“流量”擔(dān)當(dāng)，不僅能走路、跑步、上臺階、攀爬、穿越復(fù)雜地形，還能握手、作揖，運動能力超強。這只機器狗，是“訊飛超腦2030計劃”在運動智能方面的階段性成果。

近年來，世界各大科技公司積極投身機器狗研發(fā)浪潮，但受限于算法技術(shù)，現(xiàn)階段機器狗大部分仍處于“模仿動作”的初級仿生階段，只具備基礎(chǔ)的平地行走功能，在跨越臺階和爬坡場景下表現(xiàn)并不理想，為解決行業(yè)痛點，科大訊飛提出了基于多模態(tài)強化學(xué)習(xí)的運動控制算法。

“這一算法的重點是，通過無偏差信息輸入的評價網(wǎng)絡(luò)，指導(dǎo)帶噪信息輸入的動作網(wǎng)絡(luò)訓(xùn)練，最終實現(xiàn)可預(yù)測目標(biāo)關(guān)節(jié)位置和真實關(guān)節(jié)位置。”高建清介紹，得益于這些技術(shù)創(chuàng)新，訊飛機器狗在上樓、爬坡等方面的能力取得了顯著提升，草地、沙地、石子路、枕木、圓盤等復(fù)雜地形也無所畏懼。

技術(shù)“立地”專業(yè)領(lǐng)域，用AI解決社會剛需命題

會上，高建清還分享了“訊飛超腦2030計劃”的技術(shù)應(yīng)用。

除了文章開頭提到的沉浸式虛擬導(dǎo)游外，訊飛基于多模態(tài)交互、以及醫(yī)療認(rèn)知技術(shù)，研發(fā)了一套抑郁癥定量篩查系統(tǒng)。“可模擬心理醫(yī)生的問診思路進(jìn)行交互設(shè)計，用戶通過與機器聊天的方式即可初步實現(xiàn)病情的定量評估，篩查效果達(dá)到91.2%，超過業(yè)界最好的水平。”

目前，這一系統(tǒng)已經(jīng)在北京安定醫(yī)院等醫(yī)療機構(gòu)進(jìn)行了試點應(yīng)用。“未來，基于定量篩查基礎(chǔ)能力，我們將研發(fā)抑郁癥篩查平臺，向更多的學(xué)校推廣，助力青少年的心理成長。”高建清表示。

作為“訊飛超腦2030計劃”的階段性成果，今年訊飛打造了多款專業(yè)虛擬人，分別用于客服、助理、招聘、財務(wù)、法務(wù)等行業(yè)的工作，他們都具有一個共同的特點——豐富的專業(yè)知識。通過深入學(xué)習(xí)行業(yè)知識，訊飛定制研發(fā)了多行業(yè)交互大腦，目前已為金融、電信、媒體等多行業(yè)提供專業(yè)虛擬人解決方案，為“數(shù)字經(jīng)濟(jì)”服務(wù)。

“在‘訊飛超腦2030計劃’遠(yuǎn)景目標(biāo)的牽引下，我們的AI科技樹正不斷發(fā)展壯大，既有以基礎(chǔ)算法為代表的主干的發(fā)展，也有各技術(shù)體系的不斷拓展。未來，我們會繼續(xù)堅持以源頭創(chuàng)新引領(lǐng)技術(shù)突破，以產(chǎn)業(yè)目標(biāo)牽引技術(shù)發(fā)展，用開放的生態(tài)促進(jìn)行業(yè)繁榮，和大家一起用人工智能建設(shè)美好世界。”高建清說。