計算機多媒體領(lǐng)域的年度國際學(xué)術(shù)會議IEEE International Conference on Multimedia and Expo (ICME) 于2019年7月8日-12日在上海圓滿召開。鵬城實驗室人工智能研究中心、北京大學(xué)數(shù)字視頻編解碼技術(shù)國家工程實驗室高文院士團隊的論文“Towards Digital Retina in Smart Cities: A Model Generation, Utilization and Communication Paradigm (面向智慧城市數(shù)字視網(wǎng)膜的模型生成、利用和傳輸范式)”榮獲大會最佳論文獎。論文第一作者為鵬城實驗室、北京大學(xué)信息科學(xué)技術(shù)學(xué)院2015級博士生樓燚航，通訊作者為鵬城實驗室、北京大學(xué)段凌宇教授。ICME是IEEE在多媒體領(lǐng)域的旗艦?zāi)陼敬螘h共收到來自36個國家或地區(qū)的1000余篇論文投稿，論文接受率約31%。
鵬城實驗室高文院士團隊致力于數(shù)字視網(wǎng)膜計算架構(gòu)的研究，借鑒人類視網(wǎng)膜機理，實現(xiàn)特征實時匯聚、視頻按需調(diào)取、前端軟件可定義等功能。該獲獎?wù)撐尼槍?shù)字視網(wǎng)膜計算，首次提出了視頻流、特征流與模型流的多流協(xié)同計算模式，改善了城市大腦的視覺通路，有效克服“端-邊-云”協(xié)同計算的模型重用與傳輸瓶頸等問題，為視頻數(shù)據(jù)大規(guī)模匯聚、存儲和計算提供了新思路。
獲獎?wù)撐牡南嚓P(guān)研究工作依托于鵬城實驗室人工智能研究中心云腦開源平臺與智能應(yīng)用項目的智能交通課題，段凌宇教授擔(dān)任其中子課題負責(zé)人。課題瞄準(zhǔn)人工智能國家重大戰(zhàn)略需求，以建立數(shù)字視網(wǎng)膜的計算理論、方法與技術(shù)體系為目標(biāo)，深入研究智能交通場景下的大規(guī)模視頻特征計算瓶頸問題，并在鵬城實驗室“云腦”平臺上逐步實現(xiàn)百億規(guī)模視頻監(jiān)控以及交通數(shù)據(jù)的高效索引、事件的實時檢測和因果推斷技術(shù)驗證。利用視頻流、特征流與模型流協(xié)作機制，研制千萬規(guī)模視頻對象的關(guān)聯(lián)理解與知識演化特性分析引擎，并在重點城市智能交通系統(tǒng)進行應(yīng)用示范。通過數(shù)字視網(wǎng)膜框架下的視頻、特征、模型協(xié)同計算等基礎(chǔ)理論方法創(chuàng)新，提升我國在人工智能基礎(chǔ)理論領(lǐng)域的國際學(xué)術(shù)地位和影響力；通過應(yīng)用示范系統(tǒng)的構(gòu)建，為智慧出行等重要民生領(lǐng)域提供有序引導(dǎo)及因果推斷等方面的人工智能技術(shù)保障。
段凌宇教授課題組在數(shù)字視網(wǎng)膜研究與實踐中發(fā)現(xiàn)，數(shù)字視網(wǎng)膜計算框架的邊緣節(jié)點緩存了大量表征識別模型與無標(biāo)簽數(shù)據(jù)。為此，課題組提出一種多模型重用機制，有效利用數(shù)字視網(wǎng)膜框架下邊緣節(jié)點緩存的模型和數(shù)據(jù)，生成更具域適應(yīng)性和判別力的目標(biāo)模型。針對多模型重用帶來的風(fēng)險，該論文給出了理論證明與分析，并在實驗中取得了相比傳統(tǒng)方法更優(yōu)的性能增益。在視網(wǎng)膜計算框架下，模型的頻繁傳輸與部署會帶來較大的通信開銷；為此，該項研究工作進一步提出了模型之間高效通信的新問題，并提出了一種新穎的差分模型壓縮方法，相比傳統(tǒng)的單模型壓縮方法，可有效降低模型傳輸代價。論文圍繞視頻流、特征流、模型流，提出了城市視覺系統(tǒng)中的協(xié)同計算新問題，對于未來數(shù)字視網(wǎng)膜理論研究與實踐具有指導(dǎo)意義。
段凌宇教授長期從事以機器識別為目標(biāo)驅(qū)動的視覺特征分析與壓縮研究工作，以壓縮傳輸視覺特征為突破口，通過匯聚大規(guī)模緊湊視覺特征，實現(xiàn)視覺對象精準(zhǔn)分析與識別，克服了聯(lián)網(wǎng)分析識別提出的實時數(shù)據(jù)匯聚挑戰(zhàn)。課題組圍繞視覺特征的緊湊表示、模式學(xué)習(xí)、高效索引三方面系統(tǒng)地開展了研究工作，提升了特征的緊湊性與辨識力，優(yōu)化了大規(guī)模特征檢索的可擴展性，并通過制定標(biāo)準(zhǔn)解決了傳輸壓縮特征所引發(fā)的互操作問題，全面實現(xiàn)了特征的小、準(zhǔn)、快、通。作為主起草人，制定了緊湊視覺特征國際標(biāo)準(zhǔn)MPEG－CDVS與MPEG－CDVA，將多項研究成果轉(zhuǎn)化成為標(biāo)準(zhǔn)規(guī)范化核心技術(shù)。其中，MPEG-CDVS成為多媒體領(lǐng)域我國主導(dǎo)制定的首項ISO國際標(biāo)準(zhǔn)。MPEG-CDVA預(yù)計在2019年9月正式頒布執(zhí)行，鵬城實驗室人工智能研究中心為該項國際標(biāo)準(zhǔn)制定的重要貢獻單位之一。相關(guān)成果獲2017年度國家技術(shù)發(fā)明獎二等獎、2016年度教育部技術(shù)發(fā)明獎一等獎、2017年度中國專利優(yōu)秀獎。整體研究成果已被著名互聯(lián)網(wǎng)公司與安防領(lǐng)域重點企業(yè)采納并投入運營。段凌宇教授現(xiàn)擔(dān)任新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟(AITISA)視覺特征編碼標(biāo)準(zhǔn)組組長，依托于鵬城實驗室人工智能研究中心，圍繞數(shù)字視網(wǎng)膜計算框架，研究特征計算規(guī)范化問題，致力于我國自主知識產(chǎn)權(quán)的人工智能標(biāo)準(zhǔn)化技術(shù)。
來源 | 鵬城實驗室
撰稿 | 人工智能研究中心 邱景飛、白燕
