騎自行車和開(kāi)飛機(jī)哪個(gè)更難？與大多數(shù)人想當(dāng)然的答案“開(kāi)飛機(jī)”不同，計(jì)算機(jī)科學(xué)家給出的答案是騎自行車。

如果要實(shí)現(xiàn)無(wú)人駕駛自行車，除了需要解決啟動(dòng)、加速、勻速前行、轉(zhuǎn)彎、變道、避障等動(dòng)作外，還需要面對(duì)識(shí)別紅綠燈和機(jī)動(dòng)車車道、語(yǔ)音信號(hào)、感知周圍環(huán)境，還要感知周圍人車的速度以及預(yù)判變道對(duì)周圍人車是否產(chǎn)生干擾。而大部分民航飛機(jī)上都安裝了自動(dòng)駕駛系統(tǒng)。

用美國(guó)加州大學(xué)圣塔芭芭拉分校博士后鄧?yán)诘恼f(shuō)法，比起自動(dòng)駕駛飛機(jī)，無(wú)人自行車看起來(lái)很小，但實(shí)際上是一個(gè)五臟俱全的小型類腦技術(shù)平臺(tái)，“這實(shí)際上是對(duì)我們的考量”。

如今這個(gè)考量過(guò)關(guān)了。清華大學(xué)類腦計(jì)算研究中心主任施路平團(tuán)隊(duì)的人工通用智能芯片“天機(jī)芯”（Tianjic）讓無(wú)人駕駛自行車成為現(xiàn)實(shí)。

這是一款被賦予了巨大野心的人工智能芯片。8 月 1 日，這個(gè)研究作為封面文章發(fā)表在了《自然》雜志（Nature）上（下稱 Nature 論文），封面標(biāo)題是《雙重控制》（Dual control）。

無(wú)人自行車問(wèn)世

施路平和同事研發(fā)了一款實(shí)現(xiàn)異構(gòu)融合的電子芯片，這款名為“天機(jī)芯”的芯片可以整合現(xiàn)有人工網(wǎng)絡(luò)算法，類腦的脈沖神經(jīng)網(wǎng)絡(luò)算法，同時(shí)支持神經(jīng)科學(xué)發(fā)現(xiàn)的眾多神經(jīng)回路網(wǎng)絡(luò)和異構(gòu)網(wǎng)絡(luò)的混合建模，發(fā)揮它們各自的優(yōu)勢(shì)。在自行車上利用一塊“天機(jī)芯”同時(shí)運(yùn)行了包括卷積神經(jīng)網(wǎng)絡(luò)在內(nèi)的 5 種不同神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了無(wú)人自行車駕駛。

這個(gè)無(wú)人智能自行車系統(tǒng)包括了激光測(cè)速、陀螺儀、攝像頭等傳感器，剎車電機(jī)、轉(zhuǎn)向電機(jī)、驅(qū)動(dòng)電機(jī)等致動(dòng)器，以及控制平臺(tái)、計(jì)算平臺(tái)、天機(jī)板級(jí)系統(tǒng)等處理平臺(tái)等。

無(wú)人自行車可以實(shí)時(shí)感知周圍環(huán)境，跟隨前方的試驗(yàn)人員并自動(dòng)進(jìn)行避障的操作，并根據(jù)語(yǔ)音指令、視覺(jué)感知的反饋產(chǎn)生實(shí)時(shí)信號(hào)對(duì)電機(jī)進(jìn)行控制，以達(dá)到保持平衡，改變行進(jìn)狀態(tài)（包括橫向和縱向）。這款自行車實(shí)現(xiàn)了多模態(tài)信息集成，能夠維持平衡，并跟據(jù)目標(biāo)人物的位置控制自行車轉(zhuǎn)向，完成實(shí)時(shí)追蹤。

施路平認(rèn)為，人工通用智能芯片能夠成功，多學(xué)科深度融合才是關(guān)鍵。

讓大腦攜手電腦來(lái)實(shí)現(xiàn)人工通用智能

目前基于馮·諾依曼架構(gòu)的計(jì)算機(jī)擅長(zhǎng)的是解決有充足大數(shù)據(jù)、完整靜態(tài)知識(shí)的確定性問(wèn)題，比如深度學(xué)習(xí)在圍棋比賽、圖像識(shí)別等領(lǐng)域已經(jīng)完勝人類，但它還不能解決沒(méi)有那么多數(shù)據(jù)的、動(dòng)態(tài)知識(shí)不夠多的模糊性問(wèn)題。要知道人的大腦在能耗只有 20 瓦的前提下可以并行解決視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、觸覺(jué)等多模態(tài)信息，甚至能夠在有限經(jīng)驗(yàn)的時(shí)候舉一反三。

計(jì)算機(jī)和人類各有所長(zhǎng)，人們需要打通兩者的鴻溝。施路平認(rèn)為，人工通用智能是一個(gè)必然的趨勢(shì)，而異構(gòu)融合，也就是讓兩種計(jì)算結(jié)合正是這把鑰匙。

Nature 論文的共同第一作者鄧?yán)谠谄淝迦A大學(xué)博士論文《異構(gòu)融合類腦計(jì)算平臺(tái)的計(jì)算模型與關(guān)鍵技術(shù)研究》中提到，類腦計(jì)算的本質(zhì)應(yīng)該是通過(guò)借鑒大腦信息處理的方式，獲得解決人工通用智能問(wèn)題的能力，而深度學(xué)習(xí)和神經(jīng)形態(tài)都只是實(shí)現(xiàn)理想類腦計(jì)算的手段。他的導(dǎo)師、清華大學(xué)儀器科學(xué)與技術(shù)研究所副研究員裴京是 Nature 論文的第一作者。

Nature 研究的核心是這款異構(gòu)融合的芯片，它是一款特別的人工智能芯片。它結(jié)合了類腦計(jì)算和基于計(jì)算機(jī)科學(xué)的人工智能。這也是 Nature 封面為何是“雙重控制”的原因。

異構(gòu)融合的人工智能是一種多模態(tài)系統(tǒng)。駕駛自行車就是一個(gè)多模態(tài)任務(wù)，它需要語(yǔ)音識(shí)別，也需要視覺(jué)識(shí)別和追蹤，這需要自行車上的電機(jī)或者傳感器來(lái)發(fā)送和接受信息數(shù)據(jù)，而系統(tǒng)對(duì)兩者信息處理的編碼模式是不一樣的，這就是所謂多模態(tài)。那么這個(gè)復(fù)雜的多模態(tài)任務(wù)就成了施路平團(tuán)隊(duì)驗(yàn)證其異構(gòu)融合成果的展示平臺(tái)。

對(duì)于“天機(jī)芯”的未來(lái)應(yīng)用前景，裴京表示，由于這是一款異構(gòu)融合芯片，因此不管是深度學(xué)習(xí)加速器還是神經(jīng)形態(tài)芯片能夠做到的事情，“天機(jī)芯”都能完成。同時(shí)，兩者的結(jié)合能夠完成一些原本單獨(dú)無(wú)法完成的任務(wù)。

比如在運(yùn)動(dòng)視頻分析中，若使用機(jī)器學(xué)習(xí)算法模型，由于傳感器輸出數(shù)據(jù)的速度有限且數(shù)據(jù)量大，通常會(huì)造成卡頓；用神經(jīng)形態(tài)的方法，雖然數(shù)據(jù)量較少，但同時(shí)精度也會(huì)降低不少。而將兩種模態(tài)結(jié)合后，則能在兩者之間在代價(jià)和功能方面進(jìn)行很好的平衡。

除了無(wú)人自行車，該芯片在自動(dòng)駕駛汽車、智能機(jī)器人等領(lǐng)域上也有極大的發(fā)揮空間。此外，因其低能耗、低成本，這個(gè)芯片會(huì)在家庭和服務(wù)性場(chǎng)景中得到廣泛應(yīng)用。

據(jù)施路平透露，目前，“天機(jī)芯”已經(jīng)在北京靈汐科技有限公司開(kāi)始進(jìn)行下一步開(kāi)發(fā)。

專訪施路平團(tuán)隊(duì)：如何理解異構(gòu)融合?

DeepTech：如何理解異構(gòu)融合？為什么說(shuō)將類腦計(jì)算和機(jī)器學(xué)習(xí)融合是一個(gè)更好的做法？

施路平：異構(gòu)融合有基于電腦的一套計(jì)算范式，也有基于人腦的一套計(jì)算范式，從大的思路上來(lái)講，我們希望把這兩個(gè)范式能夠融合起來(lái)，因?yàn)樗奶攸c(diǎn)是能夠互補(bǔ)。

我們認(rèn)為現(xiàn)在的計(jì)算機(jī)是將多維的信息轉(zhuǎn)換成一維的信息流，主頻越來(lái)越快，換句話說(shuō)這是利用了時(shí)間復(fù)雜度；而在人腦中，一個(gè)神經(jīng)元連接著 1 千到 1 萬(wàn)個(gè)神經(jīng)元，這是利用了空間復(fù)雜度，且大腦是利用脈沖進(jìn)行編碼，換句話說(shuō)這就引入了時(shí)間復(fù)雜度，因此代表了時(shí)空復(fù)雜度。

類腦計(jì)算就同時(shí)具備了空間復(fù)雜度和時(shí)空復(fù)雜度，這就是異構(gòu)融合。事實(shí)上，異構(gòu)融合的架構(gòu)包含了多層的信息，有類腦和電腦的融合、計(jì)算和存儲(chǔ)的融合、空間復(fù)雜性和時(shí)間復(fù)雜性的融合、空間編碼和時(shí)間編碼的融合，還有精確計(jì)算和近似計(jì)算的融合。

DeepTech：在實(shí)現(xiàn)通用人工智能的過(guò)程里，將人腦思維、計(jì)算機(jī)思維結(jié)合到一起的做法是不是業(yè)界、學(xué)界的共識(shí)？是否有其他的實(shí)現(xiàn)路徑？

施路平：將兩者結(jié)合的方法得到了很多業(yè)界人士和學(xué)者的認(rèn)可，但核心的難度在于這是一個(gè)跨學(xué)科的研究，因此能夠組織起多個(gè)院系共同研究的團(tuán)隊(duì)還不多。

此前所有來(lái)到清華交流的學(xué)術(shù)團(tuán)隊(duì)都認(rèn)為我們這種交融和交叉模式是最成功的一個(gè)類腦計(jì)算的模式。同時(shí)歐洲也有團(tuán)隊(duì)將這種融合的模式作為一個(gè)課題提出。

DeepTech：如果是說(shuō)我有兩個(gè)芯片，一個(gè)芯片是類腦芯片，一個(gè)是電腦芯片，那么兩個(gè)芯片能在同一個(gè)機(jī)器人身上運(yùn)行實(shí)現(xiàn)異構(gòu)融合效果嗎？

施路平：這樣不能實(shí)現(xiàn)異構(gòu)融合。你這個(gè)問(wèn)題在論文審稿的過(guò)程當(dāng)中討論過(guò)。從原理上講可以，但是從實(shí)際上講很難。為什么很難？?jī)蓚€(gè)芯片有不同的接口，其速度、性質(zhì)、編碼匹配，運(yùn)行起來(lái)很困難。經(jīng)過(guò)了反復(fù)論證，審稿人最后接受了我們的解釋。

有審稿人問(wèn)，同一個(gè)芯片上兩個(gè)模塊的協(xié)作和兩個(gè)不同模塊的芯片協(xié)作有何不同？要理解這個(gè)太復(fù)雜了。這相當(dāng)于大腦的黑匣子，我們對(duì)大腦知之甚少，對(duì)左腦和右腦的協(xié)作知之甚少。這也是我們碰到的最難的問(wèn)題之一。

DeepTech：在這個(gè)無(wú)人自行車試驗(yàn)中，我們能看到的哪些方面（或功能）是體現(xiàn)模擬人類大腦的，哪些方面（或功能）是體現(xiàn)機(jī)器學(xué)習(xí)算法的？

鄧?yán)?/strong>：自行車的語(yǔ)音識(shí)別、環(huán)境感知、平衡控制、避障等功能都需要背后的模型算法提供支持才能實(shí)現(xiàn)，這其中就包括了不同模態(tài)的模型。如語(yǔ)音識(shí)別、自主決策以及視覺(jué)追蹤是模擬大腦的，而目標(biāo)探測(cè)、運(yùn)動(dòng)控制以及躲避障礙等，則需要通過(guò)機(jī)器學(xué)習(xí)算法完成。