天津毫纠建材有限公司

中共中央宣傳部委托新華通訊社主辦

如果你的大腦可以模擬,會發(fā)生什么?

2024-05-09 14:58
來源:半月談網(wǎng)

人工智能的戰(zhàn)場,是算法之爭、數(shù)據(jù)之爭,更是算力之爭。AI燒熱的,不只是一個(gè)個(gè)街談巷議的話題,更是一顆顆大模型須臾不可離的GPU。

算力焦慮,猶如人工智能頭頂?shù)囊欢錇踉啤4瞪⑦@朵烏云,能僅憑傳統(tǒng)芯片不斷升級的力量嗎?也許,我們應(yīng)該換個(gè)思路,轉(zhuǎn)而向我們自己的大腦學(xué)習(xí)……

要論能效,還看大腦

1946年,世界上第一臺電腦誕生。1973年,世界上第一臺手機(jī)接通。經(jīng)過半個(gè)多世紀(jì)的發(fā)展,今天的電腦手機(jī)已經(jīng)成為人們追求智能生活不可或缺的基礎(chǔ)設(shè)施。只不過,若論能效——算力與所需能量消耗之比,它們與人腦相比還是略遜一籌。

不妨用數(shù)字說話。訓(xùn)練一款ChatGPT,需要燒掉多少算力?如Open AI所透露的,ChatGPT背后有一個(gè)龐大的計(jì)算網(wǎng)絡(luò)——Azure AI超算平臺。這個(gè)微軟專門建設(shè)的高性能網(wǎng)絡(luò)集群包含1萬顆GPU,為ChatGPT付出的總算力消耗超過3640 PF-days(以每秒計(jì)算1000萬億次計(jì),持續(xù)計(jì)算3640天)。

而人類大腦在25瓦的極低能耗下,就能實(shí)現(xiàn)復(fù)雜環(huán)境中的關(guān)聯(lián)記憶、快速識別、自主學(xué)習(xí)。這是為什么呢?

人類大腦活動是精密而連續(xù)的動力學(xué)過程,復(fù)雜程度遠(yuǎn)超當(dāng)前算力資源模擬的上限。大腦約有1000億個(gè)神經(jīng)元,100萬億個(gè)突觸,突觸連接的平均長度約10-1000微米。以記憶為例,就與突觸形態(tài)與功能的長期變化有關(guān)。

清華大學(xué)集成電路學(xué)院長聘副教授高濱舉了一個(gè)例子:生理學(xué)先驅(qū)巴甫洛夫每天在狗吃飯前敲響鈴聲,再給它食物。經(jīng)過一段時(shí)間,狗只要聽到鈴聲,第一反應(yīng)就是分泌唾液。這是因?yàn)楣返拇竽X已經(jīng)在搖鈴鐺和吃東西之間建起連接,微觀層面而言,就是兩個(gè)神經(jīng)元之間的突觸連接變強(qiáng),記憶由是產(chǎn)生,在此基礎(chǔ)上,完成一次自適應(yīng)學(xué)習(xí)。

小小芯片,模擬大腦

與人類大腦不同,迄今計(jì)算機(jī)的計(jì)算體系結(jié)構(gòu)采取馮·諾依曼架構(gòu),計(jì)算與存儲分離。數(shù)據(jù)在處理器和存儲器之間不停地來回傳輸,約80%至90%的功耗都消耗在“搬運(yùn)”中。

“每運(yùn)算一次,就相當(dāng)于把貯藏在遙遠(yuǎn)倉庫(存儲器)中的原材料(數(shù)據(jù))運(yùn)輸?shù)较嗑嗌踹h(yuǎn)的加工廠(處理器),而且運(yùn)輸?shù)牡缆泛苁仟M窄。這就導(dǎo)致實(shí)際生產(chǎn)效率非常低下,生產(chǎn)能力受到了運(yùn)輸能力的限制——這個(gè)局限就是‘存儲墻’。運(yùn)算量越大,這個(gè)瓶頸就越顯著?!备邽I說,馮·諾依曼架構(gòu)在進(jìn)行大規(guī)模的矩陣運(yùn)算時(shí),局限更為明顯。

試想一下,人類大腦在思考時(shí)會有計(jì)算和存儲的分別嗎?左半球計(jì)算、右半球存儲?“不是的。大腦的計(jì)算、存儲發(fā)生在同一處,無需把數(shù)據(jù)搬來搬去?!敝袊茖W(xué)院微電子研究所研究員尚大山說。

圖片

讓我們重新回到人腦的工作原理。神經(jīng)元接收來自其他神經(jīng)元的信號,達(dá)到一定閾值時(shí),即會向其他神經(jīng)元發(fā)送信號。突觸則負(fù)責(zé)信號傳遞,而且會依據(jù)信號的強(qiáng)度調(diào)整傳遞的強(qiáng)度(突觸權(quán)重)。這個(gè)看似簡單無奇的過程,卻是身為“萬物靈長”的人類智慧得以承傳的前提,學(xué)習(xí)與記憶發(fā)生的基礎(chǔ)。

簡潔、高效而靈活,這樣的計(jì)算方式讓芯片科學(xué)家感慨演化的神奇之余,也不禁設(shè)想:何不設(shè)計(jì)一種可以模擬人腦的芯片?

一種新型電路元件——憶阻器,使這一設(shè)想有了實(shí)現(xiàn)的可能。

尚大山將憶阻器比作一條流動的河流:“河流的寬度(電阻值)可以根據(jù)流過的水量(電荷)而變化。如果流過更多的水,河床可能會變寬,使后續(xù)的水流更容易通過(電阻減?。?。即使水流停止(斷電),河流的寬度(憶阻器的電阻狀態(tài))也不會變化,直到有新的水流來改變它。”

為何說憶阻器能夠模擬大腦?高濱說,憶阻器的奇妙特性,就在于可以通過外加電壓的調(diào)制來改變其電阻值,這樣,憶阻器器件就可理解為一個(gè)“電子突觸”,突觸權(quán)重用憶阻器電阻值來模擬。憶阻器陣列就可模擬人腦神經(jīng)元的突觸連接;神經(jīng)元的功能,則可以搭建具體的功能電路模擬。當(dāng)前人工智能的核心算法——深度神經(jīng)網(wǎng)絡(luò),就轉(zhuǎn)化為了憶阻器陣列的模擬計(jì)算。

簡單說,憶阻器存算一體芯片是存儲器中實(shí)現(xiàn)計(jì)算?!斑@相當(dāng)于將加工廠放到了倉庫邊上,做到了本地加工生產(chǎn),把交通運(yùn)輸過程中的時(shí)間、能源耗費(fèi)降到最低。”高濱說。

超越“摩爾”,有待時(shí)日

衡量信息技術(shù)進(jìn)步速度的摩爾定律,大家也許都耳熟能詳。不過,在一顆芯片上已可集成800億個(gè)晶體管的今天,這一“定律”還能適用多久,業(yè)界不無憂心。為芯片革新尋求增加晶體管數(shù)量之外的可能,在追求更高性能的同時(shí)盡量滿足低功耗、低延遲、低成本,成為當(dāng)務(wù)之急。

打破“存儲墻”的存算一體模式,成為超越摩爾定律的潛在方向。而憶阻器,某種程度上就是存算一體的未來。

圖片

清華大學(xué)研究人員在實(shí)驗(yàn)室進(jìn)行憶阻器電學(xué)特性實(shí)驗(yàn)

“憶阻器存算一體芯片最大的優(yōu)勢在于能效高,有望比馮·諾依曼架構(gòu)提升2至3個(gè)數(shù)量級,是彌補(bǔ)工藝制程代差的可選路徑?!敝袊苿友芯吭何锫?lián)網(wǎng)研究所副所長牛亞文說,近期清華大學(xué)聯(lián)合中國移動研發(fā)的110納米憶阻器存算一體芯片已經(jīng)達(dá)到馮·諾依曼架構(gòu)28納米GPU的能效。

訪問密集型任務(wù)尤其是這種新型芯片的用武之地。人臉識別、圖像識別、語義分割、大數(shù)據(jù)檢索……種種人工智能時(shí)代的尋常場景,都可讓憶阻器高密度和非揮發(fā)性存儲的特性一展長才。

當(dāng)然,當(dāng)前憶阻器存算一體芯片仍存在集成規(guī)模受限、推理精度誤差大、軟件生態(tài)構(gòu)建難等問題,將硬件、軟件、系統(tǒng)、算法、庫以及終端應(yīng)用一體化整合,還有很長一段路要走。有專家提醒,憶阻器芯片一個(gè)有待突破的局限在于其耐久性。傳統(tǒng)存儲芯片依恃的晶體管靠控制電子的移動來存儲數(shù)據(jù),而憶阻器控制的是離子的移動。離子較電子更重,時(shí)間一長,靈活性、耐久性不免打了折扣。

芯片研發(fā)是需要在產(chǎn)業(yè)化中不斷淬厲的事業(yè)。從科學(xué)到工程,從實(shí)驗(yàn)室到生產(chǎn)線,憶阻器芯片可以期待的明天,還在業(yè)界不斷嘗試的努力之中。

半月談記者:張漫子

原標(biāo)題:《緩解算力焦慮,向“大腦”要答案》

責(zé)任編輯:孔德明

熱門推薦

商城县| 开江县| 隆化县| 寿阳县| 桐庐县| 阿巴嘎旗| 柳州市| 漾濞| 定日县| 德令哈市| 旬邑县| 织金县| 亚东县| 镇平县| 台州市| 武安市| 沁阳市| 桃园市| 新田县| 喀喇沁旗| 尖扎县| 霞浦县| 涿鹿县| 当涂县| 淄博市| 新津县| 顺义区| 微博| 循化| 神池县| 射阳县| 高台县| 镇赉县| 色达县| 兰溪市| 临城县| 淄博市| 南华县| 河西区| 嘉定区| 龙州县|