人工智能技術(shù)的發(fā)展前景怎么樣？

人工智能技術(shù)的發(fā)展前景怎么樣？世界較大芯片制造商大腦系統(tǒng)公司(Cebralas Systems)揭開(kāi)了新架構(gòu)的面紗，該架構(gòu)能夠支持比人腦更大的人工智能模型。目前較大的人工智能模型(如谷歌的Switch Transformer)是建立在大約1萬(wàn)億個(gè)參數(shù)上的，大腦建議可以將其與大腦中的突觸進(jìn)行粗略的比較，大腦中的突觸有100萬(wàn)億個(gè)。通過(guò)綜合利用各種技術(shù)(并在世界上較大的芯片晶圓級(jí)引擎2(WSE-2)的幫助下)，大腦現(xiàn)在已經(jīng)創(chuàng)建了一個(gè)能夠支持超過(guò)120萬(wàn)億參數(shù)的人工智能模型的單一系統(tǒng)。

腦尺度人工智能

目前，較大的AI模型由GPU集群提供動(dòng)力，雖然GPU集群非常適合AI工作負(fù)載，但主要是為視頻游戲的需求而設(shè)計(jì)的。大腦選擇了一種不同的方法，開(kāi)發(fā)專(zhuān)門(mén)為人工智能設(shè)計(jì)的大規(guī)模個(gè)人芯片。

一塊WSE-2芯片只有晶圓大小，21厘米寬，由2.6萬(wàn)億個(gè)晶體管和85萬(wàn)個(gè)AI優(yōu)化核心組成。相比之下，較大的GPU直徑不到3厘米，只有540億個(gè)晶體管，核數(shù)減少了123倍。

通過(guò)使用公司較新的互連技術(shù)將許多CS-2系統(tǒng)(由WSE-2提供動(dòng)力的機(jī)器)連接在一起，大腦可以支持更大的人工智能網(wǎng)絡(luò)，其規(guī)模是大腦的許多倍。

“今天，塞伯拉斯通過(guò)將較大網(wǎng)絡(luò)的規(guī)模增加100倍，推動(dòng)了行業(yè)的發(fā)展，”塞伯拉斯首席執(zhí)行官安德魯·費(fèi)爾德曼(Andrew Feldman)說(shuō)該行業(yè)正在超越1萬(wàn)億個(gè)參數(shù)模型，我們正在將這一界限擴(kuò)大兩個(gè)數(shù)量級(jí)，使大腦規(guī)模的神經(jīng)網(wǎng)絡(luò)具有120萬(wàn)億個(gè)參數(shù)。”

Argonne國(guó)家實(shí)驗(yàn)室副主任Rick Stevens進(jìn)一步闡述了性能和參數(shù)體積之間的關(guān)系，以及新的大腦系統(tǒng)可能開(kāi)啟的機(jī)會(huì)。

他說(shuō)：“過(guò)去幾年向我們表明，對(duì)于自然語(yǔ)言處理(NLP)模型，洞察與參數(shù)直接相關(guān)——參數(shù)越多，結(jié)果越好。”。

“大腦”的發(fā)明將使參數(shù)容量增加100倍，可能有可能改變?cè)撔袠I(yè)。這是我們第一次能夠探索大腦大小的模型，為研究和洞察開(kāi)辟了廣闊的新途徑。”

新技術(shù)

盡管WSE-2發(fā)揮著重要作用，但如果沒(méi)有一些新的補(bǔ)充技術(shù)，新的CS-2集群系統(tǒng)是不可能實(shí)現(xiàn)的：權(quán)重流、內(nèi)存X、SwarmX和可選稀疏性。

權(quán)重流被描述為一種軟件執(zhí)行架構(gòu)，通過(guò)分解內(nèi)存和計(jì)算，有效地提高了WSE-2芯片的潛在處理能力。它提供了在片外存儲(chǔ)參數(shù)的能力，釋放了WSE-2的容量，而不會(huì)產(chǎn)生通常困擾群集系統(tǒng)的延遲和帶寬問(wèn)題。

這些參數(shù)存儲(chǔ)在外部MemoryX機(jī)柜中，該機(jī)柜將40GB片上SRAM內(nèi)存擴(kuò)展為高達(dá)2.4PB的額外內(nèi)存，由于采用了新的SwarmX互連結(jié)構(gòu)，該內(nèi)存的性能與片上內(nèi)存類(lèi)似。

據(jù)賽伯拉斯稱(chēng)，SwarmX允許CS-2集群實(shí)現(xiàn)幾乎線(xiàn)性的性能擴(kuò)展(即，一組10臺(tái)機(jī)器將提供比單個(gè)CS-2高10倍的性能)，并可用于連接多達(dá)192個(gè)系統(tǒng)，使多達(dá)1.63億AI優(yōu)化核心的集群成為可能。

謎題的較后一個(gè)部分是可選擇稀疏性，這是一種新型算法，據(jù)說(shuō)可以通過(guò)減少求解所需的計(jì)算工作量來(lái)幫助CS-2更快地生成回答。

“這種技術(shù)組合將允許用戶(hù)解鎖大腦規(guī)模的神經(jīng)網(wǎng)絡(luò)，并輕松地將工作分配到大量人工智能優(yōu)化核心集群上。有了這一點(diǎn)，大腦在模型大小、計(jì)算集群馬力和編程簡(jiǎn)單性方面樹(shù)立了一個(gè)新的基準(zhǔn)。”Stevens說(shuō)。

雖然目前能夠利用大腦級(jí)人工智能系統(tǒng)的組織數(shù)量有限，但大腦已經(jīng)為人工智能模型的范圍和潛力的巨大飛躍奠定了基礎(chǔ)，這些模型可以釋放超出當(dāng)前想象領(lǐng)域的機(jī)會(huì)。