人工智能技術(shù)的發(fā)展前景怎么樣？

人工智能技術(shù)的發(fā)展前景怎么樣？世界較大芯片制造商大腦系統(tǒng)公司(Cebralas Systems)揭開了新架構(gòu)的面紗，該架構(gòu)能夠支持比人腦更大的人工智能模型。目前較大的人工智能模型(如谷歌的Switch Transformer)是建立在大約1萬億個參數(shù)上的，大腦建議可以將其與大腦中的突觸進行粗略的比較，大腦中的突觸有100萬億個。通過綜合利用各種技術(shù)(并在世界上較大的芯片晶圓級引擎2(WSE-2)的幫助下)，大腦現(xiàn)在已經(jīng)創(chuàng)建了一個能夠支持超過120萬億參數(shù)的人工智能模型的單一系統(tǒng)。

腦尺度人工智能

目前，較大的AI模型由GPU集群提供動力，雖然GPU集群非常適合AI工作負載，但主要是為視頻游戲的需求而設(shè)計的。大腦選擇了一種不同的方法，開發(fā)專門為人工智能設(shè)計的大規(guī)模個人芯片。

一塊WSE-2芯片只有晶圓大小，21厘米寬，由2.6萬億個晶體管和85萬個AI優(yōu)化核心組成。相比之下，較大的GPU直徑不到3厘米，只有540億個晶體管，核數(shù)減少了123倍。

通過使用公司較新的互連技術(shù)將許多CS-2系統(tǒng)(由WSE-2提供動力的機器)連接在一起，大腦可以支持更大的人工智能網(wǎng)絡(luò)，其規(guī)模是大腦的許多倍。

“今天，塞伯拉斯通過將較大網(wǎng)絡(luò)的規(guī)模增加100倍，推動了行業(yè)的發(fā)展，”塞伯拉斯首席執(zhí)行官安德魯·費爾德曼(Andrew Feldman)說該行業(yè)正在超越1萬億個參數(shù)模型，我們正在將這一界限擴大兩個數(shù)量級，使大腦規(guī)模的神經(jīng)網(wǎng)絡(luò)具有120萬億個參數(shù)。”

Argonne國家實驗室副主任Rick Stevens進一步闡述了性能和參數(shù)體積之間的關(guān)系，以及新的大腦系統(tǒng)可能開啟的機會。

他說：“過去幾年向我們表明，對于自然語言處理(NLP)模型，洞察與參數(shù)直接相關(guān)——參數(shù)越多，結(jié)果越好。”。

“大腦”的發(fā)明將使參數(shù)容量增加100倍，可能有可能改變該行業(yè)。這是我們第一次能夠探索大腦大小的模型，為研究和洞察開辟了廣闊的新途徑。”

新技術(shù)

盡管WSE-2發(fā)揮著重要作用，但如果沒有一些新的補充技術(shù)，新的CS-2集群系統(tǒng)是不可能實現(xiàn)的：權(quán)重流、內(nèi)存X、SwarmX和可選稀疏性。

權(quán)重流被描述為一種軟件執(zhí)行架構(gòu)，通過分解內(nèi)存和計算，有效地提高了WSE-2芯片的潛在處理能力。它提供了在片外存儲參數(shù)的能力，釋放了WSE-2的容量，而不會產(chǎn)生通常困擾群集系統(tǒng)的延遲和帶寬問題。

這些參數(shù)存儲在外部MemoryX機柜中，該機柜將40GB片上SRAM內(nèi)存擴展為高達2.4PB的額外內(nèi)存，由于采用了新的SwarmX互連結(jié)構(gòu)，該內(nèi)存的性能與片上內(nèi)存類似。

據(jù)賽伯拉斯稱，SwarmX允許CS-2集群實現(xiàn)幾乎線性的性能擴展(即，一組10臺機器將提供比單個CS-2高10倍的性能)，并可用于連接多達192個系統(tǒng)，使多達1.63億AI優(yōu)化核心的集群成為可能。

謎題的較后一個部分是可選擇稀疏性，這是一種新型算法，據(jù)說可以通過減少求解所需的計算工作量來幫助CS-2更快地生成回答。

“這種技術(shù)組合將允許用戶解鎖大腦規(guī)模的神經(jīng)網(wǎng)絡(luò)，并輕松地將工作分配到大量人工智能優(yōu)化核心集群上。有了這一點，大腦在模型大小、計算集群馬力和編程簡單性方面樹立了一個新的基準(zhǔn)。”Stevens說。

雖然目前能夠利用大腦級人工智能系統(tǒng)的組織數(shù)量有限，但大腦已經(jīng)為人工智能模型的范圍和潛力的巨大飛躍奠定了基礎(chǔ)，這些模型可以釋放超出當(dāng)前想象領(lǐng)域的機會。