隨著ChatGPT橫空出世，人工智能（AI）領(lǐng)域的競(jìng)爭(zhēng)進(jìn)入白熱化。英偉達(dá)公司的高端圖形處理單元（GPU）芯片“一飛沖天”，受到各大科技公司追捧。與此同時(shí)，也有一些初創(chuàng)公司另辟蹊徑，專注于研制另一種芯片——AI推理芯片，為AI產(chǎn)品的蓬勃發(fā)展和應(yīng)用注入全新動(dòng)力。

據(jù)物理學(xué)家組織網(wǎng)近日?qǐng)?bào)道，這些AI推理芯片旨在降低生成式AI所需的高昂計(jì)算成本，更貼合AI工具的日常運(yùn)行要求。此類芯片成本的不斷下探和性能的持續(xù)提升，有望掀起新一輪AI應(yīng)用創(chuàng)新浪潮，讓更多復(fù)雜且強(qiáng)大的AI應(yīng)用走進(jìn)千家萬(wàn)戶。

d-Matrix公司首款A(yù)I推理芯片Corsair及其4塊芯片的封裝。圖片來(lái)源：美國(guó)d-Matrix公司

推理計(jì)算需求水漲船高

訓(xùn)練與推理，是AI大語(yǔ)言模型兩大核心能力的堅(jiān)固基石。

在應(yīng)用過(guò)程中，經(jīng)過(guò)訓(xùn)練的ChatGPT等生成式AI工具會(huì)吸納新信息，從中進(jìn)行推理并生成回應(yīng)，如撰寫(xiě)文檔、生成圖像等。這類AI工具可應(yīng)用于醫(yī)療診斷、自動(dòng)駕駛、自然語(yǔ)言理解等領(lǐng)域。

隨著AI模型的廣泛應(yīng)用，需要進(jìn)行推理計(jì)算的硬件日益增多，對(duì)推理芯片的需求也將“水漲船高”。國(guó)際數(shù)據(jù)公司（IDC）的報(bào)告顯示，未來(lái)幾年，推理端的AI服務(wù)器占比將持續(xù)攀升。預(yù)計(jì)到2027年，用于推理的工作負(fù)載將占據(jù)七成以上。

科技公司競(jìng)推新產(chǎn)品

Cerebras、Groq和d-Matrix等初創(chuàng)公司，以及超威半導(dǎo)體公司（AMD）和英特爾等傳統(tǒng)巨頭，紛紛推出了AI推理芯片。這些公司敏銳捕捉到了AI推理芯片“大顯身手”的契機(jī)。

據(jù)Cerebras公司官網(wǎng)報(bào)道，2024年8月28日，該公司推出了同名AI推理芯片。這款芯片在Llama 3.1-8B模型上實(shí)現(xiàn)了1800token/秒的推理速度；在Llama 3.1 70B上實(shí)現(xiàn)了450token/秒的推理速度，約是英偉達(dá)GPU推理速度的20倍。Token指AI處理文本的最小單元或基本元素，如一個(gè)單詞、一個(gè)字符等。

Cerebras公司解釋說(shuō)，這一卓越表現(xiàn)得益于其創(chuàng)新的AI芯片設(shè)計(jì)方案。其晶圓級(jí)引擎（WSE）宛如一座龐大的“計(jì)算工廠”，最大特點(diǎn)是尺寸驚人——單個(gè)芯片幾乎占據(jù)了一整塊晶圓的面積。在這個(gè)超大芯片上，計(jì)算單元和內(nèi)存單元高度集成，形成一個(gè)密集的網(wǎng)格結(jié)構(gòu)。這樣的設(shè)計(jì)，讓數(shù)據(jù)能在極短距離內(nèi)，于計(jì)算單元和存儲(chǔ)單元之間傳輸，從根本上降低了數(shù)據(jù)移動(dòng)成本，解決了GPU推理無(wú)法避免的內(nèi)存帶寬瓶頸。此類大芯片能更快處理信息，從而在更短時(shí)間內(nèi)給出答案。

早在去年2月，Groq公司就發(fā)布了自己的AI推理芯片GroqCloud。它在Llama 3.1 70B模型上實(shí)現(xiàn)了250token/秒的推理服務(wù)，速度比GPU幾乎提升了一個(gè)量級(jí)。

去年11月19日，硅谷初創(chuàng)公司d-Matrix宣布，其首款A(yù)I推理芯片Corsair已開(kāi)始出貨，旨在提供聊天機(jī)器人和視頻生成等服務(wù)。Corsair在單服務(wù)器環(huán)境下，能讓Llama3 8B模型實(shí)現(xiàn)60000token/秒的處理能力，且每個(gè)token的延遲僅為1毫秒，充分彰顯了其在高速處理大規(guī)模數(shù)據(jù)方面的卓越性能。更值得一提的是，與GPU及其他方案相比，Corsair能在提供同等性能的同時(shí)，大幅降低能耗和成本。

應(yīng)用開(kāi)發(fā)走上新賽道

亞馬遜、谷歌、元宇宙平臺(tái)、微軟等科技公司紛紛斥巨資，搶購(gòu)昂貴的GPU，以期在AI開(kāi)發(fā)賽道拔得頭籌。與此同時(shí)，AI推理芯片制造商則將目光瞄準(zhǔn)了更廣泛的客戶群體，希望能在這片新藍(lán)海中大顯身手。

這些潛在客戶不乏那些渴望利用新興的生成式AI技術(shù)，卻又不想大費(fèi)周章自建AI基礎(chǔ)設(shè)施的財(cái)富500強(qiáng)企業(yè)。而且，購(gòu)買(mǎi)AI推理芯片比從英偉達(dá)等公司購(gòu)買(mǎi)GPU便宜。AI推理芯片旨在優(yōu)化推理計(jì)算的速度與效率，尤其擅長(zhǎng)智能建議、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域。

業(yè)內(nèi)專家稱，一旦推理速度提升至每秒數(shù)千token，AI模型將能在眨眼之間完成復(fù)雜問(wèn)題的思考與回答過(guò)程。這不僅能讓現(xiàn)有應(yīng)用的交互效率實(shí)現(xiàn)質(zhì)的飛躍，還將帶來(lái)一系列令人耳目一新的人機(jī)交互場(chǎng)景。例如，在語(yǔ)音對(duì)話領(lǐng)域，延時(shí)將被壓縮至毫秒級(jí)，能實(shí)現(xiàn)近乎自然的對(duì)話體驗(yàn)；在虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)領(lǐng)域，AI將能實(shí)時(shí)生成和調(diào)整虛擬環(huán)境、角色對(duì)話以及交互邏輯，給用戶帶來(lái)個(gè)性化、沉浸式體驗(yàn)。