隨著AI大模型的發展，如何加速計算成了行業想要突破的重點領域。大模型的蓬勃發展讓AI芯片成為了熱門話題。為了更好地支持AI大模型，如何提高AI芯片性能也成為了產業關注的話題。
在談論AI芯片性能的時候，首先想到的一個指標就是算力即每秒操作數，通常用TOPS（Tera Operations Per Second）來表示，例如NVIDIA的H100INT8 Tensor Core可以達到3958TOPS。
AI芯片的算力固然重要，但也并不能了解芯片的能效，尤其是對于邊緣端芯片，低功耗是一個剛需指標。因此，通常使用單位功率下的每秒操作數來衡量芯片的能效，常用單位為TOPS/W。以英偉達Orin舉例，200 TOPS算力下，功耗45W的話，能效為200TOPS/45W=4.44TOPS/W。
再展開了解，除了每秒操作數和能效，AI芯片的性能的衡量還和時延、功耗、芯片成本/面積、吞吐量、可擴展性、靈活性和適用性和熱管理等。既然AI芯片的衡量指標有這么多，那么想要提升芯片的表現也就需要從改善這些方面下手。
AI芯片知多少
在探討如何提升AI芯片性能之前，先來了解一下幾個AI芯片的指標的影響因素。
1.時延
時延通常與AI神經網絡處理的數據大小（包括Batch size）有關。反映的是AI芯片的實時性能，主要適用于客戶端應用。
2. 功耗
在云端、邊緣和終端，功耗都是十分重要的指標。功耗包括芯片中計算單元的功率消耗，也包括片上存儲和片外存儲的功率消耗。
3. 芯片成本/面積
裸片面積對成本有直接影響，每片晶圓上產出的合格芯片越多，單個芯片的成本就越低。相同的設計，芯片面積大小取決于所用的工藝技術節點，節點越小，面積就越小。這也就解釋了為什么行業一直在追求更先進節點。
4 吞吐量
單位時間內能夠處理的數據量。對于視頻應用來說，通常用分辨率和FPS（Frames Per Second，也就是幀率）來表示，大的吞吐量能夠保證視頻畫面的連續性。提高吞吐量的方法包括：提高時鐘頻率、增加處理單元數量、提高處理單元的利用率等。
5. 可擴展性
可擴展性表示是否可以通過擴展處理單元及存儲器來提高計算性能，Scale up指對單個AI芯片的架構，通過添加更多的處理單元，核數和存儲器來提升芯片整體性能。Scale out指是由多個AI芯片構成的系統，通過添加更多AI芯片來提升系統的整體性能。（性能包括：運算能力，還有存儲能力和數據傳輸能力等）以英偉達H100為例，這款GPU包括多個規格，這也讓算力范圍實現了26 teraFLOPS～3958 TOPS*的不同表現。
6. 靈活性和適用性
靈活性和適用性決定了相同的設計是否可以應用在不同的領域，以及芯片是否可以運行不同的深度學習模型，這一指標可能設計許多軟件層面的工作。
7.熱管理
隨著單位面積中的晶體管數量不斷增加，芯片工作時的問題急劇升高，需要有較好的熱管理方案。常見的散熱方法為風扇散熱，谷歌的TPUv3則用到了最新的液體冷卻技術。如一款AI芯片算力相當高，但功耗也同樣很高，經常一過熱就要導致自動降頻這樣的AI芯片也很難說是一款優秀的AI芯片。
AI芯片的限制
提到AI芯片的限制，就不得不提到“馮·諾依曼瓶頸”，而這個詞已經不再那么陌生。
在傳統馮·諾伊曼體系結構中，數據從處理單元外的存儲器提取，處理完之后再寫回存儲器。在 AI芯片實現中，由于訪問存儲器的速度無法跟上運算部件消耗數據的速度，再增加運算部件也無法得到充分利用，即形成所謂的馮·諾伊曼“瓶頸”，或“內存墻”問題，是長期困擾計算機體系結構的難題。
這也就引出一個提高AI性能的路徑，即支持高效的數據訪問。例如利用高速緩存(Cache) 等層次化存儲技術盡量緩解運算和存儲的速度差異。
AI芯片中需要存儲和處理的數據量遠遠大于之前常見的應用。大部分針對 AI，特別是加速神經網絡處理而提出的硬件架構創新都是在和馮·諾伊曼的瓶頸做斗爭。
在架構層面可以減少訪問存儲器的數量，比如減少神經網絡的存儲需求、 數據壓縮和以運算換存儲等 ；也可以降低訪問存儲器的代價，盡量拉近存儲設備和運算單元的“距離”，甚至直接在存儲設備中進行運算。
從AI芯片設計的角度來說，要達到較好的性能和能效，最好是對架構級、算法級和電路級三個層面進行跨層設計，以實現對各種指標的總體權衡。
使用領先的工藝節點是過去的重要途徑，但由于基礎物理原理限制和經濟的原因，持續提高集成密度將變得越來越困難。目前，CMOS 器件的橫向尺寸接近幾納米，層厚度只有幾個原子層，這會導致顯著的電流泄漏，降低工藝尺寸縮小的效果。此外，這些納米級晶體管的能量消耗非常高，很難實現密集封裝。
因為工藝的提升空間有限，是否有其他角度的解決方案能突破AI芯片的技術瓶頸。
兩種解決方法
1.類腦芯片
在計算架構和器件層面，類腦芯片是一個不錯的思路。神經元和大腦突觸的能量消耗比最先進的CMOS 器件還低幾個數量級。IBM的Neuromorphic的終極理念是把記憶和運算建立在高維連接上，而不是器件上；當然最終也降低了運算功耗。許多人工智能算法在其程序中模擬神經網絡。 他們使用并行處理來識別圖像中的對象和語音中的單詞。
近期，IBM推出了一款新的類腦芯片NorthPole“北極”，北極模糊了計算和存儲之間的界限，IBM研究院的Dharmendra Modha表示，“在單個內核級別，NorthPole 顯示為接近計算的內存，而在芯片外部，在輸入輸出級別，它顯示為活動內存。這使得 NorthPole 易于集成到系統中，并顯著降低了主機上的負載。”
英特爾也推出了Loihi 神經形態計算處理機器。應用腦研究聯合首席執行官、滑鐵盧大學教授克里斯·埃利亞史密斯 (Chris Eliasmith) 是使用這項新技術的幾位研究人員之一。他表示 “使用 Loihi 芯片，我們已經能夠證明運行實時應用程序時的功耗降低了 109 倍。 深度學習 與 GPU 相比，功耗降低了 5 倍……更好的是，當我們將網絡擴展 50 倍時，Loihi 可以保持實時性能結果，并且僅使用 30% 的電量，而物聯網硬件使用的電量增加了 500%，并且不再是實時的。”
2.存算一體
近年來，可以存儲模擬數值的非易失性存儲器發展迅猛，它可以同時具有存儲和處理數據能力，可以破解傳統計算體系結構的一些基本限制，有望實現類腦突觸功能。（某種意義上存算一體就是實現類腦計算的方式。）
目前比較流行的存內計算范式是——利用存內計算加速VMM（Vector-Matrix Multiplication）或GEMM（General Matrix Multiplication）運算。
基于憶阻器內存高速訪問、斷電后仍可保存數據的特性，可以實現內存+硬盤二合一，解決數據的大量移動，從而進一步實現了完全在芯片上進行學習任務。憶阻存內計算范式則被認為是有望解決該問題的候選方案之一。以機器學習為代表的軟計算應用方向已經在憶阻陣列上得到了廣泛的驗證，包括神經網絡、數據聚類和回歸等諸多領域。同時，以科學計算和圖像處理為代表的硬計算也成功在憶阻陣列上實現，并在降低功耗和時間復雜度等方面取得了很大突破。究其根本，這些應用的發展都得益于憶阻陣列能夠以很高的并行性執行并行矩陣向量乘法操作，并消除了大量的數據移動任務。然而，憶阻存內計算仍面臨著從底層硬件到系統設計各個層面的不可忽視的挑戰。
2023年10月，清華大學集成電路學院教授吳華強、副教授高濱基于存算一體計算范式，研制出全球首款全系統集成、支持高效片上學習（機器學習能在硬件端直接完成）的憶阻器存算一體芯片。相同任務下，該款芯片實現片上學習的能耗僅為先進工藝下專用集成電路系統的3%，展現出卓越的能效優勢，具有滿足人工智能時代高算力需求的應用潛力。相關成果可應用于手機等智能終端設備，還可以應用于邊緣計算場景，比如汽車、機器人等。
存算一體已經成為多個存儲芯片廠商的主要研究方向。
3.加速不同組件之間的數據傳輸速度
另一個問題是要解決，設備之間的內存鴻溝：包括內存容量、內存帶寬和I/O延遲等問題。
過去服務器內的芯片連接通常是用 PCIe 完成的，從性能和軟件的角度來看，使用 PCIe，不同設備之間通信的開銷相對較高。此外，連接多臺服務器通常意味著使用以太網或InfiniBand，這些通信方法存在著相同的問題，具有高延遲和低帶寬。
2018 年，IBM 和 Nvidia 帶來了解決PCIe與NVLink缺陷的解決方案，應用在當時世界上最快的超級計算機Summit上。AMD在Frontier超級計算機中也有類似的專有解決方案，名為Infinity Fabric。之后，英特爾制定了自己的標準，并于 2019 年將其專有規范作為CXL1.0 捐贈給了新成立的 CXL 聯盟。該標準得到了半導體行業大多數買家的支持。
CXL是一種開放式行業標準互連，可在主機處理器與加速器、內存緩沖區和智能 I/O 設備等設備之間提供高帶寬、低延遲連接，從而滿足高性能異構計算的要求，并且其維護CPU內存空間和連接設備內存之間的一致性。CXL優勢主要體現在極高兼容性和內存一致性兩方面上。基于業界大多數參與者的支持，CXL 使向異構計算的過渡成為可能。
CXL 聯盟已經確定了將采用新互連的三類主要設備：
智能網卡等加速器通常缺少本地內存。通過 CXL，這些設備可以與主機處理器的 DDR 內存進行通信。
GPU、ASIC 和 FPGA 都配備了 DDR 或 HBM 內存，并且可以使用 CXL 使主機處理器的內存在本地可供加速器使用，并使加速器的內存在本地可供 CPU 使用。它們還位于同一個緩存一致域中，有助于提升異構工作負載。
可以通過 CXL 連接內存設備，為主機處理器提供額外的帶寬和容量。內存的類型獨立于主機的主內存。
不同于存內計算，CXL則是處理器廠商的主要攻克方向。
在加速AI計算的硬件之路，不同公司都在探索新的方法。哪些嘗試會帶來跨時代的改變？我們拭目以待。
共0條 [查看全部] 網友評論