在某種程度上，計算系統中唯一真正重要的是它的內存發生了怎樣的變化，在某種程度上，這就是讓計算機像我們這樣的原因。世界上所有的計算能力，或者數據的操作或轉換類型，都沒有創建新數據那么重要，然后將新數據存儲在內存中，這樣我們就可以以某種方式高速使用它。

系統及其內存的問題在于，您無法擁有一個擁有一切的內存子系統。

您可以將 3D XPoint 變成一種主內存，正如英特爾在其 Optane PMem DIMM 外形中所展示的那樣；PMEM 中的這種持久性很有用，但您最終會得到一個比閃存更昂貴且比普通 DRAM 慢的內存，因此它不能真正完全替代任何一個，但它可以用作內存層次結構中的另一層——并且在某些系統和存儲。

使用普通的 DRAM，你可以為應用程序和數據構建一個大的內存空間，但它可能會變得昂貴并且帶寬不是很大。內存速度的提高和 CPU 上控制器數量的增加有所幫助，但延遲仍然相對較高（至少與 HBM 堆疊內存相比），并且帶寬遠不及 HBM 高。該行業確實知道如何大批量生產 HBM，因此產量較低且單位成本較高。

DDR DIMM 無處不在——現在已經有五代了——它們的大規模生產意味著即使帶寬受到挑戰，它也是低成本的。DDR SDRAM 內存由 JEDEC 于 1998 年指定，并于 2000 年廣泛商業化，首次推出時的低頻率為 100 MHz，最高頻率為 200 MHz，每通道的帶寬在 1.6 GB/秒和 3.1 GB/秒之間。通過過去幾年的DDR迭代，內存時鐘速率、I/O 總線時鐘速率和內存模塊的數據速率都在增加，容量和帶寬也隨之增加。DDR4 仍然普遍用于服務器，高端模塊的內存運行頻率為 400 MHz，I/O 總線速率為 1.6 GHz，數據速率為 3.2 GT/秒，每個模塊的帶寬為 25.6 GB/秒。DDR5 將帶寬翻倍至 51.2 GB/秒，并將每個記憶棒的最大容量翻倍至 512 GB。

我們的猜測是，對于許多設備來說，這種容量很大，但帶寬根本不夠用。因此，在可預見的未來，我們最終會在節點內部實現拆分內存層次結構并靠近計算引擎。或者，更準確地說，客戶必須在具有 DDR5 內存和 HBM3 內存的設備之間進行選擇，他們可能會在系統內和集群中的節點之間混合使用它們，其中一些可能具有 Optane 或其他類型的 ReRAM 或 PCM 持久內存在適當情況下。

跨主要內存類型和速度的編程對于混合內存系統來說仍然是一個問題，直到有人創建一個內存處理單元和一個內存管理程序，可以為計算引擎提供單級內存空間來共享。

或者，公司將使用一種類型的內存來緩存另一種。快而瘦的內存可以緩存肥而慢的內存，反之亦然。因此，在當今的許多混合 CPU-GPU 系統中，GPU 內存是完成大部分處理的地方，CPU 中的 DDR 內存和 GPU 中的 HBM 內存之間的一致性主要用于讓 DDR 內存發揮巨大作用GPU 的 L4 緩存——是的，CPU 已被降級為數據管家。相反，對于支持 Optane DIMM 的 Xeon SP 系統，在其中一種模式（也是最容易編程的模式）中，3D XPoint 內存被視為慢速主內存，機器中的 DDR4 或 DDR5 DIMM 是一種超級Optane 內存的快速緩存。

正如我們去年 7 月在介紹HBM3 內存在今年可用后將對系統可能意味著什么時指出的那樣，我們認為 HBM 內存將用于各種系統，最終將變得更加普遍，因此更便宜。畢竟，我們并不都仍然使用核心內存，而且很多工作負載都受到內存帶寬的限制，而不是計算。這就是為什么我們相信會有更窄的 512 位總線和無插入器的 HBM 版本以及具有 1,024 位總線和插入器的版本。

使用 HBM 內存（以及英特爾和美光曾經創建并用于其至強融核加速器的現已失效的混合內存立方體堆疊內存），您可以堆疊 DRAM 并將其鏈接到非常接近計算引擎的非常寬的總線并將帶寬提高許多因素，甚至比直接連接到 CPU 的 DRAM 上看到的帶寬高一個數量級。但是這種快速的 HBM 內存很薄，而且價格也相當昂貴。它本質上更昂貴，但內存子系統的價格/性能可能會更好。

與 DDR 主存相比，HBM 成本多少我們并不清楚，但 Rambus IP 內核產品營銷高級總監 Frank Ferro 知道與 GDDR 內存相比它的成本是多少。

“GDDR5 與 HBM2 的加法器的價格差距大約是 4 倍，”Ferro 告訴The Next Platform。“原因不僅在于 DRAM 芯片，還在于中介層和 2.5D 制造的成本。但是 HBM 的好消息是您可以獲得最高的帶寬，您可以獲得非常好的功率和性能，并且您可以獲得非常小的占地面積。你必須為這一切付出代價。但 HPC 和超大規模社區并沒有特別受成本限制。他們當然想要更低的功率，但對他們來說，一切都與帶寬有關。

Nvidia 知道 HBM3 內存的好處，并且是第一個在上個月宣布的“Hopper”H100 GPU 加速器中將其推向市場的公司。在 JEDEC 在 1 月份推出最終 HBM3 規范之后，這非常熱門。

HBM3 規范的出臺速度比 SK Hynix 去年 7 月在其早期工作中所暗示的要快，當時它表示預計每個堆棧至少有 5.2 Gb/秒的信號傳輸和至少 665 GB/秒的帶寬。

HBM3 規范要求每針信號速率從三星實現 HBM2E 時使用的 3.2 Gb/秒翻倍至 6.4 Gb/秒，HBM2E 是 HBM2 的擴展形式，將技術推向了官方 JEDEC 規范之外，該規范設置了信號最初的速率為 2 Gb/秒。（有一個早期的 HBM2E 變體使用 2.5 Gb/秒信號，而 SK 海力士使用 3.6 Gb/秒信號試圖獲得 HBM2E 優于三星的優勢。）

內存通道的數量也從 HBM2 的 8 個通道增加到 HBM3 的 16 個通道的數量翻了一番，并且在架構中甚至支持 32 個“偽通道”，據此我們假設 DRAM 組之間可能存在某種交錯，這通常是常見的在高端服務器主存儲器中完成。HBM2 和 HBM2E 變體可以堆疊 4、8 或 12 個芯片高的 DRAM，而 HBM3 允許擴展到 16 個芯片高的 DRAM 堆疊。HBM3 的 DRAM 容量預計在 8 Gb 到 32 Gb 之間，使用 8 Gb 芯片的四層堆棧產生 4 GB 容量，使用 32 Gb 芯片的 16 層堆棧產生每個堆棧 64 GB。據 JEDEC 稱，使用 HBM3 內存的第一代設備預計將基于 16 Gb 芯片。內存接口仍為 1,024 位寬，單個 HBM3 堆棧可驅動 819 GB/秒的帶寬。

因此，使用六個 HBM3 堆棧，理論上一個設備可以驅動 4.8 TB/秒的帶寬和 384 GB 的容量。我們想知道擁有如此多帶寬和容量的 Hopper H100 GPU 加速器在成本和散熱方面會有什么影響。.

由于計算的上層梯隊對內存帶寬不耐煩，Rambus 已經超越了相對較新的 HBM3 規范，最終可能在上圖中被稱為 HBM3E。具體來說，Rambus 已經設計了可以為 HBM3 引腳驅動 8.4 Gb/秒信號的信號電路，并為每個 HBM3 堆棧提供 1,075 GB/秒（是的，1.05 TB/秒）的帶寬。其中六個堆棧，您可以獲得高達 6.3 TB/秒的內存帶寬。這可以通過定制 HBM3 內存控制器和定制 HBM3 堆棧 PHY 實現。（順便說一下，Rambus 在 HBM2E 上的信號傳輸速率高達 4 Gb/秒。）

這樣的帶寬實際上可能會保留像 Nvidia Hopper GPU 這樣的計算設備，或者未來的谷歌 TPU5 機器學習矩陣引擎，或者選擇你夢想中的設備來提供充足的數據。不過，我們對瓦數和成本感到不寒而栗。但同樣，如果帶寬是瓶頸，也許在那里投入更多資金并對一切進行液體冷卻是有意義的。

我們期待有人建造這樣一個野獸，這樣我們就可以看到它的表現并分析它的經濟性。