現在，全世界都在關注 Nvidia在市場上的主導地位，但更深入地研究這一點很重要。Nvidia 顯然是訓練芯片市場的領導者，但這只占 AI 芯片需求的 10% 到 20% 左右。推理芯片有一個相當大的市場，它可以解釋經過訓練的模型并響應用戶查詢。這個細分市場要大得多，沒有任何一個實體，甚至 Nvidia 都無法鎖定這個市場。

此外，我們需要打破市場。用戶將需要在邊緣和云環境中進行推理處理。云推理將視數據中心需求而定。今天數據中心半導體的總市場約為 500 億美元（不包括內存，不可否認這是一個重要的排除）。這個推理市場不僅很大，而且相當分散。

考慮到大量人工智能工作是在 GPU 上進行的，英偉達可以說已經在其中占有很大份額，而且可能是最大的。AMD 也瞄準了這個市場，但他們遠遠落后于 Nvidia。此外，這是一個超大規模應用程序使用大量專有芯片的領域——AWS 在 Inferentia 上和谷歌在 TPU 上，僅舉幾例。值得注意的是，大部分工作仍在 CPU 上執行，尤其是在高端 GPU 供不應求的情況下。在可預見的未來，這部分市場預計將保持高度競爭。與 AMD 一樣，這是所有其他 CPU、GPU 和加速器供應商將通過健康的產品組合競爭的市場。

這給我們帶來了另一個重要機會——邊緣推理。“邊緣”一詞經常被誤用，但出于我們的目的，我們主要指的是最終用戶手中的任何設備。今天，這主要包括手機和個人電腦，但正在擴展到相機、機器人、工業系統和汽車等其他領域。預測這個市場的規模具有挑戰性。除了擴大使用范圍之外，這些設備的大部分硅片可能會被捆綁到執行這些設備所有功能的片上系統 (SoC) 中。

iPhone 就是一個典型的例子，它在其 A 系列處理器中將大量芯片區域專用于 AI 內核。根據一些指標，人工智能內容已經占據了 A 系列芯片的 20%，當我們承認剩下的 80% 必須在手機上運行所有其他功能時，這是相當可觀的。許多其他公司也在采用 SoC AI 策略。

AI 領域的一個普遍問題是運行最新的大型語言模型 (LLM)（如GPT和Stable Diffusion）所需的計算能力。人們對在盡可能輕的計算足跡上運行這些模型非常感興趣，并且開源社區在相對較短的時間內取得了顯著進步。

這意味著邊緣推理市場可能仍將高度分散。一種務實的方法是假設對于現有類別，如手機和個人電腦，人工智能芯片將由已經為這些設備提供芯片的公司提供，例如高通和英特爾/AMD。

如前所述，目前很難獲得對 AI 硅市場規模的可靠預測。圍繞LLM 和其他模型在實際工作中的實際使用的模糊性無助于這種情況。然后是關于計算什么以及如何計算的問題。例如，如果一個超大規模企業購買了數十萬個 CPU，這些 CPU 將運行神經網絡和傳統工作負載，或者如果有人在他們的 SoC 中添加了幾十平方毫米的 AI 塊，我們如何計算這些？目前，我們的粗略估計表明，人工智能芯片市場將包括約 15% 的訓練、45% 的數據中心推理和 40% 的邊緣推理。

這對任何考慮進入該市場的人都具有重大意義。在可預見的未來，Nvidia 將保持對訓練市場的控制。數據中心推理市場看起來很有吸引力，但已經包括了無數公司，包括 Nvidia、AMD 和英特爾等巨頭，以及來自客戶的 Roll-Your-Own 內部自研芯片。邊緣推理很可能由現有的傳統硅供應商主導，所有這些供應商都在大力投資支持 transformers和 LLM。那么，新進入者有哪些機會？我們基本上可以看到四個選項：

1、向其中一家 SoC 供應商提供 IP 或小芯片。這種方法的優點是資本要求相對較低；讓您的客戶處理向 TSMC 付款。有大量客戶旨在構建 SoC。雖然許多人可能希望在內部處理所有事情，但許多人可能會在必要時選擇協助。

2、建立一個大的（非常大的）戰爭基金并追逐數據中心市場。由于多種原因，這是一項具有挑戰性的工作，尤其是因為客戶數量有限，但潛在的回報是巨大的。

3、找到一些可以從定制解決方案中受益的新邊緣設備。將注意力從手機和筆記本電腦轉移到相機、機器人、工業系統等。這條路也不容易。其中一些設備非常便宜，因此無法容納具有高 ASP 的芯片。幾年前，我們觀察到許多希望在相機和無人機上實現低功耗 AI 的公司的宣傳。很少有人幸存下來。

4、最后是汽車，整個行業的希望。這個市場仍然高度分散且有些模糊。進入的窗口并不大，但機會很大。

總而言之，人工智能市場已經大有可為。這并不意味著那些冒險進入的人失去了所有希望，但公司在選擇市場和客戶時需要高度專注和極其審慎。