如果當年就有 Patti:為什麼是 GPU 贏了 AI?

Patti Insight 傳奇篇系列。我們拿一段大家都聽過的技術史,回頭問:當年看得到什麼、該問什麼、該盯哪些路標(看到什麼訊號,就代表一條路開始走得通)。每一段都標清楚:哪些是當年看得到的,哪些是後見之明。

正文的〔S##〕對應書末「出處代號對照」;主要事實句的查證狀態另有紀錄,可向發行方索取。

2014 年 12 月 30 日,美國國際貿易委員會(ITC)立案調查一批繪圖處理晶片(GPU)、系統單晶片(SoC)及其產品。公告點名的被告不只 NVIDIA,還有 Biostar、Elitegroup、Sparkle、EVGA、ZOTAC 等十幾個實體。提告的是 Samsung〔S10〕。

行政法官後來認定違反三件專利,建議有限排除令(禁止特定產品進口美國);委員會複審期間,雙方和解,沒有終局決定〔S10〕。

最有意思的是那三件專利的標題:CMOS 靜態隨機存取記憶體、匯流排系統、資料選通緩衝器。一場關於 GPU 的官司,從標題看,沒有一件在講繪圖〔S72〕。

兩個多月前(2014 年 10 月),ITC 才因 NVIDIA 的申請,立案調查 Samsung 和 Qualcomm,主張的專利包括繪圖處理器專利 US 7,038,685(下稱 '685)。NVIDIA 原主張七件,後來撤回其中四件,其餘認定無違反〔S02〕〔S09〕。兩案有沒有因果,文件沒寫。

GPU 的故事你讀過很多次:絕境、CUDA(NVIDIA 的 GPU 程式平台)的賭注、AlexNet(2012 年贏下影像辨識比賽的神經網路)的轉折,別人寫得很精彩,這篇不重講。我們只問通史很少細談的一件事:專利到底做了什麼?

我們查到三件事。

第一,在我們讀到的幾件案子裡,專利影響了誰付錢給誰、誰沒有授權。 2011 年,Intel 同意付 NVIDIA 15 億美元授權費;NVIDIA 取得的授權不涵蓋部分微處理器(協議定義為 Intel 處理器或 Intel 相容處理器)、接 Intel 處理器的部分晶片組,以及部分快閃記憶體產品;同一份協議也了結了訴訟,所以不能全算在專利頭上〔S05〕。 2010 年,NVIDIA 在 Rambus 案挨了有限排除令,也簽了授權:部分記憶體控制器付單位淨售價的 1%,另一部分付 2%〔S06〕。

第二,NVIDIA 碰上的未必是繪圖架構的專利。 Rambus 案涉及的是記憶體控制器,Samsung 那三件從標題看也不是繪圖(請求項,也就是專利實際主張的範圍,我們沒有逐件讀)。在我們讀到的這幾案裡,真正發出或建議排除令的兩案都不在繪圖架構上(這是我們的解讀)〔S06〕〔S72〕。

第三,我們讀到的文件,沒有一份說 GPU 靠專利贏下 AI。 研究論文通常不談專利,所以這只是看不出來,不是反證〔S18〕〔S19〕〔S20〕〔S21〕。


第一幕 拿掉專利,會不同嗎?

這張表是這篇的核心,逐一事件問一次。

事件 文件事實 拿掉專利,會不同嗎(本文的判斷)
Rambus(2008–10) ITC 認定 NVIDIA 侵害三件專利,發出有限排除令,點名 NVIDIA 與多家顯示卡相關廠商;NVIDIA 簽了權利金 1%/2% 的授權〔S06〕〔S73〕〔S74〕 會:成本與進口風險。這是文件裡真正發出排除令的一案;後續結果我們沒有查
Intel(2009–11) Intel 先提告,爭 2004 年授權涵不涵蓋某些晶片組;交叉授權,Intel 付 15 億美元〔S05〕〔S06〕 會:現金和界線都來自授權。NVIDIA 停止開發後續晶片組的原因,我們讀到的範圍沒寫,不能說是被逼退〔S08〕
NVIDIA 告 Samsung、Qualcomm(2014–15) 無違反;'685 有兩項請求項沒被認定無效,但對手不侵權〔S09〕 對手那邊不會:這幾件專利沒擋下被控產品
Samsung 告 NVIDIA 等(2014–16) 行政法官認定違反,建議排除令;複審中和解〔S10〕 會:但停在建議階段,沒有終局決定
研究論文(2010–13) 四篇全文搜尋,patent、license 都是 0 次〔S18〕〔S19〕〔S20〕〔S21〕 看不出來:論文通常不談
CUDA 看得到的保護是授權條款:不得為了轉譯到非 NVIDIA 平台而反向工程輸出(現行版條款,未查當年版)〔S17〕 就已讀文件,看不出來:這是合約,不是專利

和解與私下授權的內容看不到,所以這張表只能問公開的那一部分。

我們自列的 15 條說法。 這些是我們自己想到的可能說法,不代表都有人這樣主張;逐條查證的完整表可向發行方索取。例如「NVIDIA 靠專利打垮 3dfx」:文件的順序是 3dfx 1998 年先告,NVIDIA 2000 年才反告五件,後來以約 7,000 萬美元買下資產(含專利),雙方撤訴;3dfx 衰退和專利的因果,我們沒有讀到文件〔S07〕。 「Intel 侵權賠了 15 億」:那是交叉授權的授權費,分六期付〔S05〕。 「專利是 NVIDIA 的護城河」:這不是文件用語,NVIDIA 年報也有專利 "may not provide us with competitive advantages" 這種風險因素的制式文字〔S06〕。

我們自列的 15 條說法:查證結果

圖:15 條裡,錯誤 5 條、部分正確或需修正 5 條、查無一手來源 2 條、不可驗證的歸因 3 條,條目由本文自選,這個結果不能當統計看。下方三例的出處〔S05〕〔S06〕〔S09〕〔S19〕。


第二幕 當年的人會怎麼問

把時間撥回 2006 年底。你是一家中型板卡廠的技術主管。NVIDIA 剛發表 CUDA,也有人在講多核和專用加速器。老闆問:高效能運算這塊,我們要不要投?

「GPU 通用運算的趨勢如何?」多半只會換來一篇百科式的綜述。Patti 會把它改成:我是做板卡的中型廠,要決定未來五年投不投運算卡;三條路各卡在哪裡;看到什麼訊號我的決定會變;誰握有這條路的專利,我會不會碰到;只用 2006 年底以前公開的資料。

(示意。實際上 Patti 會先把你的問題複述並重整(回述);回述畫面會逐字保留你的原題,再列出建議新增的面向,讓你勾選。)


第三幕 當年的報告(資料截止 2006 年底)

以下由作者依這個問法手工重建,不是 Patti 實跑的產出。只用 2006 年底以前公開的資料;一篇稍後刊出、描述當時狀態的綜述會標明。資料守住了截止日,但挑哪幾份、訂哪些路標,受後見之明影響。專利「公告」是官方公開它的日子。

問題。 2006 年 12 月,柏克萊的報告寫到功耗牆、記憶體牆(晶片功耗與記憶體速度的上限),還引了 Sterling 在 SC06 會議上的提問:"will multicore ultimately be asphyxiated by the memory wall?"〔S24〕。 算力往哪裡找?

路線一:多核 CPU。 多核 CPU 是當時的主流,卡點是功耗、記憶體,以及平行程式模型〔S24〕。

路線二:GPU 通用運算。 Ian Buck 2006 年的論文用 Brook(一種擴充 C 語言的程式語言)把 GPU 當串流協處理器〔S37〕。 同年 11 月,NVIDIA 發表 CUDA,一個給 GPU 用的 C 編譯環境,宣稱比傳統做法最多快 100 倍(企業說法)〔S27〕。 在這之前的硬體,一篇綜述說 "The GPU is hardly a computational panacea":缺雙精度、整數,還要把問題改寫成圖形(2007 年刊出,描述的是更早的硬體)〔S23〕。

路線三:專用加速器。 Cell 處理器(Sony、Toshiba、IBM 合作設計)單精度極快,但研究者說單精度 "widely considered insufficient for the majority of scientific applications";雙精度慢了約 14 倍,不過仍高於當時的對照機器〔S25〕。 ClearSpeed 每張板 8,000 美元;報導寫,它的產品必須比 Intel、AMD 最好的通用晶片快至少 5 倍〔S28〕。

專利這一層。 NVIDIA 的 US 7,038,685 於 2006 年 5 月 2 日公告,談同一處理單元以多執行緒處理多種樣本、逐週期動態平衡;ATI 的 US 6,897,871 於 2005 年 5 月 24 日公告,標題就是 unified shader〔S02〕〔S03〕。 兩件都是繪圖專利,都談同一單元處理不同工作。我們的解讀是:這一點接近通用運算;兩件的第一項請求項都沒有提到通用運算。我們也不判先後或侵權。NVIDIA 的 FY2001 年報寫過 Rambus "may sue us or our customers"(2006 年的年報還寫不寫,我們沒查)〔S07〕。

對你的意義。 如果你的板卡用 NVIDIA 的晶片,NVIDIA 年報那句 "may sue us or our customers" 的 customers 就可能包括你。

第三幕一頁版(模擬,資料截止 2006 年底)

圖:第三幕的一頁版,由作者手工重建〔S02〕〔S03〕〔S07〕〔S23〕〔S24〕〔S25〕〔S27〕〔S28〕〔S37〕。這是模擬,不是當年的實際文件;路標與時限為本文自訂。

如果當年有 Patti:這張表,夠你下決定嗎? 這四個路標,看到了會改變你的決定嗎?它漏了什麼? 先想一下,再往下翻。


第四幕 揭曉(後見之明)

以下是事後才知道的事。

第三幕那份表漏掉的,其實就在它引用的文件裡。 那份柏克萊報告說機器學習是 "One of the most promising areas",但舉的例子是支援向量機、主成分分析,歸在線性代數;全文搜尋,neural 這個字一次也沒出現〔S24〕。 而第三幕引用的 Owens 等人綜述,就提過 1998 年有人用繪圖硬體算神經網路〔S23〕(這裡讀的是 2007 年刊出的版本;2005 年的早期版本有沒有這句,我們沒查);另據 2010 年的論文,2005 年也有人做過,當時加速有限〔S19〕。 柏克萊報告的作者名單裡有 Bryan Catanzaro。七年後,他的名字出現在另一篇論文上,署名 NVIDIA:三台 GPU 機器訓練十億參數,對比的是先前用 16,000 個 CPU 核心的結果〔S21〕。

當年文獻提到的雙精度卡點,2010 年的手寫辨識應用就用不到。 2007 年 AMD 宣告雙精度 GPU(自述)〔S32〕。 但 2010 年打破手寫辨識紀錄的,是 "single precision floating-point GPU-based neural nets",訓練時比標準微處理器快 40 倍以上〔S19〕。

Google 2006 年就討論過,結論是不用。 他們事後寫道,當年討論過 GPU、FPGA 和 ASIC,但閒置機房夠用:"it's hard to improve on free"〔S22〕。 2012 年的 NIPS 會議(機器學習年會)上有兩條路:AlexNet 用兩張 GTX 580 訓練五到六天,論文寫 "Luckily, current GPUs ... are powerful enough",以 top-5 錯誤率(正確答案不在模型前五個猜測裡的比例)15.3% 對第二名 26.2% 贏下 ILSVRC-2012 影像辨識比賽〔S18〕;Google 則用上萬核心的 CPU 叢集,還說模型裝不進 GPU 記憶體時,加速很小〔S20〕。 所以 GPU 不是當場贏的。Google 的討論到 2013 年才變,原因是一筆算術:如果人人每天用語音搜尋三分鐘,機房就要翻倍。結果是自研推論用的 ASIC,訓練則買現成的 GPU〔S22〕。

CUDA 也不是為 AI 生的。 2006 年發表時舉的應用是產品設計、資料分析、技術運算、遊戲物理〔S27〕。 FY2015 的 NVIDIA 年報已明列 deep learning(更早的年報我們沒有全文比對)〔S15〕。

這張表準不準?

路標(本文自訂) 時限 我們讀到的資料 結果
① 一般軟體吃到多核加速 2011 年 本篇沒有查這條的結果 未查
② 獨立報告:非圖形應用快 10 倍以上 2011 年 至遲 2010 年,Cireşan 等人用 CUDA 訓練神經網路,比標準微處理器快 40 倍以上〔S19〕 達標
③ 大型公司公開部署專用加速器 2016 年 微軟 Catapult 2014 年發表、2015 年部署;Google TPU 2015 年部署〔S22〕 達標
④ 訴訟或授權改變誰付錢、誰有授權 2011 年 Rambus 2010、Intel 2011〔S05〕〔S06〕 達標

路標是我們事後自訂的,這裡只示範寫法,不證明任何決定對。

回到你的板卡廠。 ② 和 ④ 要到 2010–11 年才出現,你的五年決定已經要交卷了。但那句 "our customers" 沒有等到那時候。2008 年 12 月,ITC 就 Rambus 的申請立案,公告寫明涉案產品 "including graphics cards and motherboards",被告除了 NVIDIA,還有 ASUS、BFG、Biostar、EVGA、Giga-byte、MSI、Palit、Sparkle 等〔S73〕。2010 年 7 月的有限排除令和禁止令,點名的就有 ASUS、BFG、Biostar、EVGA、MSI、Palit〔S74〕。 2014 年 Samsung 那份名單上,Biostar、EVGA、Sparkle 又出現了一次〔S10〕。 做板卡,你也可能收到這種公告(「板卡廠」是我們的概括,公告沒這樣稱呼每一家)。

表上沒有的:出口管制。 2022 年 8 月,美國政府要求 A100、H100 出口中國與俄羅斯須取得許可〔S12〕;同年 10 月的規則訂出 600 Gbyte/s 等門檻〔S11〕。 這條線和專利無關,卻直接決定能賣給誰。

文件沒提到專利的事。 Google 自研了 TPU,論文還把讀者指向自家的專利申請〔S22〕;Intel 取消 Larrabee(自家繪圖晶片)消費版時,講的是 "silicon and software development are behind"〔S31〕。 我們沒讀到專利在這兩件事上起作用,但這不排除它。

我們沒查到的。 Raina 等人 2009 年用繪圖處理器做深度學習的論文全文、Brook 與 Buck 論文原文、ImageNet 原文、FPGA 路線、NVIDIA 內部轉向的文件(只見書評摘要)、ITC 各案的公開版判決、Samsung 與 Rambus 專利的請求項逐件比對、Stephen Witt 談 NVIDIA 的書,我們都沒有讀到;多核那條路標也沒查結果。

給今天的技術人: 就我們讀到的這幾案,過路費是真的要付,而且收費站未必在你盯著的那一層。


反轉條件(後見之明)

本段全部是後見之明。

2017 年時,挑戰者已經上場。 Google 為推論自研 TPU,目標是比 GPU 好 10 倍的成本效能,訓練照買 GPU(2017 年的自評,不能外推到今天)〔S22〕。

專利的主人也會換。 2024 年 11 月,約百件美國專利從 AMD 經 ATI 轉給 Onesta IP,後者接著對 NVIDIA 提告;結果我們沒有查〔S36〕。 別人的專利可能換個主人再找上門。

如果今天的你有 Patti: 你所在的分類裡,誰在申請,誰沒有?下一幕看一個例子。


第五幕 誰在申請?

專利局會替每件專利標上技術分類。我們逐年數同一項發明在各國的申請(一個專利家族),再看申請人是誰。

從圖形到 AI 的專利活動:依分類,不是引用

圖:每年新增專利家族數,依家族最早優先權年〔S70〕。各支依專利分類歸入,不是引用關係。主詞是專利活動,不是市場,也不是誰贏。一個家族可屬多支,各支不可相加。2024 年可能仍未公開完整;同期全部專利也在增加,且多在中國申請。抽樣標題顯示,神經網路硬體一支不少標題看不出硬體成分;分類也不等於 GPU。

2017 年是交叉點。 從這年起,神經網路硬體的家族數超過影像與圖形處理器架構,只算中國以外也成立(987 對 716)〔S70〕。 但這類分類多為後來補標,神經網路子碼又是近年才細分,這個年份只能當約略值。

申請人表。

分類 期間 NVIDIA 同期其他申請人舉例(Samsung 為集團層級;Sony 兩家未合併計算)
影像與圖形處理器架構 2000–04 55 族,15.2% Sony 兩家公司分別 12、11(Sony Computer Entertainment、Sony);Intel 12、AMD/ATI 11
同上 2005–09 87 族,14.4% Samsung 42、Intel 29
同上 2010–14 105 族,7.0% Intel 161、Samsung 124
同上 2015–19 94 族,2.4% Intel 529、Samsung 208
同上 2020–24 188 族,3.0% Intel 241、Huawei 172
神經網路硬體 2020–24 248 族,2.0% Samsung 708、Huawei 393、Intel 323

2000–09 年在影像與圖形處理器架構這個分類,NVIDIA 是申請最多的;這個分類不等於 GPU,也含影像處理器。占比的主要跌幅在 2010–19 年,和中國關係不大;2020–24 年的差距才明顯受只在中國申請的家族影響,扣掉這些家族後,NVIDIA 占比約 6.9%。神經網路硬體同期扣掉後約 3%〔S70〕。這份資料不支持「靠專利量贏」,也不支持「靠專利量輸」;它只涵蓋部分分類,件數也不等於價值。2015–19 年,Intel 有 529 族,NVIDIA 94 族:這是申請量,不是因果。

市場這一層。 NVIDIA 年報的 Data Center 收入,FY2016 是 3.39 億美元,FY2026 是 1,937 億美元;FY2023 首度超過 Gaming(150 億對 90.7 億);Gaming 也從 28.2 億長到 160 億〔S71〕。 這含網路(FY2026 為 314 億),FY2021 起也受 2020 年併入的 Mellanox(網路設備)影響,不等於 GPU 收入;也不是市占率。

NVIDIA Data Center 與 Gaming 收入,FY2016–FY2026

圖:NVIDIA 10-K 自報收入,FY2026 大多落在 2025 年。不是市占率,也不能說明是誰的功勞〔S71〕。

同一時期,NVIDIA 在神經網路硬體分類的家族也在增加,但占比只有約 2%;Data Center 卻占 FY2026 總收入近九成。這兩個數字不能互相解釋:收入不能算成專利的功勞,專利也不只是擺設,第一幕那張表就是證據。Patti 只回答「誰在申請、落在哪裡」,不回答「這些錢該算誰的」。


結尾 如果你也有一個技術問題

這篇的問法可以照用:當年看得到什麼、該問什麼、該盯哪些路標。

想請 Patti Insight 查自己的題目,有兩條路。現成報告的題目由我們選定,可以直接購買。量身研究要先申請:我們先以人工審核身分與題目,通過才寄付款連結,付款後才開始研究。題目可能不獲受理,報告也可能答不到你想問的事。沒有讀到全文的地方,Patti 不判斷那裡有沒有技術空白(還沒有人解決的地方)。

你所在的分類,本文沒有往下查。

Patti Insight 怎麼做、有哪些限制: https://patti.empryon.ai/methods-zh


本文的第三幕是模擬:由作者依公開資料手工重建,不是當年的實際文件,也不是 Patti 實跑的產出。所有路標都是本文自訂。本文非投資建議,不談股價與市值。


出處代號對照

正文每個〔S##〕對應下列書目行;以下列出本文用到的每個代號。

LegendsEnglish下載 PDF全部傳奇篇