NVLink 和 NVLink Switch

高速、多 GPU 通訊的建置組塊,能將大型資料集更快輸入模型,並迅速在 GPU 之間交換資料。

更迅速、具可擴充性的互連技術需求

要釋放百萬兆級運算和兆級參數人工智慧模型的完整潛能,伺服器叢集中每個 GPU 之間就必須能快速流暢地通訊。第五代 NVIDIA® NVLink® 是可擴充互連技術,可為兆級和數兆級參數人工智慧模型釋放加速效能。

NVLink 效能

與上一代相比,NVIDIA H100 中的 NVLink 將 GPU 間通訊頻寬提高了 1.5 倍,因此研究人員可以使用更大、更複雜的應用程式來解決更複雜的問題。

利用 NVLink 通訊提升 GPU 輸送量

使用 NVIDIA NVLink Switch 完全連接 GPU

NVLink 是一種 1.8TB/s 雙向、GPU 與 GPU 間直接互連,並具有在伺服器內多 GPU 輸入和輸出 (IO) 的可擴充性。 NVIDIA NVLink-X800 Switch 晶片連接多個 NVLink,提供不管是單一機架內或機架之間的 GPU 以 NVLink 全速進行通訊。

為了實現高速集體操作,每個 NVLink 交換器都配備了 NVIDIA SHARP™ (Scalable Hierarchical Aggregation Reduction Protocol) 引擎,用於網路內縮減和多播加速。

使用 NVLink 交換器系統訓練數兆級參數模型

透過 NVLink Switch,NVLink 連接可以跨節點擴展,以創建無縫、高頻寬、多節點 GPU 集群,有效形成資料中心大小的 GPU。 NVIDIA NVLink Switch 在一個 NVL72 中實現 130TB/s 的 GPU 頻寬,以實現大型模型並行性。具有 NVLink 的多伺服器叢集可以在運算量增加的情況下擴展 GPU 通信,因此 NVL72 可以支援比單一 8 個 GPU 系統高 9 倍的 GPU 吞吐量。

NVIDIA NVLink Switch

NVIDIA NVLink 交換器具有 144 個 NVLink 端口,無阻塞交換容量為 14.4TB/s。此機架交換器旨在為支援外部第五代 NVLink 連線的 NVIDIA GB200 NVL72 系統提供高頻寬和低延遲。


從企業級擴充至百萬兆級

完全連接,效能絕倫

NVLink Switch 是首款能夠在非阻塞運算結構中支援多達 576 個完全連接 GPU 的機架級交換器。NVIDIA Switch 以令人難以置信的 1,800GB/s 的速度互連着每個 GPU。它支援完整的點對點通訊。 GB200 NVL72 中的 72 個 GPU 可用作單一高效能加速器,具有高達 1.4 exaFLOPS 的 AI 運算能力。

最強大的人工智慧和高效能運算平台

完整的 NVIDIA 資料中心解決方案整合了硬體、網路、軟體、函式庫以及 NVIDIA AI Enterprise 軟體套件與 NVIDIA NGC™ 目錄上的最佳化人工智慧模型和應用程式,而 NVLink 與 NVLink Switch 則是解決方案的重要基石。此功能最強大的端對端人工智慧和高效能運算平台,可以讓研究人員提供實際結果,並將解決方案部署到生產環境中,為各種規模的作業提供前所未有的加速效能。

深入探索 NVIDIA Blackwell 架構