NVIDIA 針對超大規模資料中心擴充深度學習推論功能|NVIDIA

NVIDIA 針對超大規模資料中心擴充深度學習推論功能

NVIDIA 揭櫫包括NVIDIA TensorRT 4、TensorFlow 整合、Kaldi 語音加速與ONNX 擴充支援；GPU推論速度現已比CPU 快190倍

NVIDIA (輝達) 今天宣布一連串新技術與合作夥伴，將推論的潛在市場拓展至全球3,000 萬部超大規模伺服器，同時大幅降低由深度學習技術所驅動的各種服務成本。

NVIDIA 創辦人暨執行長黃仁勳在 2018 GTC 發表開幕演說時，闡述深度學習推論如何透過在資料中心、車用以及如機器人和無人機等嵌入式裝置上，新增語音辨識、自然語言處理、推薦系統與影像辨識等技術支援，持續仰賴 GPU 加速。

對此，NVIDIA 宣布新版 TensorRT 推論軟體並將其整合至 Google 熱門的TensorFlow 框架中。 NVIDIA 也宣布將針對最受歡迎的語音辨識框架 Kaldi 進行 GPU 最佳化。此外，NVIDIA 與 Amazon、Facebook以及 Microsoft 等夥伴的密切合作，也將讓開發人員更容易將 ONNX 格式與 WinML 模型透過 GPU 進行加速。

NVIDIA 副總裁暨加速運算部門總經理 Ian Buck 表示：「針對量產深度學習推論技術所推出的 GPU 加速，即便在處理最龐大的神經網路時，也能即時且以最低成本運行，透過迅速支援更智慧的應用與框架，NVIDIA 不僅能提升深度學習的技術品質，同時還能協助降低全球 3,000 萬部超大規模伺服器的營運成本。」

TensorRT與TensorFlow的整合

NVIDIA 揭露 TensorRT 4 軟體能為多種應用程式進行深度學習推論加速。TensorRT能提供 INT8 與 FP16 精準的推論內容，讓資料中心成本最高可減少70%(1)。

TensorRT 4 能用來快速進行最佳化、驗證以及將訓練完成的類神經網路部署到超大規模資料中心、嵌入式裝置和車用 GPU 平台。在處理包括電腦視覺、神經機器翻譯、自動語音辨識、語音合成與推薦系統等常見應用時，新版軟體在執行深度學習推論的速度是 CPU 的190倍(2)。

為進一步加快研發效率，NVIDIA 與 Google 的工程師攜手將 TensorRT 整合到 TensorFlow 1.7，讓用戶更容易在 GPU 上運行各種深度學習推論應用。

Google 工程部總監 Rajat Monga 表示：「TensorFlow 團隊正與 NVIDIA 密切合作，將 NVIDIA GPU 的最佳效能帶給深度學習的用戶。TensorFlow 與 NVIDIA TensorRT 的整合目前已能在Volta Tensor Core 技術與 NVIDIA 深度學習平台上提供高達8倍的推論吞吐量(與低延遲目標中的GPU執行相比)，從而實現TensorFlow中GPU的最高效能。」

NVIDIA 已著手優化全球頂尖語音框架 Kaldi，能在 GPU 上發揮更高的效能。GPU 語音加速不僅代表將為消費者提供更精準且實用的虛擬助理，同時也代表資料中心營運商將藉此降低部署成本。

業界廣泛的支持

全球各領域企業開發人員正在運用 TensorRT 探取資料中的情資，並為企業與消費者部署各種智慧服務。

NVIDIA 工程師與包括 Amazon、Facebook以及 Microsoft等公司密切合作，確保運用各種 ONNX 框架的開發人員，包括 Caffe 2、Chainer、CNTK、MXNet和Pytorch的用戶，現在都能輕易部署至 NVIDIA 的深度學習平台上。

SAP 機器學習部門經理 Markus Noga 表示：「針對 TensorRT基於深度學習在 NVIDIA Tesla V100 GPU 上運行 SAP所推薦的應用程式之評測，我們發現在推論速度與吞吐量比 CPU 平台快 45 倍。我們相信 TensorRT 能為我們的企業顧客大幅提升生產力。」

Twitter Cortex團隊經理 Nicolas Koumchatzky 表示：「運用GPU讓我們的平台能建構媒體認知能力，不光是大幅縮短媒體深度學習模型的訓練時間，還讓我們在推論期間就能即時瞭解影片的內容。」

Microsoft 近期宣布對 Windows 10程式導入 AI 支援。NVIDIA與 Microsoft 合作開發多款 GPU 加速工具，協助開發人員在 Windows 程式中加入更多智慧功能。

NVIDIA 宣布針對 Kubernetes 推出 GPU 加速，以促進多雲 GPU 叢集上的企業推論部署。NVIDIA 將 GPU 強化的技術貢獻給開源社群，藉以支持 Kubernetes 社群。

此外，打造 MATLAB 軟體的 MathWorks 今日宣布將 TensorRT與該軟體進行整合。工程師與科學家現在能透過包括 NVIDIA DRIVE™、Jetson™以及Tesla® 等平台自動生產出高效能推論引擎。

資料中心推論

資料中心的管理者必須不斷在效能與效率之間取得平衡，藉以讓伺服器機群達到最大的生產力。在執行各種深度學習推論應用與服務時，透過 NVIDIA Tesla GPU 加速的伺服器能取代數個機架的 CPU 伺服器，空出寶貴的機架空間並降低對能源與冷卻的需求。

自駕車與嵌入式應用推論

TensorRT 也能部署在 NVIDIA DRIVE 自駕車與 NVIDIA Jetson 嵌入式平台。每個框架上的深度學習神經網路都能在資料中心的 NVIDIA DGX™ 系統上進行訓練，並部署從機器人到自駕車所有種類的裝置上，在邊緣進行即時推論。

透過TensorRT，開發人員能專注於研發新穎的深度學習應用，而不用費心為推論部署進行繁瑣的效能調校。以極快速度執行INT8 或 FP16精準度的推論，大幅降低延遲，這對包括嵌入式與車用平台上，處理物體偵測與路線規劃等功能至關重要。

NVIDIA Developer Program計畫成員現在可瀏覽 NVIDIA 開發者專區進一步瞭解 TensorRT 4。

掌握 NVIDIA 最新動態

請訂閱 NVIDIA 官方部落格或追蹤 Facebook 、Google+、Twitter、LinkedIn 與Instagram。瀏覽 NVIDIA 相關影片及圖片，請至 YouTube 或 Flickr。

關於NVIDIA (輝達)

NVIDIA (輝達)自1999年發明GPU起，成功促進PC電競市場的成長並重新定義現代電腦顯示卡產品，掀起電腦平行運算革命。近年來GPU深度學習也促發被視為下一個運算時代的人工智慧，透過GPU以類人腦方式運作於電腦、機器人與自駕車等，來感知並解讀真實世界。欲瞭解更多資訊，請瀏覽//nvidianews.nvidia.com/.

# # #

新聞聯絡人

NVIDIA

亞太資深公關經理杜佳祐

電話：(02)6605-5856

傳真：(02)8751 -1809

E-mail: metu@nvidia.com

世紀奧美公關顧問

黃晨瑀/林欣怡

電話：(02) 2577-2100分機826/817

傳真：(02) 2577-1600

行動電話: 0931-309553/0916-788690

E-mail: BonnieCY.Huang@eraogilvy.com

AndreaHI.Lin@eraogilvy.com

(1)總擁有成本是根據一家大型雲端服務供應商的作業負載組合，包括 60% 的類神經協同過濾(NCF)、20% 的自然機器翻譯 (NMT)、15% 的自動語音辨識 (ASR)、5% 的電腦視覺 (CV)，每個插槽(Tesla V100 GPU 對比CPU)作業負載的加速：10倍NCF；20倍 NMT；15倍ASR；40倍CV。CPU節點組態為雙插槽 Intel Skylake 6130。GPU 建議節點組態為 8 個 Volta HGX-1。

(2)效能提升是在各種重要作業負載上觀察到的結果。其中包括 ResNet50 v1 推論效能，在 Tesla V100 GPU 上運行 TensorRT 延遲僅 7 毫秒，最低延遲比使用單插槽 Intel Skylake 6140 運行 TensorFlow 快了190倍。(批次執行模式=1)

本新聞稿可能包含 NVIDIA 根據目前預期所做出的前瞻性聲明；包含 NVIDIA TensorRT 4 與其整合至 TebsorFlow 架構之效益、影響、效能、使用與供應時程；深度學習推論持續仰賴 GPU 加速以及其影響與效益；NVIDIA 與 Kaldi 合作進行 GPU 最佳化、NVIDIA 與夥伴進行合作、TensorRT 在全球廣泛使用、Kubernetes GPU 加速、透過 NVIDIA Tesla GPU 加速的伺服器與 MATLAB 軟體和 TensorRT 進行整合；NVIDIA 拓展推論的潛在市場以及NVIDIA支援更智慧的應用與框架，提升品質同時還能協助降低超大規模伺服器的營運成本之效益與影響。這些前瞻性聲明包含可能導致實質結果與預期不符之風險與不確定因素。多項重要因素可能導致實際結果與前瞻性聲明所示之結果出現重大差異，所及範圍有全球經濟情況、我們的產品借重第三方協力廠商之製造、組合、封裝和測試之部分；技術發展和市場競爭之影響；新產品或技術之發展或我們現有產品與技術之提升；市場接受我們的產品或合作夥伴產品的程度；設計、製造或軟體的缺失；消費者偏好或需求之改變；業界標準和介面之改變；整合到系統後無法預期的產品或效能降低之技術缺失；以及我們定期提交給美國證券交易委員會 (SEC) 之 Form 10-Q (截止於 2018 年 1 月 28 日之財務季度) 等報告中的其他詳細因素。 NVIDIA 在公司官方網站上免費提供定期提交給 SEC 的報告之副本。這些前瞻性聲明不保證未來的效能，只陳述目前的狀態，除非法律規定，否則 NVIDIA 沒有意願或義務更新或修改任何前瞻性聲明。