Share

Tesla T4 GPU 與全新 TensorRT 軟體支援

智慧語音、影像、圖像以及推薦服務

NVIDIA (輝達) 今天宣布為推動全球人工智慧 (AI) 服務的發展推出 AI 資料中心平台，針對語音、影像、圖像以及推薦服務提供業界最先進的推論加速功能。

NVIDIA TensorRT™ 超大規模推論平台採用 NVIDIA® Tesla® T4 GPU，基於突破性的 NVIDIA Turing™ 架構以及一套完整的全新推論軟體。

針對端對端應用，此平台提供更高的效能與更低的延遲，並為超大規模資料中心提供各種全新服務，包含加強的自然語言互動以及精準的搜尋結果，取代以往一連串可能性的答案。

NVIDIA 副總裁暨加速運算部門總經理 Ian Buck 表示：「我們的客戶正邁向 AI 可以觸及並改善所有產品與服務的未來，而 NVIDIA TensorRT 超大規模平台將提供較以往更快、更有效率的方式來實現此目標。」

大規模的資料中心每天需要處理數十億的語音搜尋、翻譯、圖像、影像、推薦服務以及社群媒體互動等，上述的每一個應用皆需透過伺服器內部不同類型的神經網路來處理。

為了優化資料中心的最大吞吐量以及伺服器使用率，NVIDIA TensorRT 超大規模平台包含即時推論軟體以及 Tesla T4 GPU，其處理搜尋結果的速度較單獨使用 CPU 快 40 倍。

NVIDIA 預估 AI 推論產業將於未來五年內成長至 200 億美元。

業界最先進的 AI 推論平台

NVIDIA TensorRT 超大規模平台包含一套完整的硬體與軟體，並針對強大、高效率推論進行優化，平台的關鍵元素包含：

• NVIDIA Tesla T4 GPU：搭載 320 個 Turing Tensor 核心以及 2,560 個 CUDA® 核心，支援 FP32、FP16、INT8 以及 INT4 具彈性且多精度功能的突破性效能。封裝成一顆功耗僅 75 瓦且省電又小巧的 PCIe板型，能輕易部署到大多數伺服器中，而 FP16 的尖峰效能可達到 65 teraflop、INT8 可達到 130 teraflop、INT4 則達到 260 teraflop。
• NVIDIA TensorRT 5：這款推論優化器與運轉時間引擎 (runtime engine) 支援 Turing Tensor 核心，並針對多精度作業附載擴充一套神經網路最佳化。
• NVIDIA TensorRT 推論伺服器：這款容器化微型伺服器軟體讓應用程式在資料中心生產環境下運用各種 AI 模型。透過 NVIDIA GPU 雲 容器可以免費註冊下載此軟體，不僅可以最大化資料中心的吞吐量以及 GPU 使用率，還支援所有熱門的 AI 模型與框架，並能整合 Kubernetes 與 Docker。

全球科技領導品牌的支持

世界各地頂尖客戶與科技企業品牌對 NVIDIA 全新推論平台表示支持。

Microsoft Bing 與 AI 產品事業副總裁 Jordi Ribas 表示：「Microsoft 正致力於將最創新的 AI 服務提供給客戶，在即時推論作業中使用 NVIDIA GPU 能改善 Bing 的進階搜尋功能，協助我們降低影像物件偵測的延遲，我們期待能導入 NVIDIA 下一代推論軟體與硬體，使更多人能因 AI 產品與服務受惠。

Google 雲端產品經理 Chris Kleban 表示：「現今 AI 已日益普及，其中推論對於客戶想成功導入 AI 模型而言至關重要，對於 Google 雲端平台即將支援 NVIDIA Turing Tesla T4 GPU 我們感到非常興奮。」

更多關於如何申請於 Google 雲端平台先行使用 T4 GPU 的詳情，請瀏覽此 Google 表單 。

其他包含各大伺服器製造商對於 NVIDIA TensorRT 超大規模平台的支持包括：

Cisco 資料中心產品管理副總裁 Kaustubh Das 表示：「Cisco UCS 系列產品提供政策方針與 GPU 加速的系統與解決方案，為各階段的 AI 提供動能，透過基於 NVIDIA Turing 架構的 Tesla T4 GPU，Cisco 的客戶將能獲得最有效率的 AI 推論加速，並以更快的速度獲得資訊並縮短回應時間。」

Dell EMC 伺服器與基礎建設系統產品管理與行銷資深副總裁 Ravi Pendekanti 表示：「Dell EMC 協助客戶進行 IT 轉型並同時提供如 AI 等先進技術，作為全球頂尖伺服器系統供應商，我們將持續強化 PowerEdge 伺服器系列產品，進而協助客戶達成目標，我們與 NVIDIA 的密切關係與先前導入最新 GPU 加速的合作，在協助客戶搶先導入 AI 訓練與推論中扮演相當重要的角色。」

Fujitsu 資料中心平台事業群產品部副總裁 Hideaki Maeda 表示：「Fujitsu 計畫將 NVIDIA Tesla T4 GPU 導入我們全球 Fujitsu PRIMERGY 系統伺服器，透過 NVIDIA 最新高效能 GPU 加速器，我們將能夠為全球客戶提供量身打造的伺服器，以因應其不斷增加的 AI 需求。」

Hewlett Packard Enterprise (HPE) 高效能與 AI 事業部副總裁暨總經理 Bill Mannel 表示：「在 HPE，我們致力於在終端推動智慧功能以加快獲取資訊並改善經驗，透過基於 NVIDIA Turing 架構的 Tesla T4 GPU，我們將能利用資料中心的現代化與加速驅動終端的推論。」

IBM Power Systems 產品管理副總裁 Steve Sibley 表示：「IBM Cognitive 系統藉由利用我們的深度學習訓練與推論軟體 PowerAI 與 IBM Power System AC922 加速伺服器在簡化的 AI 平台上同時進行優化，能提供 4 倍以上的深度學習訓練效能。我們在過往與 NVIDIA 有悠久的合作與創新，曾攜手打造業界唯一一款在 IBM Power 上透過 NVIDIA NVLink 連結 CPU 與 GPU 的處理器，我們期待能夠發掘更多全新 NVIDIA T4 GPU 加速器，延續我們在推論作業的領導地位。」

Kubeflow 共同創辦人暨產品經理 David Aronchick 表示：「我們很高興能看到 NVIDIA 透過 NVIDIA TensorRT 推論伺服器將其 GPU 推論導入 Kubernetes，我們也很期待將其整合至 Kubeflow 中，透過各種不同的基礎建設為使用者提供簡單、輕便與具備擴充性的 AI 推論作業。」

Oracle 雲端建設產品發展副總裁 Kash Iftikhar 表示：「開源且跨架構的推論對於全面導入機器學習模型而言相當重要，我們期待看到能同時將 GPU 與 CPU 推論進行規模化的 NVIDIA TensorRT 推論伺服器如何加速 AI 應用的導入作業並改善基礎建設的使用。」

Supermicro 總裁暨執行長 Charles Liang 表示：「Supermicro 率先針對由 5G、智慧城市與 IoT 裝置所驅動的新興高產出推論市場進行處理，其產出龐大的資料量需要即時的決策，我們認為 NVIDIA TensorRT 與全新基於 Turing 架構的 T4 GPU 加速器之整合是處理這些新興、高需求量和高延遲要求的作業最理想的平台，我們也計畫將其積極導入至我們 GPU 系統產品線中。」

掌握 NVIDIA 最新動態

請訂閱 NVIDIA 官方部落格或追蹤  Facebook 、Google+、Twitter、LinkedIn 與Instagram。瀏覽 NVIDIA 相關影片及圖片，請至 YouTube 或 Flickr。

關於NVIDIA (輝達)

NVIDIA (輝達)自1999年發明GPU起，成功促進PC電競市場的成長並重新定義現代電腦顯示卡產品，掀起電腦平行運算革命。近年來GPU深度學習也促發被視為下一個運算時代的人工智慧，透過GPU以類人腦方式運作於電腦、機器人與自駕車等，來感知並解讀真實世界。欲瞭解更多資訊，請瀏覽 http://nvidianews.nvidia.com/。

# # #

新聞聯絡人 NVIDIA 亞太資深公關經理 杜佳祐 電話：(02)6605-5856 傳真：(02)8751 -1809 E-mail: metu@nvidia.com

世紀奧美公關顧問 黃晨瑀/林欣怡 電話：(02) 2577-2100分機826/817 傳真：(02) 2577-1600 行動電話: 0931-309553/0916-788690 E-mail:  BonnieCY.Huang@eraogilvy.com               AndreaHI.Lin@eraogilvy.com

本新聞稿可能包含 NVIDIA 根據目前預期所做出的前瞻性聲明；包含但不限於 Tesla T4 GPU 與 TensorRT 軟體支援智慧語音、影像、圖像以及推薦服務；NVIDIA 的 AI 資料中心平台針對語音、影像、圖像與推薦服務提供業界最先進的推論加速功能；NVIDIA TensorRT 超大規模推論平台的效益、效能與功能，包含基於 Turing 架構以及全新推論軟體的 Tesla T4 GPU，此平台提供更高的效能與更低的延遲，並為超大規模資料中心提供各種全新服務；客戶正邁向 AI 可以觸及並改善所有產品與服務的未來，而 NVIDIA TensorRT 超大規模平台將提供較以往更快、更有效率的方式來實現此目標；預估 AI 推論產業將於未來五年內成長至 200 億美元；Tesla T4 GPU 的效能與特色；NVIDIA TensorRT 5 針對多精度作業附載擴充一套神經網路最佳化；NVIDIA TensorRT 推論伺服器讓應用程式可以運用各種 AI 模型、透過 NVIDIA GPU 雲 容器可以免費註冊下載此款軟體的供應時程，以及最大化 GPU 使用率的功能；NVIDIA GPU協助 Microsoft 降低影像物件偵測的延遲，與該公司期待能導入 NVIDIA 下一代推論軟體與硬體使更多人能因 AI 產品與服務受惠；Google 雲端平台計畫即將支援 NVIDIA Turing Tesla T4 GPU；現今 AI 已不斷擴張其中推論對於客戶想成功導入 AI 模型而言至關重要；各大伺服器製造商對於 NVIDIA TensorRT 超大規模平台的支持；NVIDIA Tesla T4 GPU 使 Cisco 客戶能獲得最有效率的 AI 推論；Dell EMC持續強化 PowerEdge 伺服器系列產品進而協助客戶以及與NVIDIA的合作在協助客戶中扮演相當重要的角色；Fujitsu 計畫將 NVIDIA Tesla T4 GPU 導入其系統產品線中並為全球客戶提供量身打造的伺服器以因應不斷增加的 AI 需求；HPE 透過 Tesla T4 GPU 持續優化與加速資料中心以驅動終端推論作業；IBM 計畫透過 Tesla T4 GPU 加速器來強化其在推論作業的領導地位；Kubernetes 將整合 NVIDIA 產品整合至 Kubeflow 並在各基礎平台上提供多種不同的 AI 推論方法；NVIDIA TensorRT 推論伺服器加速 AI 應用的導入作業並改善基礎建設的使用；Supermicro 領先進入產出龐大的資料量與需要即時的決策的市場並計畫將 NVIDIA 產品導入至其 GPU 系統產品線中。這些前瞻性聲明包含可能導致實質結果與預期不符之風險與不確定因素。多項重要因素可能導致實際結果與前瞻性聲明所示之結果出現重大差異，所及範圍有全球經濟情況、我們的產品借重第三方協力廠商之製造、組合、封裝和測試之部分；技術發展和市場競爭之影響；新產品或技術之發展或我們現有產品與技術之提升；市場接受我們的產品或合作夥伴產品的程度；設計、製造或軟體的缺失；消費者偏好或需求之改變；業界標準和介面之改變；整合到系統後無法預期的產品或效能降低之技術缺失；以及我們定期提交給美國證券交易委員會 (SEC) 以 Form 10-Q 報告附本為基礎的Form 10-K財務季度等其他詳細因素。 NVIDIA 在公司官方網站上免費提供定期提交給 SEC 的報告之副本。這些前瞻性聲明不保證未來的效能，只陳述目前的狀態，除非法律規定，否則 NVIDIA 沒有意願或義務更新或修改任何前瞻性聲明。

©本文為 NVIDIA 公司 2018 版權所有並保留所有權利。NVIDIA、NVIDIA 標誌、CUDA、NVIDIA Turing、NVLink、TensorRT 與 Tesla 是 NVIDIA 公司在美國及其他地區的商標及 (或) 註冊商標。所有其他公司及產品名稱乃為所屬個別公司之商標。功能、定價、出貨時程和規格之變更不會另行通知。