NVIDIA

NVIDIA TensorRT 3大幅加速超大規模資料中心的 AI推論

NVIDIA (輝達) 今天宣布發表全新NVIDIA® TensorRT 3 AI 推論軟體,其針對從雲端到終端包括自駕車與機器人在內的各種裝置,大幅提升效能且同時降低成本。

TensorRT 3 與NVIDIA GPU的結合將能在各種 AI 服務應用的框架上,包含影像與語音辨識、自然語言處理、圖像搜尋以及提供個人化建議等,發揮超高速且高效率的推論運算。其中,TensorRT 與 NVIDIA Tesla® GPU 加速器的組合不僅速度比 CPU 高 40 倍(1),其成本更只有 CPU 解決方案的十分之一(2)。

NVIDIA創辦人暨執行長黃仁勳表示:「網路公司競相將 AI 導入到擁有數十億用戶的服務中,使得 AI 推論的作業負載呈直線成長。NVIDIA TensorRT 是全球首款可編程推論加速器。藉由 CUDA 的可編程特性,TensorRT將能加快推動深度學習網路的多元化應用並因應日趨複雜的演進。此外,憑藉 TensorRT 帶來的大幅加速效益,服務供應商能以低廉的成本部署這些運算密集的 AI 作業。」

橫跨眾多領域超過 1,200 家企業皆開始採用 NVIDIA 的推論平台,從龐大的資料中洞察先機,並為企業和消費者推出各種智慧化的服務。除了亞馬遜、微軟、臉書與谷歌等巨擘外,現更包含阿里巴巴、百度、京東、科大訊飛、海康威視、騰訊以及微信等中國頂尖企業。

SAP 資訊長 Juergen Mueller 表示:「在 Tesla GPU 上運行 TensorRT 軟體的NVIDIA AI平台是一項卓越的先鋒科技,能滿足 SAP 對推論運算持續攀升的需求。TensorRT 與 NVIDIA GPU 實現即時服務的傳遞,達到機器學習效能的高峰,並且發揮多元用途,滿足顧客的需求。」

京東 AI 與巨量資料部門資深經理 Andy Chen 表示:「京東旗下的資料中心仰賴 NVIDIA 的 GPU 與軟體執行推論運算。透過 NVIDIA 的 TensorRT 與 Tesla GPU,能以減少20倍的伺服器使用量,針對 1,000 部 HD 解析度的串流影片進行即時推論。NVIDIA 的深度學習平台為京東提供優異的效能與效率。」

TensorRT 3 是一款針對將 AI 部署至線上產品所開發的最佳化高效能編程器與執行引擎。其能對類神經網路進行快速優化與驗證,並將欲用來推論 之完成訓練的類神經網路部署在超大規模資料中心與嵌入式或車用GPU平台。

其提供高精度 INT8 與 FP16 浮點運算能力,讓資料中心業者省下數百萬美元的購置成本與能源消耗成本。開發者也能在短短一天內訓練出類神經網路,開發出運行速度比其訓練框架高出 3 到 5 倍的推論解決方案。

為進一步加快 AI,NVIDIA也推出其他軟體包含:

  1. DeepStream SDKNVIDIA DeepStream軟體開發套件提供低延遲的大規模影片即時分析功能。其能協助開發者整合各種先進的影片推論功能,包括 INT8 精度與GPU加速轉碼,藉以支援各種 AI 服務如物體分類與情境認知,單靠一顆 Tesla P4 GPU 加速器即可即時處理 30 部 HD 解析度的串流影片。
  2. CUDA 9最新版 CUDA® 是 NVIDIA 的加速運算軟體平台,藉由 支援NVIDIA Volta 架構GPU、速度提高 5 倍的函式庫、針對執行緒管理的全新編程模型以及更新版的除錯與分析工具,全面加快 HPC 與深度學習應用的速度。經過優化的 CUDA 9 能在 Tesla V100 GPU 加速器上提供極致的效能。

針對資料中心的推論

資料中心管理者必須持續在效能與效率之間取得平衡,藉以讓其伺服器主機群發揮最高的生產力。採用 Tesla GPU 進行加速的伺服器能取代超過 100 部搭載 CPU 的超大型伺服器,用來運行各種深度學習推論應用與服務,騰出寶貴的機架空間並減少耗能與冷卻設備的使用,省下大約90% 的成本。

NVIDIA Tesla GPU 加速器提供最佳的推論解決方案,在執行深度學習推論作業時能發揮最大的資料處理量、最佳效率以及最低的延遲,造就出由 AI 所驅動的嶄新體驗。

針對自駕車與嵌入式應用的推論

藉由 NVIDIA 的整合式架構,每個在深度學習框架上的深層類神經網路都能在資料中心內的 NVIDIA DGX™ 系統上進行訓練,然後再部署到所有類型的裝置 , 包括從機器人到自駕車,在終端裝置進行即時推論。

專門開發自動駕駛卡車技術的新創企業北京圖森(TuSimple)在完成 TensorRT 的優化後,使推論效能提高 30%。該公司利用 NVIDIA GPU 並以攝影機作為主要感測器,在今年 6 月成功完成從聖地牙哥到亞歷桑那州尤馬市(Yuma)的 Level 4 自駕測試,全程長達170哩。從 TensorRT 獲得的效能提升讓北京圖森除了能分析額外的攝影機資料外,還在其自動駕駛卡車中導入許多新 AI 演算法,反應時間甚至還能維持和過去相同的水準。

  1. 效能比較是基於在 NVIDIA Tesla V100 GPU 上運行的 ResNet-50 神經網路,並執行 TensorRT 3 RC 版,對比 Intel Xeon-D 1587 Broadwell-E CPU 運行於 Intel DL SDK的組合。兩倍跑分是英特爾對在 Skylake 核心配合 AVX512指令集能有2倍的效能提升之聲明。
  2. 文中比較基於 HGX-1 伺服器搭配 8 個 NVIDIA Tesla V100 運行 ResNet-50 推論運算的效能與成本,與對比一部雙插槽 Intel Skylake 橫向擴充伺服器運行 ResNet-50 的效能與估計成本。Skylake 效能的估計是根據英特爾對在 Skylake 搭配 AVX512 指令集能有2倍的效能提升之聲明。

 

掌握 NVIDIA 最新動態

請訂閱 NVIDIA 官方部落格或追蹤  Facebook 、Google+TwitterLinkedIn 與Instagram。瀏覽 NVIDIA 相關影片及圖片,請至 YouTube 或 Flickr

關於NVIDIA (輝達)

NVIDIA (輝達) 為人工智慧運算公司,自1999年發明GPU起,成功促進PC電競市場的成長並重新定義現代電腦顯示卡產品,掀起電腦平行運算革命。近年來GPU深度學習也促發被視為下一個運算時代的人工智慧,透過GPU以類人腦方式運作於電腦、機器人與自駕車等,來感知並解讀真實世界。欲瞭解更多資訊,請瀏覽www.nvidia.com.tw/object/newsroom_tw.html 以及 blogs.nvidia.com.tw。

# # #

 

新聞聯絡人

NVIDIA

亞太資深公關經理 杜佳祐

電話:(02)6605-5856

傳真:(02)8751 -1809

E-mail: metu@nvidia.com

 

世紀奧美公關顧問

黃晨瑀/林欣怡/葉淑明

電話:(02) 2577-2100分機826/817/804

傳真:(02) 2577-1600

行動電話: 0931-309553/0916-788690/0920-095-265

E-mail:  BonnieCY.Huang@eraogilvy.com

              AndreaHI.Lin@eraogilvy.com

             AmandaSM.Ye@eraogilvy.com

 

 

本新聞稿可能包含 NVIDIA 根據目前預期所做出的前瞻性聲明;包含但不限於 NVIDIA TensoeRT 3 AI 推論軟體、NVDLA、NVIDIA DeepStream SDK、CUDA 9、Volta、Tesla GPU 加速器與對 AI 運算日趨增長的需求之效益、影響與效能。這些前瞻性聲明包含可能導致實質結果與預期不符之風險與不確定因素。多項重要因素可能導致實際結果與前瞻性聲明所示之結果出現重大差異,所及範圍有全球經濟情況、我們的產品借重第三方協力廠商之製造、組合、封裝和測試之部分;技術發展和市場競爭之影響;新產品或技術之發展或我們現有產品與技術之提升;市場接受我們的產品或合作夥伴產品的程度;設計、製造或軟體的缺失;消費者偏好或需求之改變;業界標準和介面之改變;整合到系統後無法預期的產品或效能降低之技術缺失;以及我們定期提交給美國證券交易委員會 (SEC) 之 Form 10-Q (截止於 2017 年 7 月 30 日之財務季度) 等報告中的其他詳細因素。 NVIDIA 在公司官方網站上免費提供定期提交給 SEC 的報告之副本。這些前瞻性聲明不保證未來的效能,只陳述目前的狀態,除非法律規定,否則 NVIDIA 沒有意願或義務因為新資訊、未來事件或其他理由而更新或修改任何前瞻性聲明。

©本文為 NVIDIA 公司 2017 版權所有並保留所有權利。NVIDIA與 NVIDIA 標誌、CUDA、DGX 與 Tesla 是 NVIDIA 公司在美國及其他地區的商標及 (或) 註冊商標。所有其他公司及產品名稱乃為所屬個別公司之商標。功能、定價、出貨時程和規格之變更不會另行通知。


###

Copyright® 2016 NVIDIA Corporation 版權所有, NVIDIA 保留一切相關權利。所有公司與(或)產品的名稱都是相關所有人的正式商用名稱、商標和 (或) 註冊商標。關於產品特色、定價、供貨時程以及規格等可能在不事先告知情況進行變更。

敬告編輯:若您想更進一步了解更多有關 NVIDIA 的資料,請點選以下 NVIDIA 新聞中心的連結:http://www.nvidia.com.tw/page/press_room.html