CES 2024:NVIDIA與軟體與服務業者為RTX電腦、工作站帶來大型語言模型與生成式AI應用

2024.01.09 12:30AM

NVIDIA是引領異構加速與GPU整合專屬AI加速的先驅者,在默默耕耘多年後也多次引領AI革新的浪潮,也率先引領透過AI增強的遊戲視覺體驗,在2024年CES,隨著微軟Windows的AI策略,多家搭載NVIDIA GPU的筆電、PC系統與工作站也無不強調與AI的結合;NVIDIA也藉CES 2024主題演講介紹當前NVIDIA用於增強AI PC體驗的各式生成式AI技術與工具。當前有超過一億���具備NVIDIA RTX GPU的設備獲得生成式AI增強使用體驗,其中包括NVIDIA TensorRT能應用於文字轉圖像的Stable Diffusion XL模型,以及可重製經典遊戲並透過AI重建高解析度紋理的NVIDIA RTX Remix,NVIDIA ACE微服務與DLSS3等技術。

NVIDIA TensorRT-LLM(TRT-LLM)是一項開源程式庫,可加速與最佳化最新的大型語言模型的推論性能,在CES 2024宣布將支援更多針對PC的預訓練模型,同時NVIDIA也在2024年1月公布以TRT-LLM為基礎的Chat with RTX的技術展演,使AI狂熱者可將電腦上的預訓練語言模型以檢索增強生成(RAG)技術連接到他們擁有的資料,並用於與筆記、文件等其它內容互動。NVIDIA強調,生成式AI是運算產業相當重要的平台轉型,然而隨著資料隱私、延遲與成本等問題,在本地執行AI也日益重要,NVIDIA除了提供足以執行複雜AI的硬體以外,也攜手軟體產業夥伴支援超過500個以上的AI PC應用程式與遊戲。

▲多家筆電品牌在CES公布全新基於RTX技術的AI筆電、工作站新品

除了同樣於CES 2024公布的GeForce RTX 40 Super桌上型顯示卡帶來更強大的AI算力,包括Acer宏碁、Asus華碩、Dell戴爾、HP惠普、Lenovo聯想、MSI微星、Razer雷蛇和Samsung三星等品牌也在CES公布新一代支援AI的RTX AI筆電與行動工作站,具備開箱即可使用的生成式AI性能,強調相較僅搭配NPU的設備提升20至60倍的性能。

此外配有RTX GPU的行動工作站能夠執行歷經驗證的NVIDIA AI Enterprise服務與軟體,包括TensorRT與NVIDIA RAPIDS等能簡化與具備安全的生成式AI與科學資料的應用程式,同時搭載NVIDIA A800 40GB 的行動工作站還可獲得NVIDIA AI Enterprise三年的使��許可。

針對協助開發者快速建構、測試與自定預訓練生成式AI模型並發揮效能與減少記憶體占用,NVIDIA在CES公布NVIDIA AI Workbench開發工具包,�����在2024年1月��公布���試���,使開發者能���輕鬆連接到Hugging Face、GitHub與NVIDIA NGC等函式庫,並採用簡化的使用者介面,供開發者能輕鬆複製、協作與搬遷項目,並可在包括資料中心、工友雲、NVIDIA DGX Cloud環境以及本機工作站系統建構用於推論與客製化的模型專案。      

 此外,NVIDIA藉由 TensorRT-LLM for Windows將TensorRT擴展到基於文字的應用程式,透過TensorRT-LLM,可將Phi-2增加到PC預先最佳化的模型清單,相較其它推論後端具備5倍的執行效能。  遊戲重製工具NVIDIA RTX Remix預計在2024年1月公布測試版,可透過AI為舊遊戲的基本紋理轉化到現代化的4K解析度紋理;另外透過TensorRT技術,能為Stable Diffusion XL、Stable Diffusion XL Turbo提升達60%性能。同時Char with RTX也將在1月推出,並以開源專案的模式呈現。