Neuchips 執行長劉景慈(Ken Lau)。Photo Credit: INSIDE/Sisley 攝。

專訪 Neuchips 創鑫:台灣新創怎緊抓生成式 AI 大浪?

自製專題

2023 年 MLCommons 公布最新 AI 晶片評測,Neuchips 一戰成名,每瓦可處理次數上超越 NVIDIA 的 H100 晶片,能效更是 NVIDIA 的 1.7 倍。

今年稍早的 CES 上,一家來自台灣的晶片新創公司吸引了外國媒體的目光,他們是創鑫智慧(下稱 Neuchips),除了端出能擊敗 NVIDIA 的 AI 晶片之外,還在 CES 現場展示了提供 PC 運作 AI 軟體的解決方案,引起注目。

這家新創是什麼來頭?為何能緊抓生成式 AI 以及 AI PC 新浪潮?INSIDE 專訪到 Neuchips CEO 劉景慈為我們做出解答。

「擊敗 NVIDIA 的 AI 晶片」Neuchips 一戰成名,抓緊生成式 AI 浪潮

Neuchips 成立至今僅 4 年,卻穩穩抓住生成式 AI 的大浪。

2023 年,當開放工程聯盟 MLCommons 公布當時最新的 AI 晶片評測結果時,這家來自台灣的 IC 設計新創端出的 RecAccelTM N3000 系統,在每瓦可處理次數上超越 NVIDIA 的 H100 晶片,能效更是 NVIDIA 的 1.7 倍,高居榜首,引起產業界的極大關注。

其實,原本 Neuchips 的 AI 晶片產品是鎖定電商、社群平台客戶所使用,不過隨著 2022 年底 ChatGPT 帶起的生成式 AI 浪潮席捲全球,Neuchips 也以極快的速度將重心轉向生成式 AI 戰場。

劉景慈說道,當生成式 AI 浪潮來襲時,團隊對此做了審慎的技術評估,以便驗證 N3000 是否能運行大型語言模型(LLM),在進行適當的軟體變更後,證實其的確能運行 Meta Llama 2 7B 的大型語言模型,也因此在今年稍早的 CES 上展示了這套解決方案。

Neuchips 展示的 AI PC 解決方案成功引起了外媒的注意,甚至獲得 IEEE(國際電機電子工程師學會)旗艦雜誌 IEEE Spectrum 的特別介紹。其功耗僅增加 55 瓦,相較於對手(NVIDIA RTX 4080 Super)的 320 瓦,能耗表現相當驚人,Neuchips 的解決方案甚至能夠在不連接外部電源的情況下運作,成為市場上極具競爭力的新選擇。

「整個軟體更改的時間並沒有太久。」劉景慈認為,就策略來說,Neuchips 並沒有改變,只是把範圍擴大至高階個人 PC,「台灣在這方面(PC)的優勢比較成熟,至於 AI PC 能不能真正形成一個大浪潮,劉景慈認為關鍵還是在應用生態系。

劉景慈看台灣 IC 設計:在軟體方面人才不充足

劉提及,台灣在個人電腦以及邊緣設備的供應鏈非常成熟,現在 Neuchips 正在把握這項本地優勢。而雖然台灣擁有供應鏈優勢,但他也在採訪中向《INSIDE》提及台灣在 IC 設計領域的短板,那就是軟體人才的不足——尤其在矽晶層級的韌體、編譯器等部分。

而為了減緩這個問題帶來的困擾,劉景慈認為有兩條路可走,一是先將這些工作外包至台灣之外的地方,例如印度就有豐富的人才,第二,則是持續呼籲政府與政府部門確保培養足夠的工程師,「否則,台灣的科技企業將永遠受制於台灣以外的公司。」

最燒錢的產業!Neuchips:正在募資過程

劉景慈表示,「這是個資金密集型的產業,」他也分享,目前團隊正在募資的過程中,並且團隊將在謹慎控制開支的同時在需要的地方增加資源。

目前,Neuchips 的團隊已經有 70 人左右,他也提及,目前正在尋找提高台灣辦公室效率的方式,「目前每位員工在台北和新竹之間通勤的時間遠比我們預期的長,Neuchips 已經對此制定了應對計劃。」

至於下一階段的計畫,劉也透露,Neuchips 已經看到了目前市場上面臨的三大問題,而 Neuchips 下一代的產品將會針對這些問題提出解方。他口中的三大問題分別是資料中心能耗的問題、企業資料隱私問題以及 LLM 模型越來越大時可能遇到的運算以及記憶體頻寬問題等。

核稿編輯:Chris

 

 

 

最新發展: