自主機器人技術在許多工業領域相當重要，隨著生成式AI的崛起，自主機器人技術也迎來重大的技術與產業升級；NVIDIA機器人和邊緣運算副總裁Deepu Talla在CES 2024的主題演講介紹NVIDIA與合作夥伴如何將生成式AI和機器人結合，包括波士頓動力、Collaborative Robotics、Covariant、Sanctuary AI、Unitree Robotics等公司皆積極在機器人導入基於GPU加速的大型語言模型；藉由生成式AI，進一步使基於AI的自主機器人���升效率、降低成本並解決勞動力短缺。
作為生成式AI關鍵技術的核心，即是大型語言模型LLM，LLM可說是將大腦語言中心轉化至機器人關鍵的AI模型，使機器人能與大腦一樣自然的理解語言並回應人類的指令，並具備自人類、環境學習的能力；同時廣受機器人領域歡迎的NVIDIA Isaac與Jetson平台也正由於生成式AI持續的進化，Agility Robotics與多家公司正在將生成式人工智慧融入他們的機器人中，以幫助它們理解文字或語音命令，Dreame Technology正透過生成式人工智慧模型創建出的模擬生活空間訓練吸塵機器人。而Electric Sheep正在開發一種用於自主修剪草坪的世界模型。
▲NVIDIA認為開發機器人所需的AI須建構雙電腦模型，以AI工廠搭配模擬機器人的雙系統進行AI模型開發與訓練
同時，Deepu Talla也在主題演講展示NVIDIA認為於開發與應用帶來全面方式、佈署人工智慧所需的雙電腦模型，兩台電腦中的第一台稱為「AI工廠(AI Factory)」司掌創造與改善AI模型的核心，並運運NVIDIA資料中心運算基礎設施、NVIDIA Omniverse進行AI模型的模擬與訓練；第二台電腦則是用於機器人的執行環境，不過第二台電腦將取決應用情境於雲端、資料中心或本地伺服器執行，可做為模擬執行半導體製造的缺陷檢查、或模擬配備多個感測器與攝影機的自動化機器。
同時大型語言模型還消弭技術的門檻，將不具專業技術的用戶化為能創造建構複雜機器人機構或模擬複雜倉庫環境的技術藝術家，借助NVDIIA Picasso一類的生成式AI工具，用戶僅需使用簡單的文字描述即可產生逼真的3D資產，並透過符合OpenUSD形式添加到數位場景，使機器人可在Omniverse以多樣且物理精確的場景增強測試與訓練。此外借助大型語言模型與視覺模型，也逐漸改變傳統機器人僅為單一任務而生的既定印象，新一代機器人能透過大型語言模型理解自然語言，進一步與人類協作或執行多元的任務。
