英偉達推全新視覺AI語音模型 可以直接看圖聊天

如今AI大時代，世界各大巨頭都有自己的特色AI產(chǎn)品計劃，日前據(jù)英偉達官方消息，英偉達聯(lián)合 Georgia Tech、UMD 和 HKPU 的研究團隊推出了全新的視覺語言模型 ——NVEagle。

據(jù)悉，NVEagle 能夠理解復雜的現(xiàn)實場景，通過視覺輸入進行更好的解讀和回應。它的設計核心在于將圖像轉化為視覺標記，再與文本嵌入相結合，進而提升了對視覺信息的理解。

NVEagle包括了三個版本:Eagle-X5-7B、Eagle-X5-13B 以及 Eagle-X5-13B-Chat。其中，7B 和13B 版本主要用于一般的視覺語言任務，而13B-Chat 版本則專門針對對話式 AI 進行了微調(diào)，能夠更好地進行基于視覺輸入的互動。

NVEagle 的一個亮點在于采用了混合專家（MoE）機制，能夠根據(jù)不同任務動態(tài)選擇最合適的視覺編碼器，這極大提升了對復雜視覺信息的處理能力。該模型已在 Hugging Face 上發(fā)布，方便研究人員和開發(fā)者使用。