【資料圖】
微軟研究院近日公開(kāi)了其最新研究項(xiàng)目——Project Rumi。該項(xiàng)目旨在通過(guò)結(jié)合文本、音頻和視頻數(shù)據(jù),運(yùn)用多模態(tài)方法,提升人工智能系統(tǒng)的理解能力,使其更能理解人類(lèi)的意圖。 近年來(lái),人工智能系統(tǒng)在自然語(yǔ)言處理(NLP)領(lǐng)域取得了顯著的進(jìn)步。然而,現(xiàn)有的NLP AI主要依賴(lài)于文本輸入輸出,忽略了人類(lèi)在自然交流中的語(yǔ)調(diào)、面部表情、手勢(shì)和肢體語(yǔ)言等線索,這在一定程度上導(dǎo)致了其在理解方面的偏差。在AI專(zhuān)業(yè)術(shù)語(yǔ)中,這些線索被統(tǒng)稱(chēng)為副語(yǔ)言。 為了解決這個(gè)問(wèn)題,微軟研究院開(kāi)發(fā)了Project Rumi。這是一個(gè)新穎的框架,旨在通過(guò)多模態(tài)副語(yǔ)言提示來(lái)增強(qiáng)人工智能的理解。該項(xiàng)目包括兩個(gè)主要部分:多模式副語(yǔ)言編碼器和多模式副語(yǔ)言解碼器。