模擬人眼運動旨在訓練元宇宙平臺

導讀杜克大學的計算機工程師開發了虛擬眼睛,可以準確地模擬人類看待世界的方式,以供公司訓練虛擬現實和增強現實程序。該程序簡稱為EyeSyn,將...

杜克大學的計算機工程師開發了虛擬眼睛,可以準確地模擬人類看待世界的方式,以供公司訓練虛擬現實和增強現實程序。該程序簡稱為EyeSyn,將幫助開發人員為快速擴展的虛擬世界創建應用程序,同時保護用戶數據。

結果已被接受,并將在2022年5月4日至6日舉行的傳感器網絡信息處理國際會議(IPSN)上公布,該會議是網絡傳感和控制研究的領先年度論壇。

杜克大學北電網絡電氣與計算機工程助理教授MariaGorlatova說:“如果你有興趣通過單獨看一個人的眼睛來判斷一個人是否正在閱讀漫畫書或高級文學作品,那么你可以做到這一點。”

Gorlatova補充說:“但訓練這種算法需要數百名佩戴耳機的人一次數小時的數據。”“我們希望開發的軟件不僅可以減少收集此類數據帶來的隱私問題,還可以讓沒有這些資源水平的小公司進入元界游戲。”

將眼睛描述為靈魂之窗的詩意見解至少從圣經時代就被重復了,這是有充分理由的:我們的眼睛移動和瞳孔擴張的微小動作提供了驚人的信息量。人眼可以揭示我們是無聊還是興奮,注意力集中在哪里,我們在特定任務上是專家還是新手,或者我們是否能流利地使用特定語言。

“你優先考慮你的愿景的地方也說明了你作為一個人,”Gorlatova說。“它可能會無意中泄露性別和種族偏見、我們不想讓別人知道的興趣,以及我們甚至可能不知道自己的信息。”

眼球運動數據對于在虛擬世界中構建平臺和軟件的公司來說非常寶貴。例如,通過閱讀用戶的眼睛,開發人員可以根據參與響應定制內容或降低周邊視覺的分辨率以節省計算能力。

由于具有如此廣泛的復雜性,創建模擬普通人如何響應各種刺激的虛擬眼睛聽起來像是一項艱巨的任務。為了攀登這座山,Gorlatova和她的團隊——包括前博士后助理、現為荷蘭代爾夫特理工大學助理教授、現任博士后的蘭國豪。學生TimScargill——深入研究探索人類如何看待世界和處理視覺信息的認知科學文獻。

例如,當一個人在看某人說話時,他們的眼睛會在該人的眼睛、鼻子和嘴巴之間交替出現不同的時間。在開發EyeSyn時,研究人員創建了一個模型,該模型可以提取揚聲器上這些特征的位置,并對他們的虛擬眼睛進行編程,以統計模擬專注于每個區域的時間。

“如果你給EyeSyn提供很多不同的輸入并運行足夠多的時間,你將創建一個足夠大的合成眼球運動數據集,可以為一個新程序訓練一個(機器學習)分類器,”Gorlatova說。

為了測試他們合成眼睛的準確性,研究人員求助于公開數據。他們首先讓眼睛“觀看”安東尼·福奇博士在新聞發布會上向媒體發表講話的視頻,并將其與實際觀眾眼球運動的數據進行比較。他們還將他們的合成眼睛看藝術的虛擬數據集與從瀏覽虛擬藝術博物館的人收集的實際數據集進行了比較。結果表明,EyeSyn能夠緊密匹配實際注視信號的不同模式,并模擬不同人眼睛的不同反應方式。

根據Gorlatova的說法,這種性能水平足以讓公司將其用作訓練新元界平臺和軟件的基準。有了基本的能力水平,商業軟件就可以在與特定用戶交互后通過個性化其算法來獲得更好的結果。

“單獨的合成數據并不完美,但它是一個很好的起點,”Gorlatova說。“較小的公司可以使用它,而不是花費時間和金錢來嘗試建立自己的真實世界數據集(與人類受試者)。而且由于算法的個性化可以在本地系統上完成,人們不必擔心關于他們的私人眼球運動數據成為大型數據庫的一部分。”

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時候聯系我們修改或刪除,多謝