春節將至,到處都洋溢著濃厚的節日氣氛,七鑫易維也在新春來臨之際再放出一個好消息!目前眼控VR已經研發成功,帶有眼球追蹤技術的VR頭顯已經進入測試階段,已經可以實現眼控交互和局部渲染。符合新廣告法的說“這可能是”目前為止最好的眼控VR方案。
從技術實現上講,VR設備上眼球追蹤的實現便與電腦設備上實現眼球追蹤有很大的不同,在VR設備上受使用條件和結構的限制,光學設計和追蹤算法都要更加精細和復雜。因為在玩家使用VR設備時,和人眼距離很近,瞳孔和虹膜與眼球并不在攝像頭的正面,而且還會被眼瞼和睫毛遮擋,通過傳統的算法很難準確定位眼球,此時傳統追蹤方式獲取的人眼模型會凸顯出來,這時人眼轉動就會對圖像產生非常大的影響,同樣的轉角造成的運動模糊也會變大,加大圖像處理方面的難度。為了解決這一樣的難題,我們采用了特殊的光學裝置,又針對VR設備優化追蹤算法,這樣便可以很好的捕捉人眼的特征點又不影響VR的體驗。
全視場角追蹤
在VR設備上的眼球追蹤需要追蹤的范圍非常大,幾乎達到人眼的轉動極限,垂直30°,水平50°,完全可以覆蓋FOV大于110°的主流VR設備。我們便按照人類眼動的極限來設計追蹤方案,這樣追蹤范圍廣,可以無死角覆蓋整個VR顯示屏幕,這在國際范圍內的SMI,Tobii等眼球追蹤技術公司都尚未能實現。因此可以說七鑫易維或許是目前世界上唯一可以做到Full FOV Tracking 的眼球追蹤技術公司。
高精度低延遲
除了追蹤范圍,另一個非常重要的元素便是追蹤精度,尤其是在VR游戲當中,對操作的實時性和精準度要求非常高,目前七鑫易維的眼控VR算法追蹤速度為240Hz,延遲低于5ms,這樣的眼動數據獲取速度對眼控來說非常重要,在使用過程中幾乎感覺不到延遲的存在。
防抖追蹤算法
由于VR設備的使用時需要佩戴在頭上,而且大部分VR應用都必須頭部動作的配合,此時頭動過程中便會造成VR設備與頭部的位移變化,在這種運動狀態下獲取準確的眼球數據,無疑是對硬件和算法最大的挑戰。為此我們針對VR設備的眼控方案特別加入了防抖算法,這樣玩家在使用過程中即使頭動也不會影響眼球追蹤的精度。
眼控VR的面市注定會為VR帶來全新的玩法,在射擊類游戲中可以由眼睛控制光標鎖定,當用戶閉上一只眼時自動調出瞄準鏡等,還可以根據玩家在游戲場景中注視點不同觸發不同的劇情,當玩家注視路口時,會自動出現地圖導航,當注視NPC不同部位觸發不同的劇情等。除此之外眼控的交互方式還可以應用于游戲菜單,不需要使用的菜單會自動隱藏,使用時通過眼控觸發,使VR界面更加干凈。
與Facebook高管合影留念
正因為眼控交互可以給VR帶來諸多的方便和玩法,很多VR廠商都非常重視眼控VR的研發,Oculus的老東家Facebook高管就曾與七鑫易維進行過兩次洽談,希望將眼球追蹤技術應用到Oculus二代產品中,國內也有兩家公司正在與七鑫易維接洽,希望將眼球追蹤技術引入到下一代產品中,為自己的VR品牌注入新的血液。