河南省科學院新型顯示技術研究所副所長伍世虔在2025中國國際Mini/Micro-LED產業技術峰會上發表《人眼視覺交互技術》主題報告。
眼睛除了被動接收信號，還可以起到操控的作用。人眼視覺很有意義，在所有的信息接收里面，視覺接收的信息占到一個人所能夠感知信息的80%，所以如何利用眼睛去做一些交互，捕捉視覺注意力進而解讀意圖是很有意義的。
用人眼視覺進行交互，常常用到的設備叫眼動儀，在眼動儀里面，通過攝像頭看到眼睛，通過另外一個攝像頭看到場景，那么眼動儀實際上核心的工作是需要把眼睛在看場景的哪個點，這個關系建立起來，這是眼動儀要實現的基本的也是最重要的功能。這樣的技術，它的關鍵模塊、關鍵技術有哪些？第一個是要把眼睛找出來，也就是把瞳孔找到。第二步，眼睛看到的是什么，這個叫凝視點估計。瞳孔檢測，以及凝視點估計，這兩個合在一起叫做眼動追蹤技術。第三，每個人的人眼，看東西的習慣，以及長得不一樣等因素會導致需要求出的眼睛跟凝視點的函數是不同的，所以，需要做系統標定，當把這樣的系統做好了以后，這個系統就可以進行各種各樣的交互模式。眼動交互技術大概就是由曈孔檢測、凝視點估計、系統標定、交互模式這幾個關鍵模塊所組成。
接下來介紹眼動交互系統相關的技術特點和應用。一般來說，用眼動去做一個應用的時候，這個系統往往需要有一個比較強的約束。因此就需要思考能不能把這個約束放小，能不能走到在一種自然的環境下，不管是在室內還是室外，只要戴上眼動儀就可以工作，這是我們要解決的問題。另外，眼睛一動以后，又要重新標定，如果每次用一下都要重新標定很麻煩，所以如何使標定能夠顯得很自然，在使用過程中做到在線標定也是很重要的工作，這樣系統才能好用。還有，現在是三維空間的交互，希望實現的是，第一希望在自然環境下的眼動交互，第二普適場景下的自標定，第三希望是三維情境下的大規模意圖表征與推理。
對于眼動追蹤系統來說，要做到魯棒，這個難度很大。魯棒表現在兩方面，第一是對于瞳孔的檢測，瞳孔檢測經常會遇到這些問題：眼睛動，有眉毛的干擾，還有瞳孔反光會有光斑點，這些都導致檢測的時候不夠魯棒。我們團隊目前用到的方法是在以前所做的人臉檢測工作的基礎上，再結合人眼自身的特點提出的一套方法。
如何把凝視的視線估計準？第一是做到在3D環境下，而不是2D；第二是要把瞳孔估計得好，用瞳孔中心-反光點向量作為輸入特征，減少設備滑移影響；在這個基礎上，第三是基于真實瞳孔軸線方法來進一步提高精度，現在能夠達到的精度是1度左右。
自標定方面，函數G = F (E ; λ)的估計存在一個問題，人眼的特征（E）可以知道，凝視點（G）也知道，但是λ不知道，這個λ意味著頭戴設備的滑動也會變好，所以需要做一個標定。技術怎么做到？因為F是非線性函數，要求λ 很難，那么，可以構建新的眼動特征，使其與凝視點存在線性關系，即使眼鏡有滑移也沒關系，戴著眼鏡看到的場景就是標定的過程，因此可以做到在線自標定。
這個工作目前的應用，一是可以用眼動做成眼動鍵盤；二是做成眼動鼠標，不用鼠標，通過眼動來控制；還有眼控相機，眼睛看到哪里，相機可以跟著；還有手眼協調操控，鍵盤、鼠標完全不需要，眼鏡的操控能力還差一點，通過眼鏡再加上手就可以完成復雜的功能。可以做到文本閱讀與翻譯，即人在閱讀的時候，只要看到一個文字停在那里以后，系統就可以給出翻譯。還有就是模擬一個博物館，只要眼睛一看到某個東西，系統就可以介紹這樣東西。
老人的語言功能差了以后，想看什么眼睛一定會動，我們團隊的工作研究通過追蹤眼睛理解人的意圖，然后由機器人來幫人完成。目前也在跟一家公司合作，研究是否能通過眼動儀來檢測一個人的生理健康和心理健康。還有人和機器結合的老年人服務系統，團隊也發表了一些文章和申請專利。
關注我們
公眾號：china_tp
微信名稱：亞威資訊
顯示行業頂級新媒體
掃一掃即可關注我們
