北京時間02月21日消息，中華顯示網訊，作為一種新興的人機互動方式,multi-touch觸控技術必然要保持一種可持續發展的勢態,例如沒有任何限制的觸控點數,可以讓更多的手指一同接觸面板,來創造出各式不同的應用,或者是考慮觸控給用戶帶來的真實體驗,就像我們知道“觸摸的感覺組成,它有很大部分是物理移動。如果我們要把這種觸摸的感覺推向極致的話,物理移動是一定需要的”。根據這樣的簡單邏輯,我們會希望在按一個東西的時候,它真的可以偵測按下去的力道輕重。
目前,電阻式與電容式觸控是比較主流的兩類觸控技術。電阻式觸控設計簡單,成本最低,是目前最主要的觸控技術。但電阻式觸控較受制于其物理局限性,如透光率較低、高線數的大偵測面積造成處理器負擔、其應用特性使之易老化從而影響使用壽命等問題。因此,在較為高端的應用中,電容式觸控技術成為首選。電容式觸控支持多點觸控功能,擁有更高的透光率、更低的整體功耗,其接觸面硬度高,無需按壓,使用壽命較長,所以Apple(蘋果公司)在推出iPhone時選擇的是電容式觸控。
不過,電容式觸控也有自身的問題需要克服,如在一體化模塊中,液晶屏和銦錫氧化物范本(ITO)做在同一個真空堆棧中,為了達到觸點偵測功效,ITO模板需不斷地掃描像素,這會持續散發干擾信號,影響整個模塊的操作,因此在電容式觸控的應用上,要真正做到沒有任何觸控限制的true multi-touch,還有許多技術待克服。另外,為了不讓ITO的表面電流被隔絕,硬化鍍層一般非常薄,若施加在觸摸屏上的外力過大時,可能傷及ITO,從而降低使用壽命。此外,目前電容式觸控面板的成本還比較高,在大尺寸應用方面比較困難。
矽創所開發的壓電式多點觸控技術,可以說是介于電阻式與電容式之間,其感應原理與iPhone類似,最主要的不同之處在于其信號為電壓源而非電流源,如圖1所示。當上板與下板接觸導通后形成回路造成電壓值改變,再通過如同LCD驅動IC的掃描方式由Row(行)發送信號,再由Column(列)接收回來判定觸摸點位置,由于其掃描頻率最高可達200Hz,因此可以實時快速地獲取觸點信息,再通過專用的MCU、DSP來準確計算出多點坐標,給出信號。壓電式觸控技術在沒有觸摸動作時,觸摸屏不會耗電,因此功耗遠低于傳統的電阻式多點觸控技術。
1 多點觸控的核心——對象追蹤
在壓電式多點觸控的運算流程中,通過掃描系統(scanning system)偵測觸控點信息,通過濾波器先將原始數據中的背景噪聲消除,界定觸控的區域范圍并得到有效觸控面積后,可以進一步計算出重心位置,經過DSP作運算處理判斷是否合并成為坐標。另一個特性是偵測壓力的變化,通過接觸面積的不同而改變導通的電流量,IC內部電路進而根據該電流變化量轉化為壓力值變化,這可應用在小畫家的應用軟件上,根據輸入介質的接觸面積不同使筆觸有粗細變化。這些處理后的坐標以及壓力信息再經由MCU將多點移動動作轉換成手勢指令,將此指令傳給主系統的CPU就可以控制面板顯示內容以及執行一些應用程序了,但其中如何將觸碰在屏幕上的每一點的動作完整的解析出來,是整個多點觸控系統中最重要的核心,一旦處理的過程出現任何失誤,對使用者而言就相當于手勢辨識失敗,或是多個觸控點移動的軌跡出現混淆或錯亂。
在這篇文章中我們將針對壓電式多點觸控技術中的核心——“對象追蹤”(Object Tracking)這一部分做簡單的介紹。對象追蹤是通過比對連續移動對象的相似度來完成的,其中的議題涵蓋如何建立對象的特征、相似程度的判別以及如何在整個對象數據庫中快速尋找目標物,讓系統能利用在高速掃描運作下所產生的大量信息來完成多點觸控的功能。
矽創電子所開發的壓電式觸控技術中所使用的對象追蹤可細分為三個處理程序:
1. 區域合并(Region-Based combination)
2. 主動式輪廓追蹤(Active Contour-Based Tracking)
3. 特征追蹤(Feature-Based Tracking)
1.1 區域合并
因為壓電式觸控技術以矩陣式的偵測器來感應手指或物體觸碰的動作,一般而言,當觸碰到屏幕的物體較大或是手指按壓的力量較大時,會讓偵測器所感應到的面積范圍較大,但某些時候因為手指或物體的移動速度較快,或是觸碰時的壓力不夠大,造成同一個觸碰范圍內,掃描系統偵測到的對象由好幾個組成,而不是單一的觸控對象,因此在區域式追蹤的算法中,我們必須判斷在同一個掃描幀(frame)中,哪些對象有可能是同一個手指或物體所造成的,就必須把這些對象合并在一起,否則若破碎的情況沒有辦法有效的合并,那么將來這些對象在移動的過程中將更加難以追蹤辨識。
1.2 主動式輪廓追蹤
這類方法是將掃描系統偵測到的觸碰信號轉換成輪廓線(contour)來表示,并賦予輪廓線影像空間的特性,比如面積、形狀等,再利用每個frame新的信息作輪廓的更新,用以追蹤對象。在多點觸碰的過程中,每一個手指或觸碰的物體在經過上一個步驟“區域合并”之后所產生的輪廓都不盡相同,而在這些對象移動的過程中,我們就可以根據每一個對象在輪廓上的特性來增加追蹤的正確性,而且由于輪廓線是封閉曲線,本質上也容易解決對象交錯的問題。
1.3 特征追蹤
以對象特征為基礎的追蹤方法,是萃取掃描系統所偵測到的原始數據中形成目標物的各種成分,再將這些成分集合成較高階的特征信息,藉由比對相鄰frame間的特征信息來追蹤目標物。根據不同的觸碰特征,可分為:電壓信號差異、觸碰面積差異(即上一節的輪廓追蹤方法)、移動速度差異。以電壓信號差異為例,在多點觸碰的情況中,有可能會有一些觸碰點具有相同的偵測面積,倘若這些面積相差不多的觸碰點在移動過程中有靠近、甚至交錯的情況,單純利用面積信息作為對象追蹤的辨別可能會造成誤判,但壓電式觸控技術的掃描原理就是利用掃描系統將手指的觸碰轉換為電壓信號,每一個手指在按壓屏幕時的力量大小有所不同,則偵測出來的電壓也會有不同的變化,因此每一個對象除了有面積信息可以參考外,還會有平均電壓值作為其中一個特征。假設在對象追蹤的過程中,當我們沒辦法由面積的差異來分辨每一個對象時,就會進一步使用每一個對象的平均電壓特性做配對的計算。
另外,除了面積以及電壓信號的差異之外,另一個非常有利于對象追蹤計算的特征就是“運動狀態”,因為每一個觸碰點在手指按壓之后,除了壓力會造成觸碰面積和感測電壓的大小差異之外,只要手指在屏幕上有移動,就會多出一項“速度”的信息來,這時候每一個對象就具備“電壓”、“面積”以及“速度”的特性存在,其中速度這項信息最大的功能是加強多個對象在移動過程中的追蹤正確性,一般來說,多個對象在移動中若沒有產生軌跡交錯,每個對象在追蹤的過程中就不易產生混淆的情況,但是對象與對象的移動軌跡有交錯時,就有可能造成混淆的情況,因為追蹤的概念是比對每一個相鄰frame所得到的對象數據庫的所有特征的相似度,將兩個相鄰frame中相似度最高的對象視為同一個對象,倘若不去計算速度特性的話,有可能發生如圖7所示的狀況。當深色的對象和淺色的對象在移動過程中發生交錯,而且剛好N+1的frame時,淺色對象的位置剛好離第N個frame時的深色對象較近,同樣深色物件在N+1的frame也距離上一個frame的淺色對象較近,那此時配對的方式如果都是在最短距離為優先的情況下,就會產生追蹤錯誤的情況了。
“速度”這個特征里包含兩個重要信息,一個是對象移動的方向,另一個則是移動的快慢,也就是說,不同的對象,在相鄰的兩個frame中,移動的距離和方向不太可能會是相同的。因此,我們可以利用速度特征來預測出每一個對象在下一個即將掃描的frame中可能出現的位置,估計出位置之后,當掃描系統掃瞄完成之后,數據庫中的對象在配對時,就是跟這個預測的位置做比對,并不是上一個frame中的位置,如此一來,當多個對象發生交錯時,由于速度特征的不同(因為產生交錯就代表移動方向的不同),就容易正確追蹤出每一個對象的軌跡。
2 物件追蹤的算法——bipartite matching
在前一段我們說明了整個追蹤機制中,有哪些重要的對象特征我們會采用,接下來我們將介紹每一個特征在比對時所使用的算法。因為壓電式觸控技術是完全支持multi-touch的接口,也就是說每個frame會有不定個數的對象,可能只有1個,也可能有2個,甚至有10個。我們必須持續追蹤這些對象的變化,包括每個點什么時候出現、中間移動的軌跡以及什么時候消失,如果我們的追蹤機制只面對一個點,那么問題很簡單。在圖8中,圓形為前一個frame對象的位置,方形為當前這個frame的位置,在單一點的情況下,可以直接斷定圓形和方形是同一個對象,并且移動路徑是A。
但如果是多點,情況就沒這么單純了。圖9展示了兩個點的情況,我們如何判斷兩個對象是走了路徑A還是路徑B呢?也就是說這兩個方形,到底誰是對象1?誰是物件2?
其實上圖還有更復雜的可能,比如對象2已經消失,某個方形是新出現的對象3。在每個對象都相同的情況下,其實我們是沒辦法區別這種奇怪的可能性的,為了簡化,我們暫時先忽略這種可能。在這個問題上,我們用一個簡單的策略來解決:在兩個frame間,相對位移越短就越可能是相同的一個點,也就是說在圖9中,上方的方形應該是點1,下方的是點2,因為這樣兩個點移動的距離都比較短。
這個問題如果要求全域的最佳解(讓每個點移動的距離和最短),可以轉化成圖論中的bipartite matching問題來解。詳細的配對方法如下:
1. 假設前一個frame的所有對象集合為A,目前frame的則為B;
2. 對于A中的所有點a,計算出到B中所有點b的edge長度,并放進一個數組E中;
3. 把數組E中距離太遠的edge剔除掉;
4. 將E按edge長度排序,從小到大;
5. 從E的開頭開始,每取出一條edge前先看看edge的兩端點是否已經配對成功過,配對時同時會判斷對象的各種特征,除了距離要最短之外,其余的特征也必須符合才能完成一組配對;
6. 重復上一步直到取出所有edge為止。
運行完上面的算法,我們就可以標記出兩個frame中所有對應的對象,并且可以產生每一個對象所對應的移動軌跡。而A和B中沒被配對的對象就代表這些對象只存在其中一個frame,不是剛消失就是剛出現,接下來我們就可以對這些對象的狀態做進一步的處理。
3 結 論
在多點觸控中如何有效地執行對象追蹤技術是決定多點觸控效能的關鍵,當掃描系統建立對象的信息之后,必須配合一個有效而穩健的搜尋與配對策略,在連續掃描的frame中快速而精準地找出對象的位置,或是建立對象所需要搜集的信息。在壓電式觸控技術中,我們使用了區域合并方法來消除破碎或分散的對象,以提高整個系統的處理速度,此外依據主動式輪廓追蹤技術來掌控觸控屏上每個點的移動狀況,而且進一步利用特征追蹤法對對象位置變化作預測,以縮小搜尋比對的范圍,主要步驟包括預測下個時間點的對象狀態與依據變化量來更新系統內部參數,真正達到一個具有動態調整的精密追蹤技術。
關注我們
公眾號：china_tp
微信名稱：亞威資訊
顯示行業頂級新媒體
掃一掃即可關注我們
