錄影即建3D模

在《關鍵報告》與《鋼鐵人》等科幻電影中，經常出現主角用手勢凌空操縱電腦資訊的場面，想必是許多人心目中對於未來科技的經典想像。不遠的未來，這種科幻技術就會實現了！運用「深度攝影機」設備，加上後端軟體演算法的開發，工研院目前正在著手研發手勢控制、即時3D建模等等技術，一步步創造出愈來愈加直覺化的人機互動介面。

「深度攝影機」(Depth Camera)和一般攝影機不同的是：目前一般的攝影機是將真實世界的三維空間影像儲存成二維XY軸的平面畫面，但是深度攝影機可以測量出每一個影像點和攝影機之間的Z軸距離，因此儲存的是三維的空間資訊。藉由深度攝影機的兩個鏡頭所擷取的影像，用演算法比較兩者的差異後就能得到影像點深度的Z軸資訊（有一些類型的深度攝影機還會在鏡頭處以紅外線等不可見光源，發射光線到拍攝目標，藉由反射回來的資訊計算各反射點與攝影機之間的距離）。

藉由深度攝影機所感測到的三維影像資訊，配合工研院研發團隊所開發的手部辨識演算法，目前已經可以讓使用者在不需要配戴任何感測元件的條件下，運用手部動作就可以進行電腦螢幕畫面中物件的抓取、移動、翻轉、縮放等操作。工研院將持續深入研發這一項技術，使辨識能力更加精細，具體的實用目標是應用在市場逐漸成長的智慧電視Smart TV上，使用者只要動一動手指，不需要遙控器，就可以進行各種複雜的操作。這一項技術也可以應用在互動大型電子看板、簡報會議系統等方面。[1，2]

工研院南分院微系統中心視覺互動技術部的陳柏戎經理表示，研究團隊開發出一項創新的深度攝影機應用方式：即時性3D建模。目前要產生3D影像模型有以下幾種不同的方式：1. 由3D動畫師做人工的電腦繪圖。 2. 動作擷取系統（motion capture）3. 3D掃描器。

每一種方法都有各自的限制：1. 由動畫師做人工繪圖無法達到快速、即時的需求。2. 動作擷取系統，即目前許多結合實景、演員和動畫的3D電影所使用的技術，在演員身上貼上動作的感測器以擷取身體各部位的數據，這一項技術會受到器材架設、場地等等因素的限制。3. 3D掃描器，通常能掃描的尺寸範圍有一定的限制。陳柏戎經理表示，在研發深度攝影機的應用時，想到了可以運用深度攝影機所拍攝的三維的空間資訊來做即時性的3D建模。也就是，使用者在深度攝影機前做身體的動作，拍攝影像之後，即時由後端的軟體演算法進行辨識，並且轉化成3D的動畫模型骨架。

這一項技術的重點在於從深度攝影機所拍攝的影像數據中進行人體動作的辨識，並且必須以足夠快的效率進行即時的運算處理，轉化成模型。研發團隊在演算法的設計上，引入牆壁、天花板等等做為參考空間平面，來更加精準的計算拍攝到的影像中運動的主體，如人、車等，在空間中的三維位置；並且特別著重於人的形狀，與手肘、膝等各部位的動作辨識的強化，肢體骨架的分析等等，來提高建模的效率。目前已經能夠達到每秒做出30張以上的圖，高於動畫所需的每秒24張的最低要求。能夠達成動畫的即時運算要求，便可能實現讓攝影機前的被拍攝者和電腦中轉換出來的3D動畫影像進行即時互動。

用深度攝影機來做3D建模，雖然目前在精細度上還比不上動作擷取系統和3D掃描器，但是具有設備輕便，而且相較之下較便宜的優點。陳柏戎經理表示，研發團隊將會持續改進系統的精細度，希望在未來這一項技術能夠取代動作擷取系統；並且在另一方面，打造出平價、用途廣的3D掃描技術，可以用來滿足未來大量成長的3D列印市場所渴望的3D模型設計圖的需求。而使用者與建模出來的3D物件進行即時互動的功能，更是未來的主要研發重點。

【參考資料】

工研院所開發，利用深度攝影機進行體感與手勢辨識的技術，規格可參考：

[1] 工研院網站 — 最新消息

2012/07/06 活動報導：國產體感辨識深度攝影機只要1/2成本，搶smart TV市場

參考網址：前往網站

[2] 工研院電子報第10004期，參考網址：前往網站

本技術著眼於提供一種智慧終端的直覺化操作介面，利用創新區域相對位置編碼技術，突破以往雙影像深度估算的低紋理區域正確率瓶頸，使整體平均深度正確率>93.2%，領先國際Stereo Vision即時深度估算演算法之指標92%。平均手部追蹤誤差20mm@2m，已接近Kinect所使用高成本Light Coding技術17mm@2m之水準。BOM成本更僅需Light Coding之1/3。