Intel RealSense D435i(實（shí）感技術)概覽，本文對Intel RealSense D435i 3D麵部和動（dòng）作捕捉功能做簡（jiǎn）要（yào）介紹

前段時間CES的報道滿（mǎn）天飛，網上逛了幾圈（quān），感覺料猛的還數Intel：老樹開新花，推出14nm的第五代酷睿處理器；在智能可（kě）穿戴設備及物聯網上雄起；RealSense實感技術開啟（qǐ）未來人機交互模（mó）式。之前總聽老哥（gē）講，鼠標（biāo）鍵盤這些傳統交互模式統（tǒng）治了二三十年，目前跟蹤識（shí）別爆火且技術趨於（yú）成熟，新的交互革命（mìng）快要打響了。看RealSense這陣勢，估計不（bú）出三五年新的交（jiāo）互便會（huì）普及開來。

英特爾早在2012年左右就著重研發實感（gǎn）技術，當時叫Perceptual Computing，即（jí）感（gǎn）知計算，並開放英特爾® 感知計算軟件開發套件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎（jiǎng）舉辦因特爾感知計算挑戰賽（sài），吸引（yǐn）眾多開發者參與。隨著技術完善與成熟，2014年初更名為RealSense，即實感技（jì）術，而後發（fā）布了新（xīn）的Intel® RealSense™ SDK 2014 ，同時舉行（háng）2014英特爾®RealSense™應用挑戰賽。

基於（yú）此技術的應用在IDF2014及今年CES上大放異彩。

Intel® RealSense™ SDK的架構：SDK core,I/O module和Capability modules組成整個（gè）SDK堆棧的基（jī）礎。SDK core管（guǎn）理I/O module和Capability modules同時組織並管理管線的執行。I/O module捕獲（huò）設備的輸入數據而後發送數（shù）據到（dào）輸出（chū）設備或（huò）Capability modules。Capability modules也叫algorithm modules，主要（yào）包括各種模式檢測和識別算法（麵部跟蹤和檢測、手部跟蹤、手勢識別、語音識別及合成等）。

各功能：手部和（hé）手指跟蹤、麵部分析、語音識別、背景（jǐng）移除、目標跟（gēn）蹤（zōng）、增強現實、3D掃描（miáo）。

1. 手

SDK將手抽象出骨架，並從背景中剝離出來。允許在（zài）照相機的0.2–1.2米範圍內跟蹤手上的22個（gè）點的位置和方（fāng）向，如圖。左右手是區分的，因而可以雙手進行交互。

手勢識（shí）別：包括（kuò）靜態手勢識別（bié）和動態手勢識別。SDK中內嵌了一係列手勢如（rú）下圖。你可以用內嵌的這些手勢組合出新的手勢，也可以根（gēn）據手骨架上那22個點位置創建出（chū）新的手勢。

動態手勢識（shí）別：靜態手（shǒu）勢可以單獨（dú）使用（yòng），當然（rán）也可以組合使用形成一定（dìng）的動作。組合時要求開始（shǐ）的手勢和結束（shù）的手勢都已在手（shǒu）勢識別係統中注冊。

SDK給出了一係列動作如下：

2．臉

臉部檢測：SDK提供準確的（de）3D臉部檢測和跟蹤，且可以同時跟（gēn）蹤4張人臉。每張人臉用長方形來標（biāo）記，你可以獲得長方形的XYZ坐標（biāo）。與2D跟（gēn）蹤相比，3D頭部跟蹤在頭部運動方麵更給力。

臉部識別：SDK提供識別特定人臉（liǎn）的能力。特定ID對應注冊的特定人臉，並將此（cǐ）人臉的信息存儲到人臉庫（kù）的內存中。如果同張人臉被注冊多次，那這（zhè）張人臉被正確識別的機會將會增大。當沒被（bèi）識別的（de）人臉出現（xiàn）時，識（shí）別模（mó）塊將與數據庫中的可能（néng）數據進行比對，如果找到匹配（pèi）則返回此人臉對應的ID。

用戶不用擔心（xīn）自己（jǐ）的頭像被存（cún）儲，因為存儲的隻（zhī）是算法從圖像中提取的特征的集合。

頭的運動（dòng）：SDK提供頭部運（yùn）動的3D方向：俯仰、左右（yòu）轉動（dòng）、左右偏轉（zhuǎn），如圖。

所（suǒ）以可以輕鬆（sōng）獲得用戶頭部指向哪裏。也可以以此做粗略的眼神跟蹤，下一版將會推出更精細的眼（yǎn）神（shén）跟蹤。

標（biāo）記點跟蹤：SDK提供（gòng）臉部（bù）78個標（biāo）記點（diǎn）的跟蹤以（yǐ）提高臉（liǎn）部識別（bié）和分析的準確度。在圖像和坐標係中給出（chū）這（zhè）78個標記點的位置。臉部標記點跟蹤支持頭像創建、臉部動畫、擬態及簡（jiǎn）單的表情識別。可以直接用這些點或這些點的相（xiàng）對位置來作分析。不管你有沒有劉海、戴不戴眼鏡，這種標（biāo）記點跟蹤都支持。但用戶頭（tóu）部在屏（píng）幕30度內效果*好。

麵部表情識別：SDK也包括更高級的麵部表情識別。這使得（dé）你創建卡通頭像更（gèng）簡單。每一種表（biǎo）情有1到100的強度等級使（shǐ）得你做的動畫更平滑自然（rán）。SDK中表情：

情感識別：SDK中的情感識別算法用的是2D RGB數據。情感模塊是獨立的模塊，並非臉部（bù）模塊的一部分（fèn）。為保障情感識別（bié）正常工作，圖像中的人臉至少要有48×48個像（xiàng）素。此算法並不局限於RGB數（shù）據（jù），灰度數據同樣（yàng）可行。利用SDK，你可以檢測並估計（jì）以下六種原始情感的強度。

頭像控製：SDK通過結合麵部表情及78個標記點提供簡單的頭像控製（zhì）功能。SDK提供動畫角色的示例代碼，使你的應用可（kě）以適應任何臉型並把用戶頭像動畫化。

應用場景：

3. 語音

主要包括語音命令（lìng）和控製（zhì）、聽（tīng）寫、從文字轉（zhuǎn）譯成語音等功（gōng）能。隻支持英（yīng）語（yǔ），語音識別對成年人效（xiào）果*好。

語音（yīn）識別：分為命令模式和聽寫模式。命令（lìng）模式需提前（qián）設定命（mìng）令列表，特定命令綁定特定動作。聽寫模式內置了一個通用的詞典，包括50k個常用（yòng）單詞。如果你覺得不夠用（yòng），也可以自己添加詞典中沒有的單詞。聽寫模式限時30秒。命令和（hé）聽寫（xiě）模式不可同時開啟。

語音分析：SDK也可以根據文（wén）本動態的生成語音，由女聲讀出。

4. 背景（jǐng）移（yí）除

可以實時的移除背景並替換成新的（de）背景。

應用場景：

5. 目標跟蹤

Metaio*3D目標跟蹤模塊（kuài）提供基於光學的跟蹤技術，可以跟蹤視頻序列或（huò）場景中的目標物。Metaio工具箱可以訓練、創建並編（biān）輯3D模型，這些模型可以傳（chuán）給各種目標檢測及跟蹤算法。

跟蹤技術支持平麵（miàn）的2D目標（biāo）跟蹤、基於特征的3D跟蹤、CAD模（mó）型的基於邊界的3D跟蹤及即時3D跟蹤。

6. 增強（qiáng）現實

用音頻、視頻、圖像或其他信息來（lái）添加、增強或補充英特爾實（shí）感技術遊戲的內容。

7. 三維掃描和打印

可以掃描、編輯、打印和分享（xiǎng）三維物體，並與 3D Systems展開合作。

目前因特爾已經與騰訊合（hé）作創立（lì）遊戲創新實驗室，推進實感技術，並打造了《軒轅傳奇》。與京東合作建立“京東因特爾聯合創新實驗室”，推（tuī）出虛擬試衣（yī）、3D物品展示等，使實感技（jì）術落地電商平台。同時因特爾自（zì）己也在不斷推出自己的實感（gǎn）技（jì）術產品。這（zhè）不前兩天在北京推出其全新的第五代酷睿處（chù）理（lǐ）器（qì）家族，搭載此處理器的多款產品還配備（bèi）了英特（tè）爾實感技術，看來這項技術很快就會遍地開花。

隻要你的處理器是第四代及四代以後（hòu）英特爾（ěr）® 酷睿™處理器，操作（zuò）係統滿足Microsoft* Windows 8.1（僅限64 bit），再外購一個英特爾® RealSense™ 3D 攝（shè）像頭就可以下載SDK玩起來。估計不久聯想、戴爾、華碩、宏基、惠普等等搭載第五代酷睿處理器（qì）並內嵌因特爾3D攝像頭的（de）超很本、二合一及一體機設備就會上市（shì），那（nà）時玩起來會更（gèng）爽。

資料來源：RealSenseSDKdesignGuidelinesGold

補充一點自己的實際體會（huì）：

1.基於結構光方案的深度相機，受光線影響很大，下午太陽光照進來，深度數據殘缺嚴重，這個就是所謂的激光散斑受（shòu）強光淹沒掉了。

2.手勢識（shí）別中，靜態手（shǒu）勢，手型識別效果不錯。同時，對著深度（dù）相機方向的（de）手勢運動，識別效果也不錯（cuò）。但左右方向的運動（dòng）手勢，效果（guǒ）很差。主（zhǔ）要是視（shì）場（chǎng）角小（xiǎo），深度數據殘缺嚴重。

3.SDK可（kě）支持多個設備（bèi）同時鏈接 。采用一台設備，一個線程來管理維護。線程內部（bù），SDK所有（yǒu）功能都支持。也就是（shì）多個設備互不影響。

4.手勢，采用22點骨架模型。大致的手型是可以捕（bǔ）捉的， 但是容易受到環境光影響，在準確獲取手部動（dòng）作時還是（shì）考（kǎo）慮使用專業的數據手套設備，比如WONGLOVE數據手套。

5.手勢識別，在20~55cm範（fàn）圍內可用。其實，整體來看，隻能是小範圍運動（dòng）情況了。