常見的手別識(shí)別硬件方案
手勢識(shí)別都有哪些常見的硬件方案?下面我們?yōu)榇蠹液唵谓榻B一下手勢識(shí)別常見的三大硬件方案:
手勢識(shí)別的原理并不復(fù)雜,它通過硬件捕獲自然信號,就像相機(jī)捕獲圖片信息那樣,然后通過軟件算法計(jì)算得到手的位置、姿態(tài)、手勢等,處理成計(jì)算機(jī)可以理解的信息。目前手勢識(shí)別主要有以下 3 種硬件方案:
1、攝像頭方案
常見的又分彩色攝像頭方案和深度攝像頭方案。
1.1 彩色攝像頭方案
彩色攝像頭方案只需要一個(gè)普通攝像頭,捕捉拍攝一張彩色圖片,通過 AI 算法得到圖片中手的位置、姿態(tài)、手勢等信息。優(yōu)勢是設(shè)備成本低、數(shù)據(jù)容易獲取。
目前這種基于單目 RGB 的手勢識(shí)別在學(xué)術(shù)界和工業(yè)界研究的比較多,商用的方案商有英梅吉、ManoMotion、虹軟等。
還有一些人工智能開放平臺(tái)同樣提供這種方案。比如騰訊 AI 開放平臺(tái)提供靜態(tài)手勢識(shí)別和手部關(guān)鍵點(diǎn),百度 AI 開放平臺(tái)和 Face++ 提供靜態(tài)手勢檢測。以及一些開源項(xiàng)目比如 openpose 和 Google Mediapipe 等。
相比深度攝像頭方案,彩色攝像頭方案缺乏深度信息,受光照影響非常大,夜間無法使用,穩(wěn)定性和精度都沒有深度相機(jī)方案好。
1.2 深度攝像頭方案
這個(gè)方案是通過深度攝像頭來獲取帶有深度信息的圖片。優(yōu)勢是更容易獲取手部的 3D 信息,相對應(yīng)的通過 AI 算法得到的手部 3D 關(guān)鍵點(diǎn)也更加準(zhǔn)確和穩(wěn)定。但缺點(diǎn)是需要額外的設(shè)備、硬件成本比較高。
深度相機(jī)又分三大類:ToF、結(jié)構(gòu)光和雙目成像。
其中,ToF 和結(jié)構(gòu)光得到的深度圖比較準(zhǔn),但成本比較高,多用于手勢的科研領(lǐng)域,商用的比較少,比如微軟 HoloLens、極魚科技 ThisVR。
雙目成像因?yàn)橐晥鼋谴?,幀率高,很適合用來做手勢識(shí)別,唯一缺點(diǎn)就是因?yàn)槌上裨淼南拗?,使得整個(gè)雙目相機(jī)模組的體積對比 ToF 和結(jié)構(gòu)光來說大很多。
采用雙目成像的公司以目前最大的手勢識(shí)別公司 Leap Motion 為代表,該公司使用的是主動(dòng)雙目成像方案,除了雙目攝像頭外還有三個(gè)補(bǔ)光單元,可捕獲雙手 26DoF、靜態(tài)手勢、動(dòng)態(tài)手勢等。此外,Leap Motion 還提供了非常完整的SDK,對各個(gè)平臺(tái)支持都不錯(cuò)(除手機(jī)平臺(tái))。
國內(nèi)也有在做雙目手勢的公司,比如 uSens Fingo 是基于主動(dòng)雙目的視覺方案, 提供雙手 26DoF、靜態(tài)手勢、動(dòng)態(tài)手勢識(shí)別等功能。相比于 Leap Motion,uSens 更專注于對手機(jī)以及其他低功耗嵌入式設(shè)備的支持。此外還有微動(dòng) Vidoo Primary 也有基于雙目的手勢解決方案。
2、毫米波雷達(dá)
毫米波雷達(dá)方案的代表有谷歌推出的一款特殊設(shè)計(jì)的雷達(dá)傳感器—— Project Soli ,它可以追蹤亞毫米精準(zhǔn)度的高速運(yùn)動(dòng),但目前尚處在實(shí)驗(yàn)室階段。
從其公布的演示來看,目前可以識(shí)別個(gè)別指定的手勢,并在小范圍內(nèi)識(shí)別微小精確的手勢操作,很適合發(fā)揮人類精準(zhǔn)的小肌肉運(yùn)動(dòng)技能(fine motor skills)。但缺點(diǎn)是有效范圍太小,無法得到手的所有自由度。
數(shù)據(jù)手套是指在手上帶一個(gè)內(nèi)置傳感器的特制手套,通過傳感器檢測手指的屈伸角度或位置,再根據(jù) Inverse kinematics(逆運(yùn)動(dòng)學(xué))來計(jì)算出手的位置。
一般用到的傳感器有彎曲傳感器、角度傳感器、磁力傳感器等。彎曲傳感器和角度傳感器類似都是可檢測手指的彎曲程度。WISEGLOVE系列數(shù)據(jù)手套可以實(shí)時(shí)采集手指的運(yùn)動(dòng)姿態(tài),追蹤手臂的位置,還可以有手指實(shí)時(shí)的力反饋,方便手勢識(shí)別,助力開發(fā)VR交互應(yīng)用。
還有一種用磁力傳感器的——trakSTAR 電磁式空間位置追蹤系統(tǒng)。通過在手上貼的磁力傳感器的磁場變化,來確定傳感器的位置角度,再根據(jù)反運(yùn)動(dòng)學(xué)確定手的具體位置。
此方案需在手部貼 6 個(gè)磁力傳感器(5個(gè)指尖+1個(gè)手背),并在面前放一個(gè)磁力發(fā)射器。磁力發(fā)射器會(huì)在一定范圍內(nèi)形成一個(gè)特殊的電磁場,然后根據(jù)傳感器在電磁場中不同位置角度檢測到的電磁場強(qiáng)度的不同,來推斷出指尖及手掌的位置角度。再通過反運(yùn)動(dòng)學(xué),確定所有手部關(guān)節(jié)點(diǎn)的位置。
此方案的缺點(diǎn)是有效使用范圍太小,價(jià)格太貴,適用場景太少。優(yōu)點(diǎn)是精度很高,穩(wěn)定性很好,并且可獲得手部所有自由度。目前此方案還只有純科研在用,最近幾個(gè)學(xué)術(shù)界公開的手勢數(shù)據(jù)集 FHAB、 BigHand 都是用此設(shè)備采集的。
- 上一篇:unity3d中利用網(wǎng)格+貼圖繪制血條/進(jìn)度條 2021/3/7
- 下一篇:Unity 讀取Json常用的兩種方式 2021/3/5


