華為AREngine有用嗎 華為arengineserver有什么用

華為AREngine有用嗎 華為arengineserver有什么用

華為AREngine是一個名不見經傳的手機中的一個小小的框架程序,并且還很少用到,但是在目前元宇宙爆火的情況下 , 華為AREngine就顯得非常重要了,它可以增強我們的AR和VR的體驗,但是很多用戶還是不理解,那么下面就讓小編給大家介紹一下 。
目前 AR Engine 可提供三大類能力,包括運動跟蹤、環境跟蹤、人體和人臉跟蹤 , 已經應用到我們的生活之中 , 只要我們使用到AR和VR就會使用到這款框架,讓我們可以輕松的使用AR和VR功能,帶來更加真實的效果,并且還有不同的優點,下面給大家介紹一下:
運動跟蹤 持續跟蹤設備相對于周圍環境的位置和姿態變化軌跡,建立虛擬數字世界和現實物理世界的統一幾何空間,為您的應用提供虛實融合的交互基礎平臺,目前運動跟蹤主要包括以下能力:運動跟蹤、命中檢測 。
運動跟蹤
持續穩定跟蹤終端設備的位置和姿態相對于周圍環境的變化,同時輸出周圍環境特征的三維坐標信息 。
AR Engine 主要通過終端設備攝像頭標識特征點,并跟蹤這些特征點的移動變化,同時將這些點的移動變化與終端設備慣性傳感器結合 , 來不斷跟蹤終端設備位置和姿態 。
通過將 AR Engine 提供的設備攝像頭的位姿與渲染 3D 內容的虛擬攝像機的位姿對齊,您可從觀察者視角渲染虛擬物體,并可疊加到攝像頭圖像中,實現虛實融合 。
命中檢測
用戶可通過點擊終端設備屏幕選中現實環境中的興趣點 。
AR Engine 通過命中檢測技術,將終端設備屏幕上的興趣點映射為現實環境中的興趣點,并以興趣點為源發出一條射線連接到攝像頭所在位置 , 然后返回射線與平面(或特征點)的交點 。命中檢測能力使您可與虛擬物體進行交互 。

環境跟蹤 跟蹤設備周圍的光照、平面、圖像、物體、環境表面等環境信息,輔助您的應用實現虛擬物體以場景化的方式逼真地融入現實物理世界 。目前環境跟蹤主要包括以下能力:光照估計、平面檢測、圖像跟蹤、環境 Mesh、平面語義、3D 云識別、目標語義 。
光照估計
跟蹤設備周圍的光照信息,支持估計環境光的強度 。
AR Engine 可跟蹤設備周圍的光線信息,并計算出攝像頭圖像的平均光照強度 。光照估計能力可讓虛擬物體融入到真實的光照環境中,看起來更加逼真 。
平面檢測
檢測水平和垂直平面(例如地面或墻面) 。
AR Engine 可識別到水平和垂直平面(地面或墻面)上的成群特征點,并可識別到平面的邊界,您的應用可使用這些平面來放置您需要的虛擬物體 。
圖像跟蹤
識別和跟蹤 2D 圖像的位置和姿態 。
AR Engine 提供圖像識別與跟蹤的能力,檢測場景中是否存在用戶提供的圖像,識別之后輸出圖像的姿態 。
通過圖像識別與跟蹤功能,您可實現基于現實世界場景中圖像(海報或封面等)的增強現實 。您可提供一組參考圖像,當這些圖像出現在終端設備的相機視野范圍內時,AR Engine 可為您的 AR 應用實時跟蹤圖像,豐富場景理解及交互體驗 。
環境 Mesh
實時計算并輸出當前畫面中的環境 Mesh 數據,可用于處理虛實遮擋等應用場景 。
AR Engine 提供實時輸出環境 Mesh 能力,輸出內容包括終端設備在空間中的位姿 , 當前相機視角下的三維網格,目前擁有后置深度攝像頭的機型支持,且支持的掃描環境為靜態場景 。
【華為AREngine有用嗎 華為arengineserver有什么用】
通過環境 Mesh 能力,您可將虛擬物體放置在任意可重建的曲面上,而不再受限于水平面和垂直面 。同時您可利用重建的環境 Mesh 實現虛實遮擋和碰撞檢測,使得虛擬角色能夠準確的知道當前所在的周圍三維空間情況,幫助您實現更好的沉浸式 AR 體驗 。
平面語義
識別平面語義(例如桌面、地板、門等) 。
AR Engine 可識別當前平面的語義 , 目前可以識別桌面、地板、墻壁、座位、天花板、門、窗戶、床 。
3D 云識別
識別和跟蹤 3D 物體的位置和姿態 。
AR Engine 檢測場景中是否存在用戶在云側配置的 3D 物體,當這些物體出現在終端設備的相機視野范圍內時,云側實時返回識別結果至終端設備,實現基于現實世界場景中 3D 物體的增強現實 。
目標語義
識別物體的標簽及形狀 。
AR Engine 可識別物體的標簽和形狀,目前可以識別桌子、椅子,支持識別的形狀包含立方體、圓形、矩形 。
2D 云識別
識別和跟蹤云端 2D 圖像的數據 。
AR Engine 檢測場景中是否存在用戶在云側配置的 2D 圖像,當這些圖像出現在終端設備的相機視野范圍內時 , 云側實時返回識別結果至終端設備,實現基于現實世界場景中 2D 圖像的交互 。
人體和人臉跟蹤 跟蹤人臉、人體、手勢等實時信息,以輔助您的應用實現用戶與虛擬物體交互的能力 。
手勢識別
識別特定的手勢和特定的動作 。
AR Engine 提供多種特定手勢的識別,輸出識別到的手勢類別結果并給出手掌檢測框屏幕坐標 , 左手和右手均可支持 。當圖像中出現多只手時,只反饋單手(最清晰且置信度最高)識別結果和坐標信息 。支持前后置相機切換 。

通過手勢識別能力,可將虛擬物體疊加到人的手部位置,并根據不同的手勢變化來激活某些狀態的切換,這可給您的 AR 應用提供基礎的交互功能并增加新的玩法 。
手部骨骼跟蹤
識別和跟蹤 21 個手部關節點的位置和姿態,形成手部骨骼模型,并可分辨左右手 。
AR Engine 提供單手關節點和骨骼識別能力,輸出手指端點、手部骨骼等手部高級特征 。當圖像中出現多只手時,只反饋單手(最清晰且置信度最高)識別結果和坐標信息 。目前僅 Mate 20 Pro、Mate 20 RS 前置深度攝像頭支持 。
通過手部骨骼識別能力 , 您可將虛擬物體疊加到更為精確的手部位置,例如手指尖、手掌心等;利用手部骨骼,可驅動虛擬手做出更為豐富和精細的動作,這可給您的 AR 應用提供增強的交互功能和難以置信的新奇玩法 。
人體姿態識別
識別特定的人體姿態 , 目前支持 6 種特定姿態 。
AR Engine 提供單人的身體姿態識別能力,識別六種靜態身體姿勢并輸出識別結果,支持前后攝像機切換 。
您可將人體姿態識別能力運用在需要識別動作并觸發某些事件的應用場景,比如交互界面控制、游戲操作動作識別等觸發類交互行為,是體感應用的基礎核心功能,為您的 AR 應用提供較遠距離遠程控制和協作的能力 , 豐富應用的交互體驗 。
人體骨骼跟蹤
識別和跟蹤 23 個身體骨骼點的 2D 位置(或 15 個骨骼點的 3D 位置),支持單人和雙人 。
AR Engine 提供單人和雙人的身體關節點識別能力 。支持 2D 骨骼(屏幕坐標系)和 3D 骨骼(與 SLAM 結合的空間坐標系)的輸出 , 支持前后置相機切換 。
通過人體骨骼識別能力,您可將虛擬物體疊加到人體的指定部位,例如左肩、右腳踝等;利用人體骨骼,可驅動虛擬人偶做出更為豐富和精細的動作 , 這可給您的 AR 應用提供大范圍的交互功能和難以置信的新奇玩法 。
人體 Mask
識別和跟蹤當前畫面人體所在區域,并提供該區域的深度信息 。
AR Engine 提供單人或雙人身體輪廓的識別和跟蹤能力,實時輸出人體輪廓 Mask 信息和對應的骨骼點信息 。
通過人體輪廓跟蹤能力,您可利用人體的輪廓 Mask 信息對虛擬物體和場景進行遮蔽 。比如在 AR 拍照時更換虛擬背景、讓虛擬玩偶躲到人身后等,都可使用 Mask 能力來實現更為自然的遮擋效果,這可進一步提升 AR 應用的真實感和觀看體驗 。
人臉表情跟蹤
實時計算人臉的位姿及各表情對應的參數值,可用于人臉表情直接控制虛擬形象的表情 。
AR Engine 提供人臉表情跟蹤的能力,跟蹤獲取人臉圖像信息 , 實時將其理解成人臉表情內容 , 并轉化成各種表情參數 。利用表情參數可控制虛擬形象的表情展現 。
AR Engine 提供的表情種類為 64 種,包含眼睛、眉毛、眼球、嘴巴、舌頭等主要臉部器官的表情動作 。
人臉 Mesh
實時計算人臉的位姿及 Mesh 模型數據,Mesh 模型數據實時跟隨人臉形變和運動 。
AR Engine 提供高精度人臉 Mesh 建模及跟蹤能力,在獲取人臉圖像信息后 , 實時建立逼真的 Mesh 模型 。Mesh 模型隨著人臉的移動變形發生相應的位置和形狀變化,達到實時精確捕捉動作的效果 。
AR Engine 提供 4 千多個頂點、7 千多個三角形面片的 Mesh,能精細勾勒臉部輪廓,增強體驗效果 。
人臉健康檢測
實時計算人臉健康信息,同時計算人體關鍵健康信息(如心率等) 。
AR Engine 提供人體健康檢測的能力,包括心率、呼吸率、面部健康狀態、心率波形圖信號等健康信息 。
以上就是華為AREngine是什么功能的全部內容 , 希望以上內容能幫助到朋友們 。

經驗總結擴展閱讀