《最強大腦》第三場《核桃計劃》比賽難點及技術解析

《最強大腦》第三場《核桃計劃》比賽難點及技術解析

近日,江蘇衛視《最強大腦》第四季人機大戰第三場已經結束 。從未失算的“水哥”王昱珩,在圖像識別方面與搭載百度大腦的小度機器人進行實力交鋒 。最終,“小度”以2:0的戰績戰勝對手 , 并以3:1的總戰績,斬獲2017年度腦王巔峰對決的晉級資格 。
本場競賽題目為 “核桃計劃”:通過三段在夜幕下分別從行車記錄儀、高位攝像頭和女生手機中拍到的模糊動態影像中,讓“小度“和水哥識別三位“嫌疑人”的特征后,從30位性別相同、身高體重年齡均相似的候選人現場拍照中,準確找出三位“嫌疑人” 。
比賽雖已結束,但對于相關人工智能識別技術的討論仍在繼續,本文僅從技術角度闡釋本場的難點及背后的技術解析 。
1.比賽難點:動態識別
相較于第一期的跨年齡人臉識別,本次識別的動態性為是識別技術需要突破的主要難點 。
光照問題
面臨各種環境光源的考驗,可能出現側光、頂光、背光和高光等現象,而且有可能出現各個時段的光照不同,甚至在監控區域內各個位置的光照都不同 。

人臉姿態和飾物問題
因為監控是非配合型的 , 監控人員通過監控區域時以自然的姿態通過 , 因此可能出現側臉、低頭、抬頭等的各種非正臉的姿態和佩戴帽子、黑框眼鏡、口罩等飾物現象 。
攝像機的圖像問題
【《最強大腦》第三場《核桃計劃》比賽難點及技術解析】攝像機很多技術參數影響視頻圖像的質量,比賽中的視頻場景較暗,使采集的圖像質量也受到影響,有效信息被弱化 。
丟幀和丟臉問題
動態監測中,人臉在某一幀可能是模糊不清的,出現丟幀或者丟臉的現象,為識別帶來挑戰 。
2.動態人臉識別技術解析
動態人臉識別主要通過三步實現:在視頻中進行人臉跟蹤和監測、進行通用人臉識別模型的訓練、實現不同場景下的人臉識別 。

Step1:人臉跟蹤檢測
用深度學習的方法對視頻中出現的人臉進行跟蹤和檢測,在跟蹤過程中提取質量較好的照片 。
Step2:通用人臉識別模型訓練
人臉檢測:
根據眼睛、眉毛、嘴巴、鼻子等器官的特征以及相互之間的幾何位置關系來檢測人臉,即在在一副圖像或一序列圖像(比如視頻)中判斷是否有人臉,若有則返回人臉的大小、位置等信息 。
【參考文獻:《人臉識別——原理、方法與技術》 , 王映輝編 , 科學出版社】
圖片描述
人臉圖像預處理:
系統獲取的原始圖像由于受到各種條件的限制和隨機干擾,往往不能直接使用 , 必須在圖像處理的早期階段對它進行灰度校正、噪聲過濾等圖像預處理 。

人臉圖像的預處理主要包括人臉對準,人臉圖像的增強,以及歸一化等工作 。
人臉對準是為了得到人臉位置端正的人臉圖像;圖像增強是為了改善人臉圖像的質量,不僅在視覺上更加清晰圖像,而且使圖像更利于計算機的處理與識別 。
歸一化工作的目標是取得尺寸一致,灰度取值范圍相同的標準化人臉圖像 。
【人臉圖像的預處理】
人臉圖像特征提取:
人臉特征提取就是針對人臉的某些特征進行的 。人臉特征提取,也稱人臉表征,它是對人臉進行特征建模的過程 。
人臉圖像匹配與識別:
人臉識別就是將待識別的人臉特征與已得到的人臉特征模板進行比較,根據相似程度對人臉的身份信息進行判斷 。這一過程又分為兩類:
一類是人臉確認,是一對一進行圖像比較的過程,將某人面像與指定人員面像進行一對一的比對,根據其相似程度(一般以是否達到或超過某一量化的可信度指標/閥值為依據)來判斷二者是否是同一人 。
另一類是人臉辨認 , 是一對多進行圖像匹配對比的過程 。將某人面像與數據庫中的多人的人臉進行比對(有時也稱“一對多”比對),并根據比對結果來鑒定此人身份 , 或找到其中最相似的人臉,并按相似程度的大小輸出檢索結果 。
可查閱:人臉識別概述及識別的基本方法與流程
Step3:有遮擋遮擋人臉識別訓練
人臉識別模型將人臉分為不同的部分,對每部分的進行特征提取,隨后通過該部位的特征描述得出遮擋程度,然后根據遮擋程度對有可提供有效信息的部位進行決策,對有效部位進行識別 。
三、百度人臉識別技術實現
百度的人臉識別技術將獲取到的人臉圖像經過輪廓定位態校正、全局粗定位、局部精細定位等步驟,實現72個關鍵點的檢測和跟蹤,并將其連結起來形成面部表情網,據此識別不同面部表情,即使在極端的條件下,也可輕松完成 。


經驗總結擴展閱讀