可(kě)疑人(rén)員(yuán)識别系統解決方案
第 一 章(zhāng) 背景及需求
1.1 應用(yòng)背景
十三五智慧城(chéng)市建設提出要加快(kuài)雲計算(suàn)、物(wù)聯網、大(dà)數據等一些公共支撐型應用(yòng)平台建設。近兩年來(lái)雲計算(suàn)、物(wù)聯網、大(dà)數據等領域技術逐漸成熟,在各行業中應用(yòng)越來(lái)越廣,技術應用(yòng)的(de)社會認可(kě)度和(hé)接受度越來(lái)越高(gāo),經濟和(hé)社會效益日漸凸顯。
在金融行業,由于銀行财富集中的(de)特點,很容易成爲犯罪分(fēn)子的(de)目标。如果是一些分(fēn)行級的(de)銀行大(dà)樓内,很多(duō)時(shí)候也(yě)會成爲上訪人(rén)員(yuán)的(de)目标,特别是發生一些理(lǐ)财不當的(de)事件後,很多(duō)客戶會選擇分(fēn)行大(dà)樓,該營業網點進行鬧事,給安保工作提出了(le)更高(gāo)的(de)要求。
同時(shí)依據相關政策法規及國家和(hé)行業标準,公安機關要求全市範圍内涉及公共安全的(de)社會視頻(pín)資源進行有效整合,将其統一納入公安機關管理(lǐ),解決視頻(pín)資源碎片化(huà)、孤島化(huà)問題,從而盤活全市社會視頻(pín)資源,構建起網絡架構合理(lǐ)、基礎數據共享、行業管理(lǐ)獨立、公共平台統一、信息應用(yòng)安全可(kě)信可(kě)控的(de)開放式社會公共視頻(pín)資源管理(lǐ)系統,爲反恐維穩、治安防控、應急處突、服務群衆提供強有力的(de)可(kě)視化(huà)信息支撐。充分(fēn)發揮社會視頻(pín)資源的(de)重要作用(yòng),實現信息資源共享和(hé)應用(yòng)效益最大(dà)化(huà)。
在完成社會資源接入後,公安機關需要接收各個(gè)社會單位的(de)視頻(pín)信息,對(duì)視頻(pín)信息的(de)解析提出了(le)較高(gāo)的(de)要求,那如果銀行直接自行完成視頻(pín)或者圖片的(de)解析,直接給出相應的(de)結果,可(kě)以從很大(dà)程度上減輕公安機關的(de)負擔,同時(shí)也(yě)能夠更好協助公安機關破案,提高(gāo)銀行在安全評估方面的(de)等級。
1.2 需求分(fēn)析
銀行急需針對(duì)黑(hēi)名單的(de)客戶進行準确的(de)識别,以便安保人(rén)員(yuán)能夠采取相應的(de)措施,例如對(duì)前期有上訪,鬧事的(de)人(rén)員(yuán)進行高(gāo)度關注,針對(duì)公安機關通(tōng)緝的(de)人(rén)員(yuán),需要及時(shí)通(tōng)知公安機關等等。
第 二 章(zhāng) 系統總體設計
2.1 總體目标
可(kě)疑人(rén)員(yuán)識别系統,通(tōng)過對(duì)經過營業網點門口或者辦公大(dà)樓的(de)人(rén)員(yuán)進行人(rén)臉抓拍(pāi),經過人(rén)臉比對(duì)分(fēn)析,智能識别在網點門口出現的(de)黑(hēi)名單人(rén)員(yuán),及時(shí)報警至監控中心,監控中心人(rén)員(yuán)複核确認,同時(shí)消息可(kě)推送給現場(chǎng)的(de)安保人(rén)員(yuán),進行重點關注,甚至如果确認是公安通(tōng)緝人(rén)員(yuán)的(de)話(huà),直接報警至公安系統,讓公安機關及時(shí)出警。
2.2 總體架構
圖1. 系統架構
2.3 系統組成
可(kě)疑人(rén)員(yuán)識别系統包括:
n 前端攝像機:抓取網點門口進出人(rén)員(yuán)的(de)人(rén)臉。可(kě)采用(yòng)高(gāo)清的(de)人(rén)臉抓拍(pāi)機或者17年最新推出的(de)深眸雙目人(rén)臉識别設備。
n 臉譜服務器:臉譜服務器包括微視雲存儲系統,大(dà)數據服務器以及臉譜服務器。其中微視雲存儲系統可(kě)将前端抓拍(pāi)到的(de)人(rén)臉圖片進行存儲,建立人(rén)臉抓拍(pāi)庫。臉譜服務器可(kě)将人(rén)臉圖片進行建模,大(dà)數據服務器可(kě)進行人(rén)臉圖片的(de)比對(duì)以及結構化(huà)數據的(de)存儲。對(duì)抓拍(pāi)到的(de)人(rén)臉圖片與黑(hēi)名單庫進行比對(duì),輸出比對(duì)結果。
n 可(kě)疑人(rén)員(yuán)識别系統平台:對(duì)人(rén)臉圖片進行管理(lǐ),建立人(rén)臉信息數據庫,可(kě)按姓名、性别、相識度阈值等條件檢索。在系統中建立黑(hēi)名單庫,黑(hēi)名單庫可(kě)以按照(zhào)不同的(de)類型進行分(fēn)類,例如按照(zhào)公安通(tōng)緝人(rén)員(yuán),銀行不良記錄人(rén)員(yuán),上訪事件的(de)人(rén)員(yuán)等。如果匹配,平台産生報警,提醒網點安保人(rén)員(yuán)或者監控中心人(rén)員(yuán)及時(shí)處理(lǐ)。
2.4 系統功能
2.4.1 人(rén)臉抓拍(pāi)
在重點場(chǎng)所的(de)出入口位置部署的(de)人(rén)臉抓拍(pāi)機對(duì)過往的(de)人(rén)員(yuán)進行人(rén)臉抓拍(pāi),支持按樹形目标選擇抓拍(pāi)通(tōng)道,并同時(shí)查看一路或多(duō)路實時(shí)人(rén)臉圖片抓拍(pāi)。
支持查看抓拍(pāi)大(dà)圖,鼠标滾輪操作可(kě)進行縮放展示人(rén)臉的(de)結構化(huà)信息,并支持對(duì)背景圖及小圖的(de)下(xià)載。
在系統中導入與金融犯罪相關的(de)人(rén)員(yuán)信息:人(rén)臉、姓名以及犯罪的(de)類型等信息,建立金融犯罪人(rén)員(yuán)黑(hēi)名單。
并把人(rén)臉照(zhào)片、抓拍(pāi)地點、抓拍(pāi)時(shí)間等信息上傳到人(rén)臉管理(lǐ)平台進行統一存儲,建立重點場(chǎng)所的(de)人(rén)員(yuán)信息數據庫,以方便後期的(de)檢索與查詢。
圖2. 抓拍(pāi)圖片
圖3. 抓拍(pāi)大(dà)圖
2.4.2 黑(hēi)名單管理(lǐ)
對(duì)名單庫及庫内名單進行管理(lǐ)。支持用(yòng)戶新增、修改、删除名單庫,也(yě)可(kě)以對(duì)庫内名單進行新增、修改、删除等動作。
圖4. 黑(hēi)名單管理(lǐ)
2.4.3 人(rén)臉布控
支持添加、編輯、撤銷布控任務。可(kě)添加一條含布控名稱、布控對(duì)象、布控範圍(可(kě)地圖選點)、分(fēn)時(shí)段阈值、布控原因的(de)布控任務,并可(kě)通(tōng)過輸入關鍵字對(duì)人(rén)臉布控進行檢索。
圖5. 人(rén)臉布控
圖6. 布控信息編輯
2.4.4 人(rén)臉預警
支持抓拍(pāi)圖片與黑(hēi)名單庫的(de)實時(shí)比對(duì)。
支持預警接收的(de)設置,在預警設置裏,可(kě)選擇預警接收的(de)布控任務和(hé)布控範圍。
在最小化(huà)模式下(xià)或者切換到其他(tā)标簽,在右下(xià)角會有報警提示框顯示,并且有報警聲音(yīn)。
圖7. 黑(hēi)名單比對(duì)
支持報警詳細信息的(de)查看,包括抓拍(pāi)圖片信息和(hé)黑(hēi)名單圖像信息。點擊視頻(pín)回放可(kě)彈出播放器回放該人(rén)臉經過抓拍(pāi)機時(shí)的(de)錄像。
圖8. 比對(duì)詳情
2.4.5 人(rén)臉檢索
1) 人(rén)臉庫檢索
在系統中輸入待查詢的(de)人(rén)臉照(zhào)片,系統自動檢測出照(zhào)片中的(de)人(rén)臉信息并截取人(rén)臉,設置姓名、性别、相似度阈值和(hé)時(shí)間段等參數後在對(duì)應的(de)人(rén)員(yuán)信息庫内開始檢索,可(kě)得(de)到按照(zhào)相似度從高(gāo)到低排列的(de)黑(hēi)名單圖片,并在系統界面上顯示出來(lái),供使用(yòng)者對(duì)人(rén)員(yuán)信息進行快(kuài)速确認。
若有多(duō)個(gè)人(rén)臉需要比對(duì),則可(kě)靈活選擇需要比對(duì)的(de)人(rén)臉,按照(zhào)上述姓名、相似度等條件進行檢索。
2) 抓拍(pāi)庫檢索
檢索查詢抓拍(pāi)庫中的(de)抓拍(pāi)圖片信息,便于查找與黑(hēi)名單庫中的(de)黑(hēi)名單相似度高(gāo)的(de)抓拍(pāi)圖片。
支持對(duì)動态抓拍(pāi)庫、靜态名單庫的(de)人(rén)臉查詢。
支持按屬性檢索,如按時(shí)段、結構化(huà)信息(年齡段、性别、戴眼鏡、微笑(xiào)、高(gāo)危人(rén)群)、抓拍(pāi)範圍等條件,在抓拍(pāi)庫中快(kuài)速檢索出相似的(de)人(rén)臉圖片。。
支持地圖選點查詢。
查詢照(zhào)片支持原圖查看,詳細信息查看,前後視頻(pín)預覽。人(rén)臉圖像及相關結構化(huà)信息可(kě)導出成excel文件。
圖9. 人(rén)臉庫檢索
2.4.6 以臉搜臉
用(yòng)戶可(kě)以選擇某張人(rén)像圖片,在抓拍(pāi)庫或者靜态名單庫中尋找相似度高(gāo)的(de)人(rén)像圖片。系統根據相似度高(gāo)低來(lái)排序。
待比對(duì)的(de)圖片可(kě)以本地上傳,也(yě)可(kě)以是抓拍(pāi)圖片或者是靜态圖片。
支持同時(shí)采用(yòng)同一人(rén)員(yuán)的(de)多(duō)張照(zhào)片作爲檢索條件,在以圖搜圖的(de)結果中還(hái)可(kě)以一鍵快(kuài)捷選擇檢索結果中的(de)圖片作爲以臉搜臉的(de)檢索條件。
圖10. 以臉搜臉
2.4.1 1V1比對(duì)
用(yòng)戶可(kě)以選取兩張本地圖片做(zuò)對(duì)比,系統返回相似度。
圖11. 1V1比對(duì)
2.4.2 人(rén)臉查重
軟件平台可(kě)支持針對(duì)單個(gè)人(rén)員(yuán)庫或兩個(gè)人(rén)員(yuán)庫(人(rén)臉庫,非抓拍(pāi)庫)之間的(de)重複人(rén)員(yuán)查詢,并返回查重結果。在查重任務進行過程中,可(kě)查看任務狀态、相關信息等,并對(duì)已完成的(de)查重任務進行查看、删除等操作。
注:需要軟件平台支持,目前金融行業平台還(hái)未支持。
圖12. 新建查重
圖13. 查重比對(duì)
第 三 章(zhāng) 系統特點
3.1 關鍵技術說明(míng)
3.1.1 深度學習(xí)技術
深度學習(xí)是指機器通(tōng)過模拟人(rén)腦(nǎo)建立的(de)深度神經網絡,模仿人(rén)腦(nǎo)機制來(lái)進行學習(xí)、判斷、決策的(de)技術,目前已被廣泛應用(yòng)于人(rén)臉識别、語音(yīn)識别、筆記識别等領域。深度學習(xí)的(de)原理(lǐ)如下(xià)圖所示:
圖14. 深度學習(xí)原理(lǐ)示意圖
通(tōng)過深層神經網絡訓練出來(lái)的(de)人(rén)臉識别算(suàn)法能極大(dà)地提高(gāo)識别精度。簡而言之,就是讓已經在網絡結構中預設了(le)人(rén)臉識别先驗知識的(de)神經網絡,大(dà)量“閱讀”很多(duō)人(rén)在各種環境(例如光(guāng)照(zhào),視角,表情)下(xià)被拍(pāi)攝到的(de)不同人(rén)臉圖片,自動學習(xí)并提取人(rén)臉各個(gè)部位和(hé)尺度的(de)低、中、高(gāo)層特征,在大(dà)量學習(xí)之後,機器便能根據所提供的(de)樣闆信息區(qū)分(fēn)不同的(de)人(rén)員(yuán)。
3.1.2 人(rén)臉識别技術
人(rén)臉識别技術是基于生物(wù)特征的(de)識别方式,所謂生物(wù)特征識别,就是利用(yòng)人(rén)類自身擁有的(de)、并且能夠唯一标識其身份的(de)生理(lǐ)特征或者行爲特征進行身份驗證的(de)技術,一般包含人(rén)臉圖像采集、人(rén)臉圖像檢測、人(rén)臉圖像預處理(lǐ)、人(rén)臉圖像特征提取、人(rén)臉圖像匹配識别五部分(fēn):
1) 人(rén)臉圖像采集:基于人(rén)員(yuán)的(de)臉部特征,通(tōng)過前端攝像機采集含有人(rén)臉的(de)視頻(pín)或圖像;
2) 人(rén)臉圖像檢測:人(rén)臉圖像包含的(de)模式特征十分(fēn)豐富,如直方圖特征、顔色特征、模闆特征、結構特征及Haar特征等,人(rén)臉圖像檢測就是利用(yòng)這(zhè)些特征信息,對(duì)輸入的(de)視頻(pín)或圖像中的(de)人(rén)臉進行檢測,準确标定出人(rén)臉的(de)位置和(hé)大(dà)小;
3) 人(rén)臉圖像預處理(lǐ):基于人(rén)臉檢測結果,通(tōng)過智能算(suàn)法,對(duì)選出的(de)人(rén)臉圖像進行灰度校正、噪聲過濾等優化(huà),形成最優的(de)人(rén)臉圖像并服務于特征提取的(de)過程。人(rén)臉圖像預處理(lǐ)過程主要包括光(guāng)線補償、灰度變換、直方圖均衡化(huà)、歸一化(huà)、幾何校正、濾波等;
4) 人(rén)臉圖像特征提取:人(rén)臉識别可(kě)使用(yòng)的(de)特征通(tōng)常分(fēn)爲視覺特征、像素統計特征、人(rén)臉圖像變換系數特征、人(rén)臉圖像代數特征等。人(rén)臉圖像特征提取就是針對(duì)人(rén)臉的(de)某些特征進行的(de),一般采用(yòng)基于知識的(de)表征方法實現。基于知識的(de)表征方法主要是根據人(rén)臉器官的(de)形狀描述以及他(tā)們之間的(de)距離特性來(lái)獲得(de)有助于人(rén)臉分(fēn)類的(de)特征數據,其特征分(fēn)量通(tōng)常包括特征點間的(de)歐氏距離、曲率和(hé)角度等。人(rén)臉由眼睛、鼻子、嘴、下(xià)巴等局部構成,對(duì)這(zhè)些局部和(hé)它們之間結構關系的(de)幾何描述,可(kě)作爲識别人(rén)臉的(de)重要特征;
5) 人(rén)臉圖像匹配識别:人(rén)臉圖像匹配是指提取的(de)人(rén)臉圖像特征數據與數據庫中存儲的(de)特征模闆進行搜索匹配,通(tōng)過設定一個(gè)阈值,當相似度超過這(zhè)一阈值,則把匹配得(de)到的(de)結果輸出;人(rén)臉圖像識别就是将待識别的(de)人(rén)臉特征與得(de)到的(de)人(rén)臉特征模闆進行比較,根據相似度對(duì)人(rén)臉的(de)身份信息進行判斷。這(zhè)一過程又分(fēn)爲兩類:一類是确認,是一對(duì)一進行圖像比較的(de)過程,另一類是辨認,是一對(duì)多(duō)進行圖像匹配對(duì)比的(de)過程。
人(rén)臉識别技術如下(xià)圖所示:
圖15. 人(rén)臉識别技術示意圖
如上圖所示,人(rén)臉識别過程的(de)第一步是通(tōng)過前端采集設備獲取源圖像,通(tōng)過人(rén)臉檢測方法得(de)到有人(rén)臉的(de)圖像并對(duì)該圖像進行一定的(de)預處理(lǐ),如歸一化(huà)、小波分(fēn)解等,濾去外界的(de)部分(fēn)幹擾因素,如光(guāng)照(zhào)、飾物(wù)等,保留人(rén)臉最本質、對(duì)特征提取最有利的(de)部分(fēn);然後選定一種特征提取算(suàn)法對(duì)該預處理(lǐ)過的(de)圖像進行特征提取,最後根據與測試圖像的(de)比對(duì)來(lái)獲得(de)匹配的(de)結果。
人(rén)臉與人(rén)體的(de)其他(tā)生物(wù)特征(例如指紋、虹膜等)一樣與生俱來(lái),它的(de)唯一性和(hé)不易被複制的(de)良好特性能爲身份鑒别提供必要的(de)前提,與其它類型的(de)生物(wù)識别技術比較,人(rén)臉識别技術具有如下(xià)特點:
1) 非強制性:采集對(duì)象不需要專門配合人(rén)臉采集設備,幾乎可(kě)以在無意識的(de)狀态下(xià)就可(kě)獲取人(rén)臉圖像,這(zhè)樣的(de)取樣方式沒有“強制性”;
2) 非接觸性:采集對(duì)象不需要和(hé)設備直接接觸就能獲取人(rén)臉圖像;
3) 并發性:在實際應用(yòng)場(chǎng)景下(xià)可(kě)以進行多(duō)個(gè)人(rén)臉的(de)分(fēn)揀、判斷及識别。
3.2 産品介紹
Ø 臉譜服務器
圖16. 4U臉譜純分(fēn)析版
專業可(kě)靠
Ø 專業化(huà):專業嵌入式硬件設計,基于深度學習(xí)的(de)人(rén)臉分(fēn)析算(suàn)法;
Ø 智能化(huà):支持人(rén)臉識别建模、特征提取等智能分(fēn)析;
Ø 集群化(huà):支持集群部署,滿足負載均衡、動态擴容、故障轉移;
超高(gāo)性能
Ø 單台最大(dà)支持每秒200張人(rén)臉圖片分(fēn)析處理(lǐ);
Ø 支持30萬超大(dà)黑(hēi)名單庫;
Ø 單台最高(gāo)支持80對(duì)圖片同時(shí)進行1V1比對(duì);
Ø 支持3000萬張人(rén)臉圖片存儲,可(kě)擴展雲存儲、微視雲;
Ø 支持5億人(rén)臉數據;
智能功能
Ø 人(rén)臉建模:對(duì)圖片中的(de)人(rén)臉進行建模,可(kě)實現以臉搜臉功能;
Ø 人(rén)臉特征識别:支持性别、年齡段、是否戴眼鏡等特征識别;
Ø 黑(hēi)名單功能:支持黑(hēi)名單人(rén)臉布控報警;
Ø 1V1比對(duì)功能:支持兩張人(rén)臉圖片快(kuài)速精準比對(duì);
Ø 高(gāo)清人(rén)臉抓拍(pāi)機
圖17. 高(gāo)清人(rén)臉抓拍(pāi)機
l 200萬像素 1/1.8" 逐行掃描CMOS
l 超低照(zhào)度,彩色0.001Lux@(F1.2,AGC ON)黑(hēi)白0.0001Lux @(F1.2,AGC ON)
l 采用(yòng)H.264 High Profile編碼,最大(dà)可(kě)輸出Full HD 1920*1080@25fps實時(shí)圖像,超低延時(shí),超低碼率
l 支持雙碼流,采用(yòng)先進的(de)視頻(pín)壓縮技術H.264編碼,壓縮比高(gāo),且處理(lǐ)非常靈活,同時(shí)支持MJPEG編碼,抓拍(pāi)圖片采用(yòng)JPEG編碼,圖片質量可(kě)設
l 采用(yòng)ROI視頻(pín)壓縮技術,壓縮比高(gāo),處理(lǐ)靈活
l 支持SD/SDHC本地圖片存儲、自動覆蓋、自動上傳
l 支持人(rén)臉抓拍(pāi)及其相關功能
l 支持人(rén)臉抓拍(pāi)功能,可(kě)對(duì)經過設定區(qū)域的(de)行人(rén)進行人(rén)臉檢測和(hé)人(rén)臉跟蹤,當檢測到人(rén)臉後,可(kě)抓拍(pāi)人(rén)臉圖片,抓拍(pāi)圖片數量可(kě)設。
l 支持人(rén)臉區(qū)域自動曝光(guāng)功能,可(kě)根據外部場(chǎng)景和(hé)光(guāng)照(zhào)變化(huà)自動調節曝光(guāng)參數。
l 支持人(rén)員(yuán)特征顯示功能,可(kě)在客戶端軟件中顯示監視區(qū)域内人(rén)員(yuán)性别,年齡段和(hé)是否帶眼鏡。
l 支持人(rén)員(yuán)統計功能,可(kě)在web頁面中,按照(zhào)性别、年齡,時(shí)間段的(de)查詢,通(tōng)過餅圖、柱狀圖,折線圖的(de)方式展顯人(rén)員(yuán)統計類别結果。
l 視頻(pín)和(hé)抓拍(pāi)圖片獨立配置字符疊加功能
l 本地模拟輸出,方便安裝調節
l 支持寬動态功能
l 超強的(de)網絡功能,支持多(duō)種圖片上傳方式(雲存儲、FTP、海康SDK布防等)
l 支持硬件看門狗
l 支持配置文件導入導出
Ø 深眸雙目
圖18. 深眸雙目
專業智能
l 深眸雙目人(rén)臉攝像機由雙目攝像機與高(gāo)性能GPU模塊組成,内嵌深度學習(xí)算(suàn)法。
l 支持人(rén)臉抓拍(pāi)功能,可(kě)同時(shí)對(duì)30張人(rén)臉進行檢測、跟蹤及抓拍(pāi)。
l 支持人(rén)臉名單布控,輸出實時(shí)比對(duì)結果。
l 支持對(duì)性别、年齡、是否戴眼鏡等特征的(de)識别。
Smart功能
l Smart偵測:音(yīn)頻(pín)陡升/陡降偵測、虛焦偵測
l Smart錄像:支持斷網續傳功能保證錄像不丢失,配合Smart NVR/SD卡實現事件錄像的(de)智能後檢索、分(fēn)析和(hé)濃縮播放
l Smart編碼:支持低碼率、低延時(shí)、ROI感興趣區(qū)域增強編碼、SVC自适應編碼技術
圖像相關
l 支持HD1080p@30fps實時(shí)幀率,圖像更流暢
l 碼流平滑設置,适應不同場(chǎng)景下(xià)對(duì)圖像質量、流暢性的(de)不同要求
l 支持H.265/H.264/MJPEG視頻(pín)壓縮算(suàn)法,支持多(duō)級别視頻(pín)質量配置、H.264編碼複雜(zá)度Baseline/Main/High Profile
l 支持GBK字庫,支持更多(duō)漢字及生僻字疊加,支持OSD顔色自選
系統功能
l 支持ONVIF(profile S/profile G)、CGI、PSIA、ISAPI、GB/T28181和(hé)E家協議(yì)接入
l 支持防雷、防浪湧、防靜電
接口功能
l 支持标準的(de)128G 及以下(xià)Micro SD/SDHC/SDXC卡存儲
l 支持10M/100M自适應網口
安全服務
l 支持三級用(yòng)戶權限管理(lǐ),支持授權的(de)用(yòng)戶和(hé)密碼,支持IP地址過濾,支持匿名訪問
l 支持HTTPS,SSH等安全認證,支持創建證書(shū)
l 初始設備開機修改密碼,保障密碼安全
支持用(yòng)戶登錄鎖定機制