什么是視頻結構化解析系統(tǒng)?基于深度學習、大數(shù)據(jù)和云存儲的視頻結構化服務系統(tǒng)定位“海量監(jiān)控過濾網(wǎng)、網(wǎng)羅有價值信息”,作為視頻監(jiān)控系統(tǒng)的提檔升級手段,為用戶提供視頻、圖片、特征解析功能,實現(xiàn)從海量監(jiān)控圖像資源中提取有價值信息,過濾冗余數(shù)據(jù),形成視頻結構化數(shù)據(jù)積累,支撐政府實戰(zhàn)應用。
1、視頻結構化解析系統(tǒng)總體概述
結構化服務需要視頻云結構化中心支撐,中心是一個具備匯聚前端所有產(chǎn)生的視頻、圖片、結構化信息,同時能對視頻、圖片再一次進行信息識別,以做到視頻圖像內有價值信息的完全提取,并且能實現(xiàn)基于結構化數(shù)據(jù)的海量信息快速檢索,構建完整事件時間鏈能力的場所。可歸納為三類系統(tǒng):(1)解析類系統(tǒng),包含視頻結構化分析系統(tǒng)、視頻圖像智能處理工具集等;(2)存儲類系統(tǒng),包含海量視頻解析數(shù)據(jù)存儲庫、視頻圖像基礎資源庫、專題資源庫、索引庫等;(3)服務類系統(tǒng),包含視頻圖像解析中心管理系統(tǒng)、視頻大數(shù)據(jù)分析系統(tǒng)等。視頻云結構化組成如下圖所示,
?。?)視頻結構化分析系統(tǒng),利用視頻結構化描述技術、智能圖像分析技術,對實時視頻或離線錄像進行分析及處理,提取海量視頻中的人、車、活動目標等內容信息,將海量非結構化視頻、半結構化圖片“變成”有價值的結構化信息的系統(tǒng)。
?。?)視頻圖像智能處理工具集,包含視頻圖像采集工具、視頻圖像處理工具,用于離線錄像的快速采集及快速播放、涉事視頻的智能處理及單機分析、模糊圖像的清晰處理等的工具。
?。?)海量視頻解析數(shù)據(jù)存儲庫,用于存儲解析類系統(tǒng)自動分析得到的人、車、活動目標等要素的特征描述及結構化數(shù)據(jù)的數(shù)據(jù)庫。
(4)視頻圖像基礎資源庫,用于存儲解析類系統(tǒng)自動分析得到的人、車、活動目標等要素對應的圖片的數(shù)據(jù)庫。
(5)專題資源庫,用于存儲人工提取和現(xiàn)場采集、以及案事件研判過程中采集和標注的人員、車輛、案件等要素的視頻片段、圖像、特征描述等信息的數(shù)據(jù)庫。
?。?)索引庫,指存儲數(shù)據(jù)標簽與索引數(shù)據(jù)等可支持全文檢索等的資源數(shù)據(jù)庫。
(7)視頻大數(shù)據(jù)分析系統(tǒng),依托存儲類系統(tǒng)存儲的解析數(shù)據(jù)、基礎資源、專題資源等,提供結構化數(shù)據(jù)的快速檢索、比對、碰撞、分析等服務。
(8)視頻圖像解析中心管理系統(tǒng),是整個解析中心的管理系統(tǒng),用于集群管理、級聯(lián)管理、用戶管理、日志管理、運維管理等的系統(tǒng)。
2、關鍵技術
2.1、深度學習
深度學習是指機器通過模擬人腦建立的深度神經(jīng)網(wǎng)絡,模仿人腦機制來進行學習、判斷、決策的技術,目前已被廣泛應用于人臉識別、語音識別、筆記識別等領域。
通過深層神經(jīng)網(wǎng)絡訓練出來的人臉識別算法能極大地提高識別精度。簡而言之,就是讓已經(jīng)在網(wǎng)絡結構中預設了人臉識別先驗知識的神經(jīng)網(wǎng)絡,大量“閱讀”很多人在各種環(huán)境(例如光照,視角,表情)下被拍攝到的不同人臉圖片,自動學習并提取人臉各個部位和尺度的低、中、高層特征,在大量學習之后,機器便能根據(jù)所提供的樣板信息區(qū)分不同的人員。
如何準確地將視頻中人、車、物等的關注目標進行結構化描述?這與深度學習算法密不可分。針對人腦可以分析非結構化、半結構化視頻資源這一特性,科學家們對人腦的信息處理流程進行模擬,抽象出神經(jīng)網(wǎng)絡架構下的深度學習算法,實現(xiàn)視頻圖像結構化解析。深度學習通過構建模擬人腦進行分析學習的神經(jīng)網(wǎng)絡來模仿人腦的學習機制,從而識別和解釋非結構化或半結構化的視頻資源。
深度學習算法具有自動學習的特征,通過對大量的訓練數(shù)據(jù)的學習,不斷提高算法的準確度和效率。同時深度學習算法具有很強的泛化能力,即使同一類物體處于不同尺寸、不同視角、不同光照、遮擋等條件下也能準確識別。影響深度學習算法準確度和效率的最核心的兩個因素是:訓練數(shù)據(jù)的規(guī)模和算法模型的結構。其中算法模型采用的是最先進的模擬人腦構建的神經(jīng)網(wǎng)絡架構下的深度學習算法。
通過視頻圖像結構化技術,實現(xiàn)視頻智能分析和數(shù)據(jù)挖掘,讓視頻從人工抽檢向智能提取轉變,實現(xiàn)智慧化的信息提取、分析、應用,讓人從觀看視頻監(jiān)控勞動中解脫出來,進行高效、準確的視頻圖像實戰(zhàn)應用。
2.2、大數(shù)據(jù)技術
大數(shù)據(jù)技術是使大數(shù)據(jù)中所蘊含的價值得以挖掘和展現(xiàn)的一系列技術與方法,包括數(shù)據(jù)采集、預處理、存儲、分析挖掘、可視化等。在本系統(tǒng)中采用的大數(shù)據(jù)技術,是結合綜治視頻監(jiān)控業(yè)務的實際需求,基于分布式計算、大數(shù)據(jù)檢索等技術進行設計的,主要解決海量結構化、半結構化視頻資源的快速檢索、分析統(tǒng)計應用需求,并通過大數(shù)據(jù)的深度關聯(lián)分析,支撐綜治機關開展視頻圖像信息實戰(zhàn)應用。
(1)分布式計算技術
海量視頻資源通過本系統(tǒng)的結構化解析,形成海量結構化、半結構化有價值數(shù)據(jù)的積累,針對這些有價值的大數(shù)據(jù)進行快速檢索、分析統(tǒng)計需要巨大的計算能力,需要極大的成本的同時也極其耗時。分布式計算負責將一個需要非常巨大的計算能力才能解決的問題分成許多小的部分,然后把這些部分分配給許多計算機進行處理,最后把這些計算結果綜合起來得到最終的結果,節(jié)約計算成本的同時也提高處理效率。
?。?)大數(shù)據(jù)檢索技術
大數(shù)據(jù)檢索是針對大數(shù)據(jù)搜索業(yè)務需求而打造的一套搜索引擎,具有專業(yè)精準、高擴展性和高通用性的特點。全文檢索作為大數(shù)據(jù)檢索技術的實現(xiàn)與應用,能夠快速生成海量文件對應的索引數(shù)據(jù),同時對搜索引擎的配置管理進行人性化的定制,使全文檢索集群的管理、監(jiān)控與擴展都變得十分簡單,極大提高了系統(tǒng)的維護性與可用性。
2.3、云存儲技術
云存儲是在云計算(cloud computing)的概念上延伸和發(fā)展出來的一個新概念,是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能,應用存儲虛擬化技術將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng),也可將云存儲理解為是配置了大容量存儲設備的一個云計算系統(tǒng)。
系統(tǒng)針對綜治應用特點,采用面向業(yè)務的設計思路,融合集群化、虛擬化、離散存儲等技術,規(guī)劃圖片云存儲,可將網(wǎng)絡中大量各種不同類型的存儲設備集合起來協(xié)同工作,共同對外提供高性能、高可靠、不間斷的圖片存儲和業(yè)務訪問服務。
3、視頻結構化解析系統(tǒng)架構
視頻結構化解析系統(tǒng)依據(jù)“解析à存儲à應用”的設計思路進行設計,由視頻接入單元、視頻云分析系統(tǒng)、大數(shù)據(jù)云存儲系統(tǒng)、視頻結構化應用系統(tǒng)組成。視頻接入單元負責從視頻共享平臺/聯(lián)網(wǎng)平臺提取的原始實時視頻、錄像視頻及初步結構化的圖片數(shù)據(jù);視頻云分析系統(tǒng)將接入的視頻圖像進行結構化解析,提取出人、車的屬性特征;大數(shù)據(jù)云存儲系統(tǒng)包括視頻圖像基礎資源庫和解析數(shù)據(jù)資源庫,分別對視頻中提取的活動目標圖片、結構化數(shù)據(jù)及人體模型數(shù)據(jù)進行分類存儲;視頻結構化應用系統(tǒng)則提供視頻結構化應用功能,包括基礎視頻應用、基礎檢索應用、特色功能應用、系統(tǒng)管理功能,并對解析資源、用戶權限、系統(tǒng)日志進行管理。
4、視頻結構化解析系統(tǒng)邏輯架構
視頻結構化解析系統(tǒng)組成可歸納為六層:
?。?)接入層:通過視頻接入單元、視頻聯(lián)網(wǎng)單元、流媒體單元、存儲管理單元,從信息資源交換共享總平臺提取原始視頻圖像資源,包括實時視頻、歷史視頻、圖片數(shù)據(jù)。
(2)解析層:GPU視頻圖像解析單元將獲取的實時視頻、歷史視頻、圖片進行結構化解析,依據(jù)人車混和的活動目標、人員、車輛三種場景需求進行視頻圖像資源結構化解析,提取活動目標、人員、車輛的信息,包括圖片、結構化信息及人員模型。
?。?)數(shù)據(jù)層:包括視頻圖像基礎資源庫和解析數(shù)據(jù)資源庫,其中視頻圖像基礎資源庫用于存儲系統(tǒng)結構化解析后提取的人員、車輛等活動目標的圖片;解析數(shù)據(jù)資源庫用于存儲系統(tǒng)結構化解析得到的人員、車輛等活動目標的特征描述及結構化數(shù)據(jù),以及人員活動目標對應的模型數(shù)據(jù)。
(4)服務層:作為系統(tǒng)級功能組件,為系統(tǒng)的業(yè)務應用層提供通用的系統(tǒng)功能,包括中心管理服務、大數(shù)據(jù)服務、圖片存儲服務、解析服務、Metis地圖服務、數(shù)據(jù)庫服務、視頻聯(lián)網(wǎng)服務、接口服務等。
(5)應用層:即視頻結構化應用系統(tǒng),提供基礎功能、特色功能、系統(tǒng)管理功能等的視頻結構化應用功能,包括模糊檢索、條件提取、以人搜人、軌跡回放等,實現(xiàn)重點視頻圖像應用能力深化升級,提高城市綜合治理實戰(zhàn)能力。
?。?)用戶層:可為政府領導、綜治、公安、交通、應急、城管等各委辦局、區(qū)縣、社區(qū)鄉(xiāng)鎮(zhèn)街道等用戶提供視頻資源解析應用。
5、數(shù)據(jù)流程
視頻結構化解析系統(tǒng)的數(shù)據(jù)流程說明:
?。?)通過流媒體服務器、網(wǎng)關服務器、云存儲從視頻共享平臺/聯(lián)網(wǎng)平臺取視頻流到視頻結構化服務器;
?。?)視頻結構化服務器解析得到活動目標圖片、結構化數(shù)據(jù)、人體模型,分別存儲至云存儲、大數(shù)據(jù)服務器;
?。?)針對智能前端直存的活動目標圖片,可直接存到云存儲中,并通過圖片結構化服務器進行解析,得到活動目標的結構化數(shù)據(jù)和人體模型,并存儲至大數(shù)據(jù)服務器;
?。?)應用終端向管理服務器發(fā)起應用請求,如條件檢索、以人搜人請求,并將圖片提交到視頻結構化服務器;
?。?)管理服務器向視頻結構化服務器提交檢索圖片,視頻結構化服務器解析得到結構化數(shù)據(jù)、人體模型;
?。?)大數(shù)據(jù)服務器得到視頻結構化服務器的數(shù)據(jù),并向管理服務器反饋查詢請求結果;
?。?)應用終端查看結果圖片時,直接從云存儲調取關聯(lián)照片。
6、交互共享結構
視頻結構化解析系統(tǒng)與外部系統(tǒng)交互共享服務說明:
?。?)視頻結構化解析系統(tǒng)通過GB/T 28181標準對接視頻圖像信息資源交換共享總平臺,從中獲取視頻流,包括實時視頻和歷史錄像。
?。?)視頻結構化解析系統(tǒng)解析得到的車輛結構化描述信息將被推送至大數(shù)據(jù)服務系統(tǒng)。
?。?)視頻結構化解析系統(tǒng)的圖片數(shù)據(jù)、結構化數(shù)據(jù)可通過WebService或Kafka接口方式對接到綜治辦公共安全視頻圖像信息共享平臺。
(4)結構化相機可直接將圖片數(shù)據(jù)及結構化數(shù)據(jù)接入到系統(tǒng)中。