自1946年第一臺(tái)計(jì)算機(jī)誕生以來(lái)，僅僅半個(gè)多世紀(jì)，信息技術(shù)以它廣泛的影響和巨大的生命力風(fēng)靡全球，成為科技發(fā)展史上業(yè)績(jī)最輝煌、發(fā)展最迅速、對(duì)人類影響最廣和最深刻的科技領(lǐng)域。數(shù)年來(lái)，隨著互聯(lián)網(wǎng)和信息技術(shù)的同步發(fā)展，各行各業(yè)都積累了大量數(shù)據(jù)。據(jù)全球領(lǐng)先的信息技術(shù)研究和咨詢公司Gartner報(bào)告，驅(qū)動(dòng)大數(shù)據(jù)發(fā)展的重要因素主要來(lái)自兩個(gè)方面：一是消費(fèi)領(lǐng)域，如網(wǎng)購(gòu)及社交媒體應(yīng)用產(chǎn)生的大量數(shù)據(jù);另一方面來(lái)自城市基礎(chǔ)設(shè)施建設(shè)，安防便是其中之一。
多類型安防數(shù)據(jù)來(lái)襲
在安防行業(yè)，涉及的數(shù)據(jù)信息類型很多，以數(shù)據(jù)的結(jié)構(gòu)類型來(lái)看，包括了各類非結(jié)構(gòu)化、結(jié)構(gòu)化以及半結(jié)構(gòu)化信息。非結(jié)構(gòu)化數(shù)據(jù)主要指視頻錄像和圖片記錄，如監(jiān)控視頻錄像，報(bào)警錄像，摘要錄像，車輛卡口圖片，人臉抓拍圖片，報(bào)警抓拍圖片等;結(jié)構(gòu)化數(shù)據(jù)則包括報(bào)警記錄，系統(tǒng)日志記錄，運(yùn)維數(shù)據(jù)記錄，摘要分析結(jié)構(gòu)化描述記錄，以及各種相關(guān)的信息數(shù)據(jù)庫(kù)，如人口信息，地理數(shù)據(jù)信息，車駕管信息等;半結(jié)構(gòu)化數(shù)據(jù)則如人臉建模數(shù)據(jù)，指紋記錄等。
這些信息的來(lái)源有幾個(gè)渠道，一個(gè)是安防系統(tǒng)內(nèi)部產(chǎn)生的信息，如各種視頻錄像，抓拍圖片，系統(tǒng)運(yùn)維數(shù)據(jù)，日志記錄，摘要記錄等;另外一些則是通過(guò)外部系統(tǒng)采集或者集成，如人口信息，地理數(shù)據(jù)信息，人臉庫(kù)數(shù)據(jù)，車駕管數(shù)據(jù)等。這些數(shù)據(jù)作為一個(gè)整體，構(gòu)成了安防系統(tǒng)或者說(shuō)安防領(lǐng)域的大數(shù)據(jù)基礎(chǔ)，并且具有以下特征：最顯著的是安防數(shù)據(jù)體量巨大并不斷快速膨脹，隨著視頻監(jiān)控圖像系統(tǒng)的不斷聯(lián)網(wǎng)和整合，以及視頻分辨率和幀率的不斷提高，實(shí)時(shí)視頻數(shù)據(jù)的存儲(chǔ)已經(jīng)從TB的級(jí)別開始躍升到PB級(jí)別;其次，安防數(shù)據(jù)類型繁多，如上面提到的視頻、圖片、地理位置信息等等，而且隨著各類安防系統(tǒng)以及相關(guān)的信息系統(tǒng)的不斷整合，數(shù)據(jù)類型也會(huì)越來(lái)越多;另外，安防數(shù)據(jù)整體蘊(yùn)含的價(jià)值密度低，但是價(jià)值高。以視頻監(jiān)控?cái)?shù)據(jù)為例，在7*24小時(shí)連續(xù)不間斷監(jiān)控過(guò)程的中，可能有用的數(shù)據(jù)僅僅有一兩分鐘，甚至一兩秒。同時(shí)，這些信息更新頻率特別快，安防數(shù)據(jù)每時(shí)每刻都在大量的產(chǎn)生，信息每時(shí)每刻都在更新。
要從這些少量的信息里快速高效的篩選有效信息，安防廠商需要下面兩個(gè)基礎(chǔ)來(lái)保證：首先需要提升對(duì)非結(jié)構(gòu)化信息的處理能力和效率，準(zhǔn)確和快速地處理視頻圖像，人臉特征建模等數(shù)據(jù)，從里面提取出有用的信息，并且能夠進(jìn)行信息的某種表述，在大數(shù)據(jù)的存儲(chǔ)層面上完成數(shù)據(jù)信息的提取和存儲(chǔ)工作，以便進(jìn)行后續(xù)的數(shù)據(jù)信息檢索，分析和挖掘業(yè)務(wù)。其次，通過(guò)使用并且針對(duì)性的改進(jìn)目前的大數(shù)據(jù)處理技術(shù)以及平臺(tái)框架，提供針對(duì)安防數(shù)據(jù)信息的快速檢索機(jī)制，形成有針對(duì)性的海量安防數(shù)據(jù)信息處理架構(gòu)，從這些大量的結(jié)構(gòu)化和半結(jié)構(gòu)化信息中快速檢索和分析。
大數(shù)據(jù)在安防行業(yè)的應(yīng)用探索
安防數(shù)據(jù)目前仍以圖像視頻等非結(jié)構(gòu)化信息為主，所以在大數(shù)據(jù)的分析和處理上又有其特點(diǎn)，除了常規(guī)的信息檢索以外，安防行業(yè)更側(cè)重于圖形圖像的信息檢索;目前的IT大數(shù)據(jù)一般側(cè)重于分析和檢索文本類數(shù)據(jù)，因此，對(duì)于安防界來(lái)說(shuō)，安防界對(duì)于大數(shù)據(jù)的處理和分析工具主要有兩類，一類是對(duì)于視頻圖像等非結(jié)構(gòu)化信息的處理和分析工具，包括視頻智能分析工具，視頻摘要工具，圖像清晰化工具，視頻清晰化工具，視頻轉(zhuǎn)碼工具，視頻編輯工具等等。另一類則是對(duì)于結(jié)構(gòu)化，半結(jié)構(gòu)化信息的大數(shù)據(jù)分析處理工具，在這方面，安防界吸取了IT界在處理大數(shù)據(jù)方面的架構(gòu)和經(jīng)驗(yàn)，對(duì)于結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)可以實(shí)現(xiàn)快速和準(zhǔn)確的數(shù)據(jù)分析和挖掘。
縱觀整個(gè)安防領(lǐng)域，平安城市是規(guī)模最大、業(yè)務(wù)最復(fù)雜的龐大系統(tǒng)，涉及治安監(jiān)控、指揮通信、偵查破案、規(guī)范執(zhí)法、社會(huì)服務(wù)等多個(gè)分區(qū)領(lǐng)域，視頻接入規(guī)模從幾千到幾十萬(wàn)，隨著安防監(jiān)控對(duì)高清、智能、聯(lián)網(wǎng)的要求越來(lái)越高，各地平安城市項(xiàng)目每天產(chǎn)生的數(shù)據(jù)規(guī)模正以驚人的速度不斷增長(zhǎng)。
然而，大數(shù)據(jù)技術(shù)在安防各領(lǐng)域的應(yīng)用并不如在IT、互聯(lián)網(wǎng)行業(yè)那樣成熟，相關(guān)的信息碰撞和挖掘需求也尚未能形成模式。在日漸龐大的數(shù)據(jù)面前，如何做到對(duì)海量視頻數(shù)據(jù)的綜合應(yīng)用與精準(zhǔn)分析，正是平安城市大數(shù)據(jù)的痛點(diǎn)，也決定了它需要大數(shù)據(jù)技術(shù)予以支撐。在各類的平安城市建設(shè)項(xiàng)目中，依靠大數(shù)據(jù)分析技術(shù)，從海量視頻圖像中提取有效的安防信息，早已成為安防界共識(shí)。
面對(duì)大時(shí)據(jù)時(shí)代的來(lái)臨，在數(shù)據(jù)采集、匯聚、應(yīng)用領(lǐng)域持續(xù)探索，率先推出了業(yè)內(nèi)首套完整的公安圖像信息綜合應(yīng)用解決方案，方案基于圖像信息綜合應(yīng)用平臺(tái)以及相應(yīng)的管理與控制軟件，可將多種公安內(nèi)部及社會(huì)面圖像信息資源整合進(jìn)圖像資源庫(kù)，并對(duì)各部門、警種關(guān)注的音視頻圖像信息進(jìn)行整理、分類存儲(chǔ)，同時(shí)建立索引摘要，便于證據(jù)搜索與案件關(guān)聯(lián)分析，圖像資源庫(kù)還具備完善的查詢、信息比對(duì)、歸檔和存儲(chǔ)功能，并采取動(dòng)態(tài)管理方式，確保信息的及時(shí)、準(zhǔn)確、有效，以方便全省資源聯(lián)網(wǎng)共享。
在完成大量數(shù)據(jù)的收集與整理后，整個(gè)方案能夠?qū)崿F(xiàn)視頻數(shù)據(jù)資源調(diào)閱、智能分析應(yīng)用、網(wǎng)上督察、治安防控、智能交通、圖像偵查研判、信息報(bào)送、圖像資源庫(kù)等功能，進(jìn)一步挖掘海量視頻監(jiān)控?cái)?shù)據(jù)背后的價(jià)值信息，快速反饋信息輔助決策判斷。
以智能交通為例，智能卡口子系統(tǒng)將數(shù)據(jù)深度挖掘與分析技術(shù)引入傳統(tǒng)治安卡口中，植入數(shù)套車牌圖偵戰(zhàn)法，通過(guò)跟車關(guān)聯(lián)性分析、路徑關(guān)聯(lián)性分析、區(qū)域數(shù)據(jù)碰撞分析等數(shù)據(jù)挖掘功能和實(shí)戰(zhàn)應(yīng)用相結(jié)合，對(duì)卡口數(shù)據(jù)的分析尋找其中的規(guī)律性，縮小排查范圍、提高公安交警的預(yù)警能力和辦案效率。當(dāng)車輛連續(xù)通過(guò)多個(gè)路口時(shí)，系統(tǒng)可以在指定的時(shí)間范圍內(nèi)，根據(jù)車牌號(hào)碼及車牌顏色，在列表中按照時(shí)間先后順序顯示該車輛在此時(shí)間段內(nèi)的所有過(guò)車信息，并聯(lián)動(dòng)電子地圖呈現(xiàn)其行車軌跡，從而進(jìn)行行為自動(dòng)分析。
在公安辦案過(guò)程中，圖像偵查研判子系統(tǒng)因?yàn)樽屴k案民警從海量數(shù)據(jù)中得以解放，從而在公安行業(yè)倍受推崇。圖像偵查研判子系統(tǒng)按照?qǐng)D偵研判流程進(jìn)行數(shù)據(jù)信息流轉(zhuǎn)，多種智能圖像處理軟件對(duì)視頻圖像進(jìn)行統(tǒng)一轉(zhuǎn)碼、摘要處理、視頻剪輯、視頻特征提取、圖像清晰化處理，同時(shí)將戰(zhàn)法與流程有機(jī)結(jié)合，形成一整套的技戰(zhàn)法應(yīng)用，完成在不同情況下進(jìn)行案情的快速研判比對(duì)分析，讓民警在海量信息中智能定位到關(guān)鍵點(diǎn)，最大程度地優(yōu)化處理結(jié)果、縮短視頻分析時(shí)間，從而有效的減少人工查看視頻的時(shí)間，減少人力投入，以智能化推動(dòng)案件視頻分析更快發(fā)展，為案件的破獲提供重要的方法和依據(jù)。
大數(shù)據(jù)考驗(yàn)存儲(chǔ)能力
從目前大部分的安防系統(tǒng)架構(gòu)看，安防大數(shù)據(jù)的傳輸渠道主要是網(wǎng)絡(luò)，一般都采用聯(lián)網(wǎng)匯聚，分級(jí)存儲(chǔ)的機(jī)制，網(wǎng)絡(luò)一般為千兆網(wǎng)，存儲(chǔ)也以一般的磁盤陣列存儲(chǔ)為主。為了適應(yīng)安防信息整合，安防數(shù)據(jù)分析和信息挖掘的需求，安防系統(tǒng)逐步傾向于互聯(lián)、整合，而安防數(shù)據(jù)信息也逐漸的匯聚和集成，出現(xiàn)了萬(wàn)兆網(wǎng)絡(luò)集中匯聚管理，并且以云存儲(chǔ)作為視頻圖像數(shù)據(jù)存儲(chǔ)平臺(tái)的趨勢(shì)。目前，云存儲(chǔ)已成為安防大數(shù)據(jù)的核心技術(shù)，各廠商也在著力提升自己的研發(fā)能力。
與傳統(tǒng)的存儲(chǔ)設(shè)備相比，云存儲(chǔ)不僅僅是一個(gè)硬件，而是一個(gè)網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問(wèn)接口、接入網(wǎng)和客戶端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。云存儲(chǔ)可以提供類似于磁盤陣列的裸空間服務(wù)，也可以提供基于存儲(chǔ)的特定服務(wù)。例如云存儲(chǔ)在平安城市系統(tǒng)中可為多個(gè)子系統(tǒng)提供存儲(chǔ)服務(wù)，包括視頻監(jiān)控、卡口電警、圖像資源庫(kù)、圖偵分析研判等。其可完成日常視頻錄像資源、各個(gè)案件中所涉及的視頻和圖片等資源、卡口電警所產(chǎn)生的車輛抓拍圖片等資源的統(tǒng)一存儲(chǔ)。
從應(yīng)用架構(gòu)上看，云存儲(chǔ)系統(tǒng)與傳統(tǒng)分布式存儲(chǔ)系統(tǒng)差異并不明顯，其更本質(zhì)的區(qū)別其實(shí)體現(xiàn)在內(nèi)部軟件架構(gòu)上。云存儲(chǔ)系統(tǒng)采用大規(guī)模分布式并行文件系統(tǒng)，以大量的服務(wù)器和存儲(chǔ)設(shè)備為基礎(chǔ)，構(gòu)建一個(gè)大規(guī)模存儲(chǔ)集群，提供上百PB的存儲(chǔ)容量，并能夠在線進(jìn)行容量的擴(kuò)充，由此搭建的大容量存儲(chǔ)系統(tǒng)整體成本遠(yuǎn)低于傳統(tǒng)存儲(chǔ)架構(gòu)，并且具有良好的可擴(kuò)充性和靈活性。
云存儲(chǔ)系統(tǒng)通過(guò)元數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)分離的非對(duì)稱式架構(gòu)，通過(guò)負(fù)載均衡和數(shù)據(jù)并發(fā)訪問(wèn)策略，在普通硬件條件下獲得高達(dá)數(shù)十Gbps的傳輸速率以及上百PB級(jí)的存儲(chǔ)容量，并可根據(jù)用戶應(yīng)用發(fā)展的趨勢(shì)，適時(shí)按需進(jìn)行在線動(dòng)態(tài)擴(kuò)展。與單機(jī)的文件系統(tǒng)不同，分布式文件系統(tǒng)不是將這些數(shù)據(jù)放在一塊磁盤上由上層操作系統(tǒng)來(lái)管理，而是存放在一個(gè)服務(wù)器集群上，由集群中的服務(wù)器，各盡其責(zé)，通力合作，提供整個(gè)文件系統(tǒng)的服務(wù)。
云存儲(chǔ)系統(tǒng)內(nèi)置了基于對(duì)象數(shù)據(jù)管理策略，能夠保證在系統(tǒng)局部發(fā)生故障時(shí)數(shù)據(jù)的安全性和可靠性，徹底消除存儲(chǔ)系統(tǒng)中的單點(diǎn)故障，結(jié)合自動(dòng)故障探測(cè)和快速故障恢復(fù)技術(shù)，確保用戶的應(yīng)用持續(xù)穩(wěn)定地運(yùn)行，同時(shí)減少部署和管理的難度。以云存儲(chǔ)系統(tǒng)為例，傳統(tǒng)的存儲(chǔ)設(shè)備，通常用RAID方式進(jìn)行冗余備份，當(dāng)有硬盤損壞時(shí)，RAID重構(gòu)時(shí)間通常要十幾個(gè)小時(shí)，這期間如果再有硬盤壞掉，數(shù)據(jù)就無(wú)法恢復(fù)了，所以維護(hù)人員需要在第一時(shí)間趕到現(xiàn)場(chǎng)更換硬盤，7×24小時(shí)待命;云存儲(chǔ)采用分布式文件系統(tǒng)，數(shù)據(jù)的存儲(chǔ)和備份不再依賴單臺(tái)設(shè)備的能力，有硬盤壞掉時(shí)，其余的硬盤將自動(dòng)進(jìn)行重構(gòu)，恢復(fù)受損的數(shù)據(jù)，這只需要十幾分鐘的時(shí)間，維護(hù)人員只需要定期檢查硬盤的損壞情況，并更換新硬盤即可，維護(hù)非常簡(jiǎn)單。
機(jī)遇與挑戰(zhàn)并存
數(shù)據(jù)越發(fā)龐大，積累的商業(yè)信息越多，價(jià)值也就越大。以海量、多樣、快速為顯著特征的大數(shù)據(jù)，不像傳統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)那么易于管理和分析，它在為整個(gè)IT及通信行業(yè)帶來(lái)機(jī)遇的同時(shí)，也提出了更高的要求。
比如安全問(wèn)題，數(shù)據(jù)安全是整個(gè)IT行業(yè)內(nèi)的難題，在安防領(lǐng)域也不例外，IT領(lǐng)域碰到的安全威脅和各種各樣的破壞和攻擊，在安防領(lǐng)域同樣會(huì)遇到。而對(duì)于安防領(lǐng)域而言，數(shù)據(jù)量大，圖像信息蘊(yùn)含的信息量更多，而且還涉及到個(gè)人隱私，公共安全等問(wèn)題，所以，在系統(tǒng)安全方面更不容忽視，但設(shè)備商的相關(guān)技術(shù)與國(guó)家的法律規(guī)范不可能是一蹴而就的。
目前安防行業(yè)已經(jīng)一只腳邁入了大數(shù)據(jù)時(shí)代，但是還沒(méi)有完全進(jìn)入。之所以這么說(shuō)，是因?yàn)楫?dāng)前安防系統(tǒng)的數(shù)據(jù)量的確在不斷膨脹，高清視頻的出現(xiàn)，安防系統(tǒng)聯(lián)網(wǎng)和整合的不斷推進(jìn)，存儲(chǔ)技術(shù)和容量的提升，導(dǎo)致數(shù)據(jù)體量巨大，大數(shù)據(jù)的特征凸顯，這樣的安防系統(tǒng)注定將是一個(gè)大的數(shù)據(jù)集合體，但是，目前大量的視頻數(shù)據(jù)仍然是獨(dú)立的、零散的。視頻錄像數(shù)據(jù)散布在各個(gè)行業(yè)、單位獨(dú)立的系統(tǒng)中，沒(méi)有發(fā)揮達(dá)到真正的聯(lián)網(wǎng)、共享，業(yè)界也沒(méi)有形成對(duì)數(shù)據(jù)挖掘、利用的通用方法。
此外，在相關(guān)IT基礎(chǔ)設(shè)施，視頻圖像信息的智能分析和檢索，安防數(shù)據(jù)的組織管理、數(shù)據(jù)分析和挖掘算法的建模和實(shí)現(xiàn)，需要全面導(dǎo)入創(chuàng)新的技術(shù)。安防企業(yè)在做好安防系統(tǒng)和應(yīng)用的同時(shí)，需要加強(qiáng)內(nèi)功，提高研發(fā)能力，加強(qiáng)技術(shù)儲(chǔ)備，應(yīng)對(duì)更大數(shù)據(jù)量帶來(lái)的沖擊，提升對(duì)大數(shù)據(jù)的處理和利用能力，特別是目前最為迫切需要提升的視頻智能應(yīng)用、視頻智能分析的準(zhǔn)確度，這些都是安防行業(yè)在進(jìn)入大數(shù)據(jù)時(shí)代前需要解決的問(wèn)題。
