摘要:面向公共安全領(lǐng)域內(nèi)的視頻監(jiān)控系統(tǒng)主要應(yīng)對違法犯罪及社會管理等公共安全問題。傳統(tǒng)視頻監(jiān)控系統(tǒng)具有前端攝像機(jī)內(nèi)置計(jì)算資源較少、數(shù)據(jù)量較大、傳輸帶寬延遲較高、目標(biāo)跟蹤效率較低等不足,為此,需構(gòu)建基于邊緣計(jì)算的新型視頻監(jiān)控系統(tǒng)的軟硬件服務(wù)平臺。本文主要從針對視頻監(jiān)控的邊緣計(jì)算系統(tǒng)、基于邊緣計(jì)算的視頻監(jiān)控系統(tǒng)協(xié)同處理、基于邊緣計(jì)算的攝像機(jī)網(wǎng)絡(luò)目標(biāo)跟蹤以及基于邊緣計(jì)算的突發(fā)事件處理等方面來介紹邊緣計(jì)算在視頻監(jiān)控系統(tǒng)中的應(yīng)用及其優(yōu)勢。
1 背景介紹
視頻監(jiān)控系統(tǒng)主要用于視頻處理、目標(biāo)查詢和人員跟蹤等方面,并逐漸成為城市公共安全的重要保證。基于傳統(tǒng)視頻監(jiān)控系統(tǒng)前端攝像機(jī)所采集的視頻分辨率較高,視頻數(shù)據(jù)量較大,現(xiàn)有智能監(jiān)控系統(tǒng)的視頻處理能力不足,傳統(tǒng)云模式視頻監(jiān)控系統(tǒng)的計(jì)算和傳輸帶寬負(fù)載較重。
現(xiàn)有攝像機(jī)存在計(jì)算能力以及上傳數(shù)據(jù)的時(shí)延和帶寬等不足,造成目標(biāo)信息檢測漏檢較大和檢測效率低效等問題。此外,視覺目標(biāo)跟蹤通常是對攝取的圖像或視頻進(jìn)行分析計(jì)算,識別與跟蹤場景中的目標(biāo),如何構(gòu)建基于邊緣計(jì)算的多攝像機(jī)組成的攝像機(jī)網(wǎng)絡(luò),以實(shí)現(xiàn)監(jiān)控范圍大、全方位的監(jiān)控系統(tǒng),克服單攝像機(jī)容易受到復(fù)雜背景、光照變化等局限,成為監(jiān)控系統(tǒng)的研究熱點(diǎn)之一。
邊緣計(jì)算指從數(shù)據(jù)源到云計(jì)算中心數(shù)據(jù)路徑之間的任意計(jì)算資源和網(wǎng)絡(luò)資源,實(shí)現(xiàn)數(shù)據(jù)的就近處理方式。邊緣計(jì)算的基本理念是將計(jì)算任務(wù)在接近本地?cái)?shù)據(jù)源的計(jì)算資源上運(yùn)行 [1]。邊緣計(jì)算可以實(shí)現(xiàn)對視頻數(shù)據(jù)傳輸流過程中的本地化處理,為視頻監(jiān)控系統(tǒng)帶來低時(shí)延和高效資源利用性等優(yōu)點(diǎn),可以很好地用來解決現(xiàn)有視頻監(jiān)控系統(tǒng)所遇到的技術(shù)挑戰(zhàn)和問題。基于邊緣計(jì)算的新型視頻監(jiān)控系統(tǒng)較好地滿足了這些公共安全方面視頻數(shù)據(jù)處理實(shí)時(shí)性、完整性等需求。
本文主要闡述面向視頻監(jiān)控的邊緣計(jì)算系統(tǒng),本文提出邊緣計(jì)算在視頻監(jiān)控系統(tǒng)中的應(yīng)用及其優(yōu)勢,從面向視頻監(jiān)控的邊緣計(jì)算系統(tǒng)、基于邊緣計(jì)算的新型視頻監(jiān)控系統(tǒng)協(xié)同處理、基于邊緣計(jì)算的攝像機(jī)網(wǎng)絡(luò)目標(biāo)跟蹤以及基于邊緣計(jì)算的突發(fā)事件處理等方面來介紹。
2 面向視頻監(jiān)控邊緣計(jì)算系統(tǒng)
2.1 現(xiàn)有方法的問題
隨著城市規(guī)模擴(kuò)大所帶來的公共安全問題[2、3]越來越受到重視。傳統(tǒng)城市安全視頻監(jiān)控系統(tǒng)[4]前端攝像機(jī)內(nèi)置計(jì)算能力較低,以邊緣計(jì)算和萬物互聯(lián)技術(shù)為基礎(chǔ)的新型視頻監(jiān)控系統(tǒng)是未來發(fā)展趨勢。
2.2 智能邊緣視頻終端解決方案
針對海量視頻數(shù)據(jù),云計(jì)算中心服務(wù)器計(jì)算能力有限[5、6],為此:(1)構(gòu)建基于邊緣計(jì)算的視頻預(yù)處理技術(shù),去除視頻圖像冗余信息,使得部分或全部視頻分析遷移到邊緣處,由此降低對云中心的計(jì)算、存儲和網(wǎng)絡(luò)帶寬需求,提高視頻圖像分析的效率;(2)構(gòu)建基于行為感知的邊緣預(yù)處理功能,實(shí)現(xiàn)視頻數(shù)據(jù)彈性存儲。根據(jù)行為特征決策功能,實(shí)時(shí)調(diào)整視頻數(shù)據(jù),既減少無效視頻的存儲,降低存儲空間,又最大化存儲“事中”證據(jù)類視頻數(shù)據(jù),提高視頻數(shù)據(jù)存儲空間利用率。
如圖1所示,利用邊緣計(jì)算模型,將具有計(jì)算能力的硬件單元集成到原有的視頻監(jiān)控系統(tǒng)軟硬件平臺上,實(shí)現(xiàn)具有邊緣計(jì)算能力的新型視頻監(jiān)控系統(tǒng)。在邊緣計(jì)算模型中,計(jì)算通常發(fā)生在數(shù)據(jù)源的附近,即在視頻數(shù)據(jù)采集的邊緣端進(jìn)行視頻數(shù)據(jù)的處理。一方面,基于智能算法的預(yù)處理功能模塊,執(zhí)行模糊計(jì)算,對實(shí)時(shí)采集的視頻數(shù)據(jù)執(zhí)行部分或全部計(jì)算任務(wù),這能夠?yàn)閷?shí)時(shí)性要求較高的應(yīng)用請求提供及時(shí)的應(yīng)答服務(wù),Sun等人[7]提出基于邊緣計(jì)算的視頻監(jiān)控系統(tǒng)內(nèi)容可用性研究,內(nèi)容的可用性包括靜態(tài)故障及動態(tài)內(nèi)容兩個(gè)方面;另一方面,需要設(shè)計(jì)具有可伸縮的彈性存儲功能模塊,利用智能算法感知監(jiān)控場景內(nèi)行為變化,實(shí)現(xiàn)較高的空間存儲效率。
圖1 基于邊緣計(jì)算視頻監(jiān)控系統(tǒng)框圖
3 基于邊緣計(jì)算的視頻監(jiān)控系統(tǒng)協(xié)同處理
3.1 現(xiàn)有方法的問題
在目前的視頻監(jiān)控系統(tǒng)中,絕大多數(shù)攝像機(jī)并不具備車輛識別功能,通常只根據(jù)少量從高速公路等關(guān)鍵路口采集的車輛信息,來初步判斷車輛的路過時(shí)間,并以此為起始點(diǎn),人工搜索周邊攝像機(jī),該方法追蹤效率低下且無法達(dá)到實(shí)時(shí)跟蹤。此外,同時(shí)追蹤多路的視頻流,會加劇網(wǎng)絡(luò)的負(fù)擔(dān),導(dǎo)致延遲和丟包[8]。
3.2 安珀警報(bào)助手(A3)解決方案
邊緣計(jì)算將計(jì)算推至靠近數(shù)據(jù)本地端,進(jìn)而降低了數(shù)據(jù)傳輸和帶寬[1]。隨著一些車輛識別算法的成熟[9、10],使用普通攝像機(jī)的數(shù)據(jù)對車輛進(jìn)行實(shí)時(shí)的跟蹤,成為一種可能。如目前公共交通車輛[11](如出租攝像機(jī),家用車輛的行車記錄儀)。Zhang[12]等人因此提出了一種利用攝像機(jī)周邊的邊緣計(jì)算設(shè)備,安珀警報(bào)助手(A3)來實(shí)時(shí)追蹤車輛。
利用靜態(tài)和移動攝像機(jī)周邊的邊緣設(shè)備,安珀警報(bào)助手對攝像機(jī)的視頻數(shù)據(jù)進(jìn)行分析,實(shí)時(shí)跟蹤特定車輛的應(yīng)用。同時(shí),該應(yīng)用還可以自定義跟蹤策略,以優(yōu)化參與追蹤的節(jié)點(diǎn)數(shù)量,提升系統(tǒng)效率。
圖2是A3的系統(tǒng)結(jié)構(gòu)圖。整個(gè)系統(tǒng)主要基于煙花模型編程框架[13],根據(jù)功能將系統(tǒng)分為三種角色——任務(wù)發(fā)布者、任務(wù)接收者和數(shù)據(jù)處理節(jié)點(diǎn),其中任務(wù)發(fā)布者供警察使用以提供追蹤任務(wù)的管理,任務(wù)接收者用于接受任務(wù)、擴(kuò)散任務(wù)、獲取視頻流以及部分任務(wù)處理,而數(shù)據(jù)處理節(jié)點(diǎn)為一群和任務(wù)接收者相近的純計(jì)算節(jié)點(diǎn)。實(shí)驗(yàn)證明A3系統(tǒng)具有較好的易部署性、高效性和追蹤實(shí)時(shí)性。
圖2 安珀警報(bào)助Static Camera手(A3)系統(tǒng)結(jié)構(gòu)圖
4 基于邊緣計(jì)算下攝像機(jī)網(wǎng)絡(luò)目標(biāo)跟蹤
4.1 現(xiàn)有方法的問題
視覺目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要分支,其主要任務(wù)是通過對攝取的圖像或視頻進(jìn)行分析計(jì)算,達(dá)到對場景中的目標(biāo)進(jìn)行識別與跟蹤的目的。基于多個(gè)攝像機(jī) [14]組成的攝像機(jī)網(wǎng)絡(luò)在擴(kuò)大監(jiān)控范圍的同時(shí)也產(chǎn)生了海量視頻數(shù)據(jù),給視頻的傳輸、存儲以及實(shí)時(shí)目標(biāo)跟蹤應(yīng)用,帶來了極大挑戰(zhàn)。若將視頻都上傳云中心,云中心將面臨數(shù)據(jù)洪流的挑戰(zhàn) [15]。需就近對視頻進(jìn)行處理,而現(xiàn)有攝像機(jī)端計(jì)算資源不足。因此,需針對大規(guī)模攝像機(jī)網(wǎng)絡(luò),以降低通信負(fù)載、計(jì)算負(fù)擔(dān)和提高算法實(shí)時(shí)性為目標(biāo),提出適合大規(guī)模環(huán)境下目標(biāo)跟蹤的方案。
4.2 目標(biāo)跟蹤解決方案及實(shí)現(xiàn)
近來,邊緣計(jì)算模型為該類問題的解決提供了新的思路[1],將數(shù)據(jù)處理本地化,有利于解決較高傳輸代價(jià)、帶寬需求以及較長的響應(yīng)延遲,解決目前大規(guī)模實(shí)時(shí)跟蹤中的短板。如,當(dāng)選擇尋找或跟蹤一個(gè)目標(biāo)P,其初始位置可以通過常規(guī)的監(jiān)控信息得到(如報(bào)警信息),記為(Px, Py)。為了能實(shí)時(shí)不間斷地進(jìn)行目標(biāo)跟蹤,需要協(xié)調(diào)周圍其他攝像機(jī)參與跟蹤,故以(Px, Py)為中心,半徑為R的區(qū)域內(nèi)所有攝像機(jī)組成攝像機(jī)網(wǎng)絡(luò)。由于控制中心與目標(biāo)P之間存在傳輸和計(jì)算延遲,因此用RP作為補(bǔ)償半徑。值得注意的是,RP的值與目標(biāo)P的運(yùn)動速度成正比。 如果服務(wù)延遲越小,R P的值就越小,因此有必要將計(jì)算前置。在時(shí)刻k,形成的緊急監(jiān)控區(qū)域內(nèi),會涉及NC(k)個(gè)攝像機(jī)組成的網(wǎng)絡(luò),如圖3所示。
圖3 基于邊緣計(jì)算的攝像機(jī)網(wǎng)絡(luò)拓?fù)湟约斑吘壒?jié)點(diǎn)框圖
如圖3中的攝像機(jī),在采集端增加視頻處理的硬件單元,對采集到的視頻信息進(jìn)行復(fù)制,然后進(jìn)行預(yù)處理(比如目標(biāo)檢測),這部分工作使用目前已有算法進(jìn)行此項(xiàng)工作[16]。在得到目標(biāo)位置后,攝像機(jī)將有用的信息傳輸給其鄰居節(jié)點(diǎn),同時(shí)接收鄰居節(jié)點(diǎn)發(fā)送過來的信息,該節(jié)點(diǎn)將對接收到的信息和自身測得信息進(jìn)行信息融合,從而提取有用信息,再將融合后的信息發(fā)送給鄰居節(jié)點(diǎn)。在相鄰時(shí)刻內(nèi)完成多次類似的信息傳輸,就可以使得整個(gè)網(wǎng)絡(luò)信息達(dá)到一致[17]。因此,可以融合各個(gè)攝像機(jī)的信息用分布式的方式實(shí)現(xiàn)全局信息共享。最后使用狀態(tài)估計(jì)算法[18]組成魯棒的目標(biāo)跟蹤系統(tǒng)。
5 基于邊緣計(jì)算的突發(fā)事件處理
5.1 現(xiàn)有方法的問題
像Uber和滴滴打車等共享出行工具服務(wù)已經(jīng)受到大眾歡迎,并在日常生活中得到普遍應(yīng)用。如何能有效保障旅客和司機(jī)的安全仍然是安全出行所遇到挑戰(zhàn)。
共享汽車上主要存在兩種人身攻擊[19],司機(jī)被乘客攻擊或乘客被司機(jī)襲擊。為解決安全問題,滴滴公司采用臉部識別、行程共享、SOS呼叫等手段為行車駕駛提供安全保障[20]。現(xiàn)有主要的安全狀態(tài)判斷和檢測方案是在駕駛端采集[21],在云端判斷和檢測,然后將判斷結(jié)果反饋給駕駛終端,但其實(shí)時(shí)性較差,在大規(guī)模車載設(shè)備中,其運(yùn)行環(huán)境較不穩(wěn)定[22]、傳輸帶寬的延遲較大、不利于實(shí)時(shí)處理突發(fā)事件。
為此,Liu[19]等人提出了一種基于邊緣計(jì)算方法的共享出行服務(wù)的實(shí)時(shí)攻擊檢測框架SafeShareRide,該框架可以檢測危險(xiǎn)事件的發(fā)生,而且檢測效率實(shí)現(xiàn)了近乎實(shí)時(shí)性的效果。SafeShareRide主要由三個(gè)階段組成,語音識別檢測、駕駛行為檢測和視頻采集與分析。這三種階段所采用的算法是基于開源的算法架構(gòu),測試實(shí)驗(yàn)證明了SafeShareRide具有較好的適用性。
5.2 突發(fā)事件處理方案及實(shí)現(xiàn)
圖4 SafeShareRide架構(gòu)中三階段檢測時(shí)間序列
SafeShareRide架構(gòu)主要包括三個(gè)階段的處理。具體而言,第一階段使用語音識別的方法對車內(nèi)的聲音進(jìn)行判斷,主要關(guān)鍵詞有“幫助”或“大聲”等做判別。第二階段是駕駛行為的判斷。SafeShareRide可以從從車載診斷、智能手機(jī)的傳感器上收集駕駛數(shù)據(jù),根據(jù)車速的行駛速度、加速度和角速度等結(jié)果來檢測異常駕駛行為。第三個(gè)階段通過分析車載視頻數(shù)據(jù)以確定車內(nèi)是否有緊急情況。每次檢測開始的時(shí)候,前兩個(gè)階段獨(dú)立運(yùn)行,以檢測并捕捉車輛危險(xiǎn)情況。當(dāng)在前兩個(gè)階段檢測到攻擊時(shí),第三階段的視頻采集和分析功能將被觸發(fā),并將所獲取的車載視頻以及前兩個(gè)階段的檢測結(jié)果上傳到云或邊緣服務(wù)器。
總之,通過三個(gè)階段的安全性檢測,SafeShareRide可提供準(zhǔn)確性較高、視頻傳輸帶寬需求較低的高精準(zhǔn)突發(fā)事件檢測服務(wù)。
6 總結(jié)
視頻監(jiān)控系統(tǒng)在公共安全領(lǐng)域的應(yīng)用越來越受到重視,基于邊緣計(jì)算的新型視頻監(jiān)控系統(tǒng)為視頻數(shù)據(jù)處理增加了更高的計(jì)算能力、更低的傳輸延遲以及更精準(zhǔn)的處理能力。隨著邊緣計(jì)算系統(tǒng)架構(gòu)的發(fā)展和定制化功能的完善,邊緣計(jì)算能夠更好地推動新型視頻監(jiān)控系統(tǒng)在公共安全領(lǐng)域更好地應(yīng)用。
基金項(xiàng)目:安徽省重點(diǎn)研究與開發(fā)計(jì)劃項(xiàng)目(1704d0802193);國家自然科學(xué)基金(61802001);安徽大學(xué)2016年博士啟動經(jīng)費(fèi)項(xiàng)目(J01003214)
作者簡介:
施巍松(1974-),IEEE Fellow,美國韋恩州立大學(xué)計(jì)算機(jī)科學(xué)系教授,博士生導(dǎo)師,移動與互聯(lián)網(wǎng)系統(tǒng)結(jié)構(gòu)實(shí)驗(yàn)室主任,Intel Internet of Things 創(chuàng)新實(shí)驗(yàn)室主任。2013至2015年間任美國國家科學(xué)基金會(NSF)項(xiàng)目主任。全國百篇優(yōu)秀博士論文獲得者, 美國國家科學(xué)基金會杰出青年教授獎獲得者(NSF CAREER Award)。施巍松教授的研究興趣包括計(jì)算機(jī)系統(tǒng), 邊緣計(jì)算和可持續(xù)計(jì)算,在分布式共享存儲系統(tǒng),移動互聯(lián)網(wǎng)計(jì)算和高效能系統(tǒng)結(jié)構(gòu)等領(lǐng)域取得多項(xiàng)重要研究成果。他是邊緣計(jì)算這一研究領(lǐng)域的早期提出者之一和倡導(dǎo)者, 并長期致力于邊緣計(jì)算在工業(yè)界的推廣,是ACM/IEEE 國際邊緣計(jì)算大會(SEC)的創(chuàng)始人。
孫 輝(1983-),博士,講師,安徽大學(xué)先進(jìn)計(jì)算機(jī)系統(tǒng)研究所所長助理。研究興趣主要包括計(jì)算機(jī)系統(tǒng)、邊緣計(jì)算、基于GPGPU高性能數(shù)據(jù)處理、面向非易失介質(zhì)新型存儲系統(tǒng)。目前主持國家自然科學(xué)基金、安徽省自然科學(xué)基金、安徽省科技攻關(guān)項(xiàng)目、安徽省高校自然科學(xué)基金重點(diǎn)項(xiàng)目等8項(xiàng)。在IEEE Transaction on Computer, SEC, MASCOTS, IGSC等期刊或會議上發(fā)表文章近10篇。
陳彥明,博士,安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院講師。研究興趣主要包括邊緣計(jì)算、傳感器網(wǎng)絡(luò)、一致性算法。已發(fā)表論文10余篇,并公開專利6項(xiàng),IEEE Sensors Journal、IET Radar, Sonar & Navigation等SCI期刊審稿人。
參考文獻(xiàn):
[1] 施巍松, 孫輝, 曹杰, 張權(quán), 劉偉. 邊緣計(jì)算:萬物互聯(lián)時(shí)代新型計(jì)算模型[J] 計(jì)算機(jī)研究與發(fā)展, 2017, 54 (5) : 907 - 924.
[2]R.ty T D. Survey on Contemporary Remote Surveillance Systems for Public Safety[J]. IEEE Transactions on Systems Man & Cybernetics Part C, 2010, 40 (5) : 493 - 515.
[3]Kumbhar A, Koohifar F, Guvenc I, et al. A Survey on Legacy and Emerging Technologies for Public SafetyCommunications[J]. IEEE Communications Surveys & Tutorials, 2017, PP (99) : 1-1.
[4]Sergeant R G, Corbin S A, Jones T L, et al. Video surveillance system: US, US5517236[P]. 1996.
[5]Osuna A. IBM System Storage N series and Digital Video Surveillance[J]. Advanced Materials Research, 2010, 953 -954 : 1113 - 1116.
[6]J. Gantz and D. Reinsel. The digital universe in 2020: Big data, bigger digital shadows, and biggest growth in the fareast[R]. International Data Corporation, 2012.
[7]SunH,LiangX,ShiW. VU:videousefulnessanditsapplicationinlarge-scalevideosurveillancesystems:anearlyexperience[C] // SmartIoT Workshop. 2017.
[8]Botta A, De Donato W, Persico V, et al. Integration of cloud computing and internet of things: a survey[J]. Future Generation Computer Systems, 2016, 56 : 684 - 700.
[9]openalpr[EB/OL]. https: // github.com/openalpr / openalpr, 2018 - 09 - 02.
[10]liuruoze. EasyPR[EB / OL]. https: // github.com / liuruoze / EasyPR, 2018 - 09 - 02.
[11]簡明全.“透視”智能行車記錄儀市場[J]. 中國公共安全, 2016, 10 : 005.
[12]Zhang Q, Zhang Q, Shi W, et al. Distributed Collaborative Execution on the Edges and Its Application to AMBERAlerts[J]. IEEE Internet of Things Journal, 2018.
[13]Zhang Q, Zhang Q, Shi W, et al. Firework: Data processing and sharing for hybrid cloud-edge analytics[J]. IEEE Transactions on Parallel and Distributed Systems, 2018.
[14]黃凱奇, 陳曉棠, 康運(yùn)鋒, 譚鐵牛. 智能視頻監(jiān)控技術(shù)綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2015, 38 (6) : 1093 - 1118.
[15]Luke ic A, Vojír T, Zajc L C, Matas J, Kristan M. Discriminative Correlation Filter with Channel and SpatialReliability[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 4847 - 4856.
[16]P. F. Felzenszwalb, R. B. Girshick, D. McAllester, D. Ramanan. Object Detection with Discriminatively Trained Part -Based Models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32: 1627 - 1645.
[17]陳彥明, 趙清杰, 劉若宇. 一種適用于分布式攝像機(jī)網(wǎng)絡(luò)的SCIWCF算法[J]. 電子學(xué)報(bào), 2016, 44 (10) : 2335 - 2343.
[18]A. T. Kamal, J. A. Farrell, A. K. Roy-Chowdhury. Information weighted consensus filters and their application indistributed camera networks[J]. IEEE Transactions on Automatic Control, 2013, 58 : 3112 - 3125.
[19]Liangkai L., Xingzhou Z., Mu Q.et al. SafeShareRide: Edge-based Attack Detection in Ridesharing Services, [C]//USENIX Workshop on Hot Topics in Edge Computing (HotEdge 18), 2018
[20]滴滴出行通過必修課程提升駕駛員培訓(xùn)系統(tǒng)用戶體驗(yàn)[EB/OL]. https: // www.didiglobal.com/news / newsDetail?id=240&type=news, 2018-9-2.
[21]滴滴出行提升駕駛員和乘客安全框架[EB/OL].https://www.didiglobal.com/news/newsDetail?id=270&type=news, 2018-9-2
[22]HuiSY,KaiHY.Challengesinthemigrationto4Gmobilesystems[J].CommunicationsMagazineIEEE,2003,41(12):54-59.
摘自《自動化博覽》2018年增刊《邊緣計(jì)算2018專輯》