美林數(shù)據(jù)技術(shù)專家團隊|基于邊緣智能的作業(yè)現(xiàn)場安全落地實踐
2022-07-08 14:01:42
次
引言
隨著企業(yè)信息化、數(shù)字化、智能化進程的不斷推進，以人工智能為基礎的視頻智能識別分析，作用于施工作業(yè)現(xiàn)場人員的安全管控，成為一種更加精準、高效的方式。
傳統(tǒng)基于監(jiān)控的事后人工核查方式，存在時空覆蓋不全，易造成漏查、未查等問題，基于邊緣智能的視頻分析技術(shù)，借助邊緣計算設備，在監(jiān)控源頭提供近端智能分析服務，實現(xiàn)對違章行為的實時識別分析，智能化的解析出具體違章信息及人員信息，從而將視頻這種非結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，為后續(xù)決策分析提供基礎。本文結(jié)合某廠房作業(yè)現(xiàn)場安全場景，介紹基于邊緣智能的作業(yè)現(xiàn)場安全落地相關(guān)實踐。
整體框架概述
本次檢測識別模型包括安全帽檢測、安全帶檢測、抽煙檢測和人臉識別，基于邊緣硬件可對視頻流進行實時分析，智能識別現(xiàn)場違規(guī)行為，并將違規(guī)行為的結(jié)構(gòu)化信息和違規(guī)圖片，上傳至安全預警管控服務器進行存儲和展示，同時實現(xiàn)告警信息與現(xiàn)場告警喇叭的聯(lián)動，實現(xiàn)現(xiàn)場違規(guī)行為的實時告警，整體部署框架如下圖所示：
關(guān)鍵技術(shù)概述
由于廠房區(qū)域比較開闊及設備多樣，常規(guī)基于槍機的采集方法及通用模型檢測方式，會對模型檢測精度產(chǎn)生較大影響。在實際場景落地時，除了模型本身調(diào)優(yōu)之外，我們從PTZ跟蹤變焦、事件檢測和小目標檢測技術(shù)來保證模型檢測精度，同時配合模型調(diào)度來保證多模型并發(fā)執(zhí)行效率。
?PTZ跟蹤變焦
PTZ跟蹤變焦采用海康全結(jié)構(gòu)化雙800萬全局攝像頭實現(xiàn)，當全景攝像頭檢測到人員進入時，會啟動對人員的跟蹤，同時聯(lián)動球機變焦，對人員進行連續(xù)抓拍，示意如下：
另，對于場景中有多個對象時，會將跟蹤對象放入隊列中，通過輪詢的方式實現(xiàn)對多人的跟蹤抓拍。由于全景攝像頭和細節(jié)球機坐標系不同，而在后續(xù)檢測結(jié)果合并時，需要將檢測結(jié)果轉(zhuǎn)換到統(tǒng)一坐標中，因此需在獲取抓拍圖片時記錄相應的坐標信息。
通過跟蹤變焦，可以實現(xiàn)遠距離目標的清晰抓拍，為后續(xù)遠距離人臉識別、小目標抽煙檢測等檢測模型提供高質(zhì)量的數(shù)據(jù)，從數(shù)據(jù)層面來保證模型的檢測精度。
?事件檢測
事件檢測將傳統(tǒng)基于單幀的檢測方式轉(zhuǎn)換為基于多幀的決策，以減少模型誤判，保證模型的檢測精度。傳統(tǒng)單幀的檢測方式嚴重依賴模型的效果，一旦模型出現(xiàn)誤判，無法自我糾正；而基于多幀決策的方式，將多幀的結(jié)果進行匯總，并依據(jù)統(tǒng)計來判定是否為違規(guī)異常，從而大幅度較少模型的誤判，同時降低了模型學習優(yōu)化的難度。
事件檢測基于內(nèi)存數(shù)據(jù)庫實現(xiàn)對檢測結(jié)果的增刪改查，同時防止模型在檢測到異常時，不間斷觸發(fā)報警的情況，并可通過定時器來控制報警間隔。
小目標檢測基于兩階段檢測方式實現(xiàn)，以抽煙模型為例，示意如下：
基于兩階段的抽煙檢測流程，如上圖所示，第一階段采用基于Yolov4-tiny的手檢測模型，從整幅圖片中定位出手所在的區(qū)域，這樣可極大減少后續(xù)煙支檢測的計算量；第二階段，考慮到目標本身所包含的判別信息，采用語義分割模型來對煙支所在區(qū)域的像素進行區(qū)分，判斷是否有煙的存在，最終，完成抽煙的判定。通過這種方式，從流程上來保證模型的檢測精度。
?模型調(diào)度
模型調(diào)度采用TritonServer推理框架，其可以動態(tài)加載模型庫中的相關(guān)模型，實現(xiàn)多模型對GPU資源的調(diào)用和熱更新，客戶端通過HTTP方式實現(xiàn)模型服務的調(diào)用。本次落地后端實現(xiàn)框架包含TensorRT和C++，故借助其多后端支撐能力，實現(xiàn)基于C++backends擴展模型服務，從而實現(xiàn)多模型推理的部署調(diào)用，保證模型的服務能力。
綜上，針對作業(yè)現(xiàn)場安全管控，聚焦作業(yè)面積大、環(huán)境復雜、需實時告警等問題，借助PTZ變焦跟蹤、事件檢測、小目標檢測技術(shù)，從數(shù)據(jù)質(zhì)量、業(yè)務流程、檢測流程上來保障模型檢測精度，同時結(jié)合邊緣設備和TritonServer推理框架，實現(xiàn)邊緣端多模型服務部署，以支撐作業(yè)現(xiàn)場多攝像頭、多模型實時違章檢測。在保障現(xiàn)場安全的同時，將視頻這種非結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，為后續(xù)決策分析提供數(shù)據(jù)基礎。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林數(shù)據(jù)
美林新聞
陜公網(wǎng)安備 61019002000171號
