隨著視覺識別技術(shù)的不斷發(fā)展和應(yīng)用，大量應(yīng)用場景需要對重要設(shè)施和區(qū)域進(jìn)行異物侵入檢查，如軌道交通、輸變電所、鐵路沿線、機場跑道等，以避免財產(chǎn)損失或異物侵入造成的損壞。 人身安全傷害。

目前針對視頻圖像的異物侵入測量主要有兩種方法：

1）基于背景建模的運動目標(biāo)測量方法，典型方法包括：GMM、VIBE等。

2）基于機器學(xué)習(xí)的目標(biāo)測量方法，典型方法包括基于手動特征加滑動窗口分類的HOG-SVM，以及基于深度學(xué)習(xí)的端到端-RCNN和YOLO。

基于背景建模的運動目標(biāo)測量方法估計復(fù)雜度較低，但容易受到光影變化、風(fēng)草等環(huán)境噪聲的干擾。 雖然一些優(yōu)化算法在具體應(yīng)用中可以達(dá)到一定的改善噪聲抑制的效果，但其本質(zhì)上依賴于人工設(shè)計的特點，在復(fù)雜環(huán)境下仍然存在很多誤報。 為此，需要使用其他算法來進(jìn)一步判斷。 基于機器學(xué)習(xí)的方法是目前解決目標(biāo)測量問題的有力工具。 需要樣本訓(xùn)練，精度高但復(fù)雜度高。 在實際測量中，會存在樣本不平衡的問題。 人、車等常見物體樣本量足夠，而對于一些罕見異物（如金屬異物）甚至未知物體，樣本量很小，給分類帶來很大困難。 雖然目前先進(jìn)的少樣本或零樣本分類算法在常用數(shù)據(jù)集上的測試準(zhǔn)確率僅為68%，但距離實際應(yīng)用仍有相當(dāng)大的差距。

在實際應(yīng)用中，我們采用后臺建模與機器學(xué)習(xí)相結(jié)合的方式，分為粗檢和精檢兩部分。 粗檢測部分通過背景建模得到可疑目標(biāo)區(qū)域，然后利用基于運動軌跡的快速粗過濾算法得到候選區(qū)域。

快速粗過濾算法的原理是：正報警和誤報警目標(biāo)的運動特征存在明顯差異，通過軌跡跟蹤可以有效濾除誤報警。

精檢部分利用相似度比較算法過濾誤報，得到最終的報告目標(biāo)，然后對目標(biāo)進(jìn)行分類。

其中，相似度比較算法是通過設(shè)計輕量級神經(jīng)網(wǎng)絡(luò)來實現(xiàn)的。 目的是在高層語義上比較報告區(qū)域的前景和背景之間的相似性，并進(jìn)一步過濾掉噪聲引起的誤報。 在實際應(yīng)用中，該算法借助相似性比較網(wǎng)絡(luò)解決了直接使用分類器二次判別的缺點，使得算法更加通用，可以應(yīng)用于包括特殊對象在內(nèi)的情況。 相似度比較算法成功的原因在于訓(xùn)練樣本容易獲取，只需要運動區(qū)域的前景和背景，對目標(biāo)的類型沒有要求。 由于模型訓(xùn)練，網(wǎng)絡(luò)學(xué)習(xí)的是通用的前景-背景比較能力。

該算法已成功應(yīng)用于高鐵、軌道交通應(yīng)用場景。 其中，在軌道交通異物入侵場景的應(yīng)用中基于kalman濾波的目標(biāo)跟蹤，實際測試數(shù)據(jù)如下：

粗檢測部分提取的候選區(qū)域準(zhǔn)確率為91.5%，誤報率為0，抑制了99.0%的誤報，大大減少了深度學(xué)習(xí)部分的觸發(fā)次數(shù)。 通過集中檢查后，報告準(zhǔn)確率提升至99.5%，誤報率僅為1.05%，常見物體分類準(zhǔn)確率為91.8%。

1. 異物入侵檢測算法

異物入侵檢測算法框架

該算法分為兩部分：可疑目標(biāo)區(qū)域的初步測量和候選區(qū)域的精確測量。

1）背景建模目標(biāo)提取和粗過濾兩步

2）相似度比較和分類兩步

背景建模和分類算法可以使用經(jīng)典的GMM背景建模和具體項目中常用的分類網(wǎng)絡(luò)。 快速提取可疑目標(biāo)候選區(qū)域，然后使用算法的第二部分準(zhǔn)確過濾誤報并識別常見對象。

1.1 可疑目標(biāo)區(qū)域的初步測量

背景建模直接提取的運動目標(biāo)一般含有植被、光影等各種噪聲，是誤報的主要來源。 一般來說，在復(fù)雜的環(huán)境中，誤報的概率遠(yuǎn)高于正報的概率，比例可以高出數(shù)千倍。 快速有效地消除大多數(shù)誤報是初始檢查的目標(biāo)。 通過實際測試：報告目標(biāo)必須有一定的位移量。 基于此實驗結(jié)果，我們跟蹤背景建模提取的對象，并根據(jù)其運動軌跡進(jìn)行過濾。

追蹤工具采用SORT，這是一種簡單有效的在線追蹤算法。 它主要依靠目標(biāo)測量器和卡爾曼混合框架。 通過匹配將測量幀和預(yù)測幀與數(shù)據(jù)關(guān)聯(lián)起來，去除缺失目標(biāo)，然后更新模型。 如此循環(huán)重復(fù)。 得到其軌跡Straj={x1,x2,…,xN}，xt(t=1,2,…,N)為t時刻的運動狀態(tài)向量，可以通過卡爾曼混合器得到。

過濾不滿足以下條件的軌跡： IOU(boxN, pad(box1, r))≤<1NΣNt=1{‖vt‖<Vb(1) 其中boxt和vt是運動物體在分別為時間t。 幀數(shù)和速率，可以從xt中獲取。 pad(x,r)是邊界擴(kuò)展函數(shù)，意思是將圓x向周圍區(qū)域分別擴(kuò)展r個像素。 IOU(x, y) 表示估計圓 x 和 y 的交并比。 、Va、Vb、r 均為常數(shù)。

第一個約束條件是根據(jù)運動物體的位移特性制定的，這意味著報告目標(biāo)的當(dāng)前區(qū)域與其最初出現(xiàn)的區(qū)域的重合度必須大于。

第二個約束條件是指目標(biāo)的平均移動速度必須在Va和Vb之間，這是為了進(jìn)一步過濾異常移動的噪聲。

1.2 目標(biāo)候選區(qū)域的精確測量

初步檢測得到的目標(biāo)候選區(qū)域已經(jīng)比較可靠，可以抑制99%的誤報。 但由于誤報較多，正常入侵較少，誤報率較高。 準(zhǔn)確測量對象候選區(qū)域是鏈接的目標(biāo)。 精確測量的具體過程如右圖所示。 將目標(biāo)區(qū)域的前景和背景送至相似度比較網(wǎng)絡(luò)進(jìn)行裁決。 若判定結(jié)果相似，則視為誤報，直接過濾； 否則，視為正常入侵目標(biāo)，進(jìn)行報告提示，并發(fā)送至分類網(wǎng)絡(luò)進(jìn)行類別統(tǒng)計。 項目中的分類網(wǎng)絡(luò)可以嘗試一下。

精確測量

相似度比較網(wǎng)絡(luò)遵循當(dāng)前主流的端到端圖像塊匹配基本結(jié)構(gòu)。

首先通過第一級頻域網(wǎng)絡(luò)對圖像對進(jìn)行特征提取，然后將提取的特征拼接在一起，然后通過第二級網(wǎng)絡(luò)進(jìn)行決策，最后直接輸出相似度值。

特征提取：為了避免網(wǎng)絡(luò)過擬合，促進(jìn)收斂，借助主干網(wǎng)絡(luò)提取圖像的基本特征。

事實上，在實際應(yīng)用中，我們將背景建模與機器學(xué)習(xí)相結(jié)合基于kalman濾波的目標(biāo)跟蹤，提供了異物入侵檢查解決方案。 通過提出一種基于深度學(xué)習(xí)的相似度比較算法，解決了背景建模誤報率高和機器學(xué)習(xí)分類漏報率高的矛盾。 據(jù)悉，基于目標(biāo)運動軌跡的濾波算法的應(yīng)用，可以快速有效地濾除誤報，大幅降低深度學(xué)習(xí)算法的觸發(fā)頻率，降低算法的復(fù)雜度。

186信息網(wǎng)原創(chuàng)文章，轉(zhuǎn)載請注明本文來自：www.2wfjd54.cn