運(yùn)動(dòng)目標(biāo)檢測與跟蹤算法研究
視覺是人類感知自身周圍復(fù)雜環(huán)境最直接有效的手段之一，而在現(xiàn)實(shí)生活中
大量有意義的視覺信息都包含在運(yùn)動(dòng)中，人眼對(duì)運(yùn)動(dòng)的物體和目標(biāo)也更敏感，能夠快速的發(fā)現(xiàn)運(yùn)動(dòng)目標(biāo)，并對(duì)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測和描繪。隨著計(jì)算機(jī)技術(shù)、
通信技術(shù)、圖像處理技術(shù)的不斷發(fā)展，計(jì)算機(jī)視覺己成為目前的熱點(diǎn)研究問題之
一。而運(yùn)動(dòng)目標(biāo)檢測與跟蹤是計(jì)算機(jī)視覺研究的核心課題之一，融合了圖像處理、模式識(shí)別、人工智能、自動(dòng)控制、計(jì)算機(jī)等眾多領(lǐng)域的先進(jìn)技術(shù)，在軍事制導(dǎo)、視覺導(dǎo)航、視頻監(jiān)控、智能交通、醫(yī)療診斷、工業(yè)產(chǎn)品檢測等方面有著重要的實(shí)用價(jià)值和廣闊的發(fā)展前景。
1、國內(nèi)外研究現(xiàn)狀
1.1 運(yùn)動(dòng)目標(biāo)檢測
運(yùn)動(dòng)目標(biāo)檢測是指從序列圖像中將運(yùn)動(dòng)的前景目標(biāo)從背景圖像中提取出來。根據(jù)運(yùn)動(dòng)目標(biāo)與攝像機(jī)之間的關(guān)系，運(yùn)動(dòng)目標(biāo)檢測分為靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測和動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)
檢測。靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測是指攝像機(jī)在整個(gè)監(jiān)視過程中不發(fā)生移動(dòng)；動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測是指攝像機(jī)在監(jiān)視過程中發(fā)生了移動(dòng)，如平動(dòng)、旋轉(zhuǎn)或多自由度運(yùn)動(dòng)等。
靜態(tài)背景
靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測方法主要有以下幾種：
（1）背景差分法
背景差分法是目前最常用的一種目標(biāo)檢測方法，其基本思想就是首先獲得一個(gè)背景模型，然后將當(dāng)前幀與背景模型相減，如果像素差值大于某一閾值，則判斷此像素屬于運(yùn)動(dòng)目標(biāo)，否則屬于背景圖像。利用當(dāng)前圖像與背景圖像的差分來檢測運(yùn)動(dòng)區(qū)域，一般能夠提供比較完整的特征數(shù)據(jù)，但對(duì)于動(dòng)態(tài)場景的變化，如光照和外來無關(guān)事件的干擾等特別敏感。很多研究人員目前都致力于開發(fā)不同的背景模型，以減少動(dòng)態(tài)場景變化對(duì)運(yùn)動(dòng)目標(biāo)檢測的影響。背景模型的建立與更新、陰影的去除等對(duì)跟蹤結(jié)果的好壞至關(guān)重要。
背景差分法的實(shí)現(xiàn)簡單，在固定背景下能夠完整地精確、快速地分割出運(yùn)動(dòng)對(duì)象。不足之處是易受環(huán)境光線變化的影響，需要加入背景圖像更新機(jī)制，且只對(duì)背景已知的運(yùn)動(dòng)對(duì)象
檢測比較有效，不適用于攝像頭運(yùn)動(dòng)或者背景灰度變化很大的情況。
（2）幀間差分法
幀間差分法是在連續(xù)的圖像序列中兩個(gè)或三個(gè)相鄰幀間，采用基于像素的時(shí)間差分并閾值化來提取圖像中的運(yùn)動(dòng)區(qū)域。幀間差分法對(duì)動(dòng)態(tài)環(huán)境具有較強(qiáng)的自適應(yīng)性，但一般不能完全提取出所有相關(guān)的特征像素點(diǎn)，在運(yùn)動(dòng)實(shí)體內(nèi)部容易產(chǎn)生空洞現(xiàn)象。因此在相鄰幀間差分法的基礎(chǔ)上提出了對(duì)稱差分法，它是對(duì)圖像序列中每連續(xù)三幀圖像進(jìn)行對(duì)稱差分，檢測出目標(biāo)的運(yùn)動(dòng)范圍，同時(shí)利用上一幀分割出來的模板對(duì)檢測出來的目標(biāo)運(yùn)動(dòng)范圍進(jìn)行修正，從而能較好地檢測出中間幀運(yùn)動(dòng)目標(biāo)的形狀輪廓。
幀間差分法非常適合于動(dòng)態(tài)變化的環(huán)境，因?yàn)樗粚?duì)運(yùn)動(dòng)物體敏感。實(shí)際上它只檢測相對(duì)運(yùn)動(dòng)的物體，而且因兩幅圖像的時(shí)間間隔較短，差分圖像受光線
變化影響小，檢測有效而穩(wěn)定。該算法簡單、速度快，已得到廣泛應(yīng)用。雖然該
方法不能夠完整地分割運(yùn)動(dòng)對(duì)象，只能檢測出物體運(yùn)動(dòng)變化的區(qū)域，但所檢測出
的物體運(yùn)動(dòng)信息仍可用于進(jìn)一步的目標(biāo)分割。
（3）光流法
光流法就充分的利用了圖像自身所攜帶的信息。在空間中,運(yùn)動(dòng)可以用運(yùn)動(dòng)場描述,而在一個(gè)圖像平面上,物體的運(yùn)動(dòng)往往是通過圖像序列中圖像灰度分布的不同來體現(xiàn),從而使空間中的運(yùn)動(dòng)場轉(zhuǎn)移到圖像上就表示為光流場。所謂光流是指空間中物體被觀測面上的像素點(diǎn)運(yùn)動(dòng)產(chǎn)生的瞬時(shí)速度場，包含了物體表面結(jié)構(gòu)和動(dòng)態(tài)行為等重要信息。基于光流法的運(yùn)動(dòng)目標(biāo)檢測采用了運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性，由于光流不僅包含了被觀測物體的運(yùn)動(dòng)信息，還攜帶了物體運(yùn)動(dòng)和景物三位結(jié)構(gòu)的豐富信息。在比較理想的情況下,它能夠檢測獨(dú)立運(yùn)動(dòng)的對(duì)象,不需要預(yù)先知道場景的任何信息,可以很精確地計(jì)算出運(yùn)動(dòng)物體的速度,并且可用于動(dòng)態(tài)場景的情況。但是大多數(shù)光流方法的計(jì)算相當(dāng)復(fù)雜,對(duì)硬件要求比較高,不適于實(shí)時(shí)處理,而且對(duì)噪聲比較敏感,抗噪性差。并且由于遮擋、多光源、透明性及噪聲等原因，使得光流場基本方程——灰度守恒的假設(shè)條件無法滿足，不能正確求出光流場，計(jì)算方也相當(dāng)復(fù)雜，計(jì)算量巨大，不能滿足實(shí)時(shí)的要求。
動(dòng)態(tài)背景
動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測由于存在著目標(biāo)與攝像機(jī)之間復(fù)雜的相對(duì)運(yùn)動(dòng)，檢測方法要比
靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測方法復(fù)雜。常用的檢測方法有匹配法、光流法以及全局運(yùn)動(dòng)估計(jì)法等。
2、運(yùn)動(dòng)目標(biāo)跟蹤
運(yùn)動(dòng)目標(biāo)跟蹤是確定同一物體在圖像序列的不同幀中的位置的過程。近年來出現(xiàn)了大批運(yùn)動(dòng)目標(biāo)跟蹤方法，許多文獻(xiàn)對(duì)這些方法進(jìn)行了分類介紹，可將目標(biāo)跟蹤方法分為四類：基于區(qū)域的跟蹤、基于特征的跟蹤、基于活動(dòng)輪廓的跟蹤、基于模型的跟蹤，這種分類方法概括了目前大多數(shù)跟蹤方法，下面用這種分類方法對(duì)目前的跟蹤方法進(jìn)行概括介紹。
(1)基于區(qū)域的跟蹤
基于區(qū)域的跟蹤方法基本思想是：首先通過圖像分割或預(yù)先人為確定提取包含目標(biāo)區(qū)域的模板，并設(shè)定一個(gè)相似性度量，然后在序列圖像中搜索目標(biāo)，把度量取極值時(shí)對(duì)應(yīng)的區(qū)域作為對(duì)應(yīng)幀中的目標(biāo)區(qū)域。由于提取的目標(biāo)模板包含了較完整的目標(biāo)信息，該方法在目標(biāo)未被遮擋時(shí)，跟蹤精度非常高，跟蹤非常穩(wěn)定，但通常比較耗時(shí)，特別是當(dāng)目標(biāo)區(qū)域較大時(shí)，因此一般應(yīng)用于跟蹤較小的目標(biāo)或?qū)Ρ榷容^差的目標(biāo)。該方法還可以和多種預(yù)測算法
結(jié)合使用，如卡爾曼預(yù)測、粒子預(yù)測等，以估計(jì)每幀圖像中目標(biāo)的位置。近年來，對(duì)基于區(qū)域的跟蹤方法關(guān)注較多的是如何處理運(yùn)動(dòng)目標(biāo)姿態(tài)變化引起的模板變化時(shí)的情況以及目標(biāo)被嚴(yán)重遮擋時(shí)的情況。
(2)基于特征的跟蹤
基于特征的跟蹤方法基本思想是：首先提取目標(biāo)的某個(gè)或某些局部特征，然后利用某種匹配算法在圖像序列中進(jìn)行特征匹配，從而實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。該方法的優(yōu)點(diǎn)是即使目標(biāo)部分被遮擋，只要還有一部分特征可以被看到，就可以完成跟蹤任務(wù)，另外，該方法還可與卡爾曼濾波器結(jié)合使用，實(shí)時(shí)性較好，因此常用于復(fù)雜場景下對(duì)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)、魯棒跟蹤。用于跟蹤的特征很多，如角點(diǎn)邊緣、形狀、紋理、顏色等，如何從眾多的特征中選取最具區(qū)分性、最穩(wěn)定的特征是基于特征的跟蹤方法的關(guān)鍵和難點(diǎn)所在。
(3)基于活動(dòng)輪廓的跟蹤
基于活動(dòng)輪廓的跟蹤方法基本思想是：利用封閉的曲線輪廓表達(dá)運(yùn)動(dòng)目標(biāo)，結(jié)合圖像特征、曲線輪廓構(gòu)造能量函數(shù)，通過求解極小化能量實(shí)現(xiàn)曲線輪廓的自動(dòng)連續(xù)更新，從而實(shí)
現(xiàn)對(duì)目標(biāo)的跟蹤。自Kass在1987年提出Snake模型以來，基于活動(dòng)輪廓的方法就開始廣泛應(yīng)用于目標(biāo)跟蹤領(lǐng)域。相對(duì)于基于區(qū)域的跟蹤方法，輪廓表達(dá)有減少復(fù)雜度的優(yōu)點(diǎn)，而且在目標(biāo)被部分遮擋的情況下也能連續(xù)的進(jìn)行跟蹤，但是該方法的跟蹤結(jié)果受初始化影響較大，對(duì)噪聲也較為敏感。
(4)基于模型的跟蹤
基于模型的跟蹤方法基本思想是：首先通過一定的先驗(yàn)知識(shí)對(duì)所跟蹤目標(biāo)建立模型，然后通過匹配跟蹤目標(biāo)，并進(jìn)行模型的實(shí)時(shí)更新。通常利用測量、CAD工具和計(jì)算機(jī)視覺技術(shù)建立模型。主要有三種形式的模型，即線圖模型、二維輪廓模型和三維立體模型口61，應(yīng)用較多的是運(yùn)動(dòng)目標(biāo)的三維立體模型，尤其是對(duì)剛體目標(biāo)如汽車的跟蹤。該方法的優(yōu)點(diǎn)是可以精確分析目標(biāo)的運(yùn)動(dòng)軌跡，即使在目標(biāo)姿態(tài)變化和部分遮擋的情況下也能夠可靠的跟蹤，但跟蹤精度取決于模型的精度，而在現(xiàn)實(shí)生活中要獲得所有運(yùn)動(dòng)目標(biāo)的精確模型是非常困難的。
目標(biāo)檢測算法，至今已提出了數(shù)千種各種類型的算法，而且每年都有上百篇相關(guān)的研究論文或報(bào)告發(fā)表。盡管人們在目標(biāo)檢測或圖像分割等方面做了許多研究，現(xiàn)己提出的分割算
法大都是針對(duì)具體問題的，并沒有一種適合于所有情況的通用算法。目前，比較經(jīng)典的運(yùn)動(dòng)目標(biāo)檢測算法有：雙幀差分法、三幀差分法(對(duì)稱差分法)、背景差法、光流法等方法，這些方法之間并不是完全獨(dú)立，而是可以相互交融的。
目標(biāo)跟蹤的主要目的就是要建立目標(biāo)運(yùn)動(dòng)的時(shí)域模型，其算法的優(yōu)劣直接影響著運(yùn)動(dòng)目標(biāo)跟蹤的穩(wěn)定性和精確度，雖然對(duì)運(yùn)動(dòng)目標(biāo)跟蹤理論的研究已經(jīng)進(jìn)行了很多年，但至今它仍然是計(jì)算機(jī)視覺等領(lǐng)域的研究熱點(diǎn)問題之一。研究一種魯棒性好、精確、高性能的運(yùn)動(dòng)目標(biāo)跟蹤方法依然是該研究領(lǐng)域所面臨的一個(gè)巨大挑戰(zhàn)。基于此目的，系統(tǒng)必須對(duì)每個(gè)獨(dú)立的目標(biāo)進(jìn)行持續(xù)的跟蹤。為了實(shí)現(xiàn)對(duì)復(fù)雜環(huán)境中運(yùn)動(dòng)目標(biāo)快速、穩(wěn)定的跟蹤，人們提出了眾多算法，但先前的許多算法都是針對(duì)剛體目標(biāo)，或是將形變較小的非剛體近似為剛體目標(biāo)進(jìn)行跟蹤，因而這些算法難以實(shí)現(xiàn)對(duì)形狀變化較大的非剛體目標(biāo)的正確跟蹤。根據(jù)跟蹤算法所用的預(yù)測技術(shù)來劃分，目前主要的跟蹤算法有：基于均值漂移的方法、基于遺傳算法的方法、基于Kalman濾波器的方法、基于Monto Carlo的方法以及多假設(shè)跟蹤的方法等。
