從模擬到數(shù)字視頻的轉(zhuǎn)變?yōu)榘踩到y(tǒng)帶來了人們期盼已久的好處，主要就是數(shù)字壓縮技術(shù)可以傳輸和存儲(chǔ)更多的圖像數(shù)據(jù)。不過這使得價(jià)格有所上升。另外，數(shù)字視頻要求部署更多的攝像機(jī)，這就需要更多的人來監(jiān)視攝像機(jī)。通過視頻的存儲(chǔ)可以減少需要觀看的工作量，因?yàn)樵趬嚎s中所用的運(yùn)動(dòng)向量和檢測器可以用來濾除不重要的活動(dòng)。然而，因?yàn)檫\(yùn)動(dòng)向量和檢測器不提供所發(fā)生的相關(guān)信息，人們必須利用手動(dòng)的方式來捕獲視頻，以確定是否有值得關(guān)注的可疑活動(dòng)。
因此，出現(xiàn)了研發(fā)能夠大大增加監(jiān)控安全和視頻監(jiān)控的有效性的驅(qū)動(dòng)力。視頻內(nèi)容分析，即眾所周知的視頻分析，指的是在一系列視頻幀中識別大量的內(nèi)容，并使能夠在特定事件發(fā)生時(shí)發(fā)布告警，從而加速實(shí)時(shí)快速響應(yīng)。此外，VCA自動(dòng)搜索特定的內(nèi)容，從而將人們從繁重的觀看圖像中解放出來。這還將減少視頻監(jiān)控所需的人員的數(shù)量，進(jìn)而降低了成本。目前，VCA是一項(xiàng)新興的技術(shù)，在未來幾年，該技術(shù)將會(huì)持續(xù)發(fā)展，快速普及將是切實(shí)可行的。
一個(gè)確定性的事情是，要在巨量的視頻像素?cái)?shù)據(jù)中識別出感興趣的目標(biāo)，VCA需要大量的處理工作。此外，為了滿足各種不同的應(yīng)用，VCA系統(tǒng)應(yīng)該能夠可編程，可以接受不同的內(nèi)容，并能夠適應(yīng)不斷演進(jìn)的算法。最新的視頻處理器可以為壓縮，VCA以及數(shù)字視頻系統(tǒng)的其他需求提供優(yōu)異的性能和編程靈活性。而對處理器形成補(bǔ)充的軟件平臺和工具也幫助設(shè)計(jì)時(shí)簡化了安全監(jiān)控產(chǎn)品的開發(fā)。隨著VCA技術(shù)的發(fā)展，可以很容易地實(shí)現(xiàn)，因?yàn)樗璧募夹g(shù)目前都已經(jīng)出現(xiàn)了。
VCA工作流程
迄今為止，關(guān)于VCA還沒有相關(guān)的國際標(biāo)準(zhǔn)，不過普通的工作流程可以被描述為：
1. 一個(gè)較長的序列被分割成可供分析的單獨(dú)場景或短片。因?yàn)椴煌膱鼍熬哂胁煌闹狈綀D，或不同的色彩頻率分布，其直方圖相對于前面有突變的幀時(shí)可以被視為場景改變；
2. 改變場景內(nèi)的前景目標(biāo)被檢測為與背景分離；
3. 單獨(dú)的前景目標(biāo)被提取或者被分割，然后逐幀跟蹤。跟蹤包括檢測目標(biāo)的位置和速度，它可能不斷變化或臨時(shí)靜止；
4. 當(dāng)需要識別時(shí)，該目標(biāo)的特征被提取，以進(jìn)行分類；
5. 如果該事件某種程度上像關(guān)注的目標(biāo)，則向管理軟件和/或管理人員發(fā)布告警。
前景/背景檢測
期望VCA能夠檢測出變化或者可疑的活動(dòng)，相對于通常為靜止或者不關(guān)注的背景，這些活動(dòng)正在前景中變化。過去，對前景/背景檢測的運(yùn)算有限。而如今，高性能的數(shù)字信號處理器和視頻處理器使得更復(fù)雜的檢測算法的實(shí)現(xiàn)成為可能。通常，有兩種方法可實(shí)現(xiàn)前景/背景檢測：
1. 非自適應(yīng)方法：僅利用少量的幀且不保持背景模型；
2. 自適應(yīng)方法：保持隨時(shí)間不斷變化的背景模型。在自適應(yīng)VCA算法中，利用來自上述流程的2-4步的反饋被送出，用來更新和維持背景模型，然后又被用作為第1步的輸入。
非自適應(yīng)監(jiān)測
在最簡單的非自適應(yīng)方案中，從之前幀的各像素值中減去當(dāng)前幀對應(yīng)像素的數(shù)值，目的是確定絕對差值。然后將該像素絕對值與預(yù)定的門限進(jìn)行比較，該門限來自圖像生成器，代表對現(xiàn)場中的噪聲進(jìn)行補(bǔ)償后的0電平。如果該絕對值超過了門限，則相應(yīng)的像素屬于前景。反之，則屬于背景。如果多個(gè)前景像素連成整體則顯示兩個(gè)前后幀中的前景發(fā)生了改變。
圖中1蓋掉了背景，留下的僅是在當(dāng)前幀中顯示出運(yùn)動(dòng)車輛的前景像素，以及之前幀中的“重影”。
上述重影的存在意味著僅有兩幀可用于簡單運(yùn)動(dòng)檢測，而不需要目標(biāo)跟蹤和識別。除了重影圖像外，在前景中可能會(huì)誤識別其他像素噪聲。可以稍微增加一些運(yùn)算量，即在算法中引入一個(gè)額外的幀來改進(jìn)前景的圖像質(zhì)量。利用三個(gè)幀，確定當(dāng)前幀和前一幀之間每個(gè)像素間的絕對差(圖1A)，然后再確定當(dāng)前幀與下一幀的逐個(gè)像素的絕對差，于是，重影目標(biāo)就會(huì)出現(xiàn)在不同的位置上(圖1B)。如果兩個(gè)絕對差都超過了門限，則相應(yīng)的像素就屬于前景。反之屬于背景。1A和1B中的重影消失后，僅留下1C中的圖像，即為前景。
利用三個(gè)圖像幀，實(shí)現(xiàn)控制環(huán)境中的短期視頻目標(biāo)的跟蹤和識別是可能的。即便如此，非自適應(yīng)的解決方案也僅僅適用于高度監(jiān)管的、場景中沒有大變化的短期跟蹤應(yīng)用。當(dāng)場景或背景變化時(shí)，需要用手動(dòng)的方式重新初始化。否則，錯(cuò)誤將隨時(shí)間累積，導(dǎo)致不可信的結(jié)果。
自適應(yīng)檢測
由于非自適應(yīng)解決方案的限制，在VCA應(yīng)用中，目前正在實(shí)現(xiàn)自適應(yīng)的前景/背景檢測。自適應(yīng)檢測維持背景模型，通過對每兩個(gè)視頻幀中的數(shù)據(jù)進(jìn)行混合使得該模型連續(xù)更新。自適應(yīng)方案需要的處理量比非自適應(yīng)方案要多，背景模型中的復(fù)雜度也變高。在基本的自適應(yīng)方案中，算法從當(dāng)前視頻幀中按逐個(gè)像素減去背景模型，以便確定前景(這與非自適應(yīng)算法中的減去后續(xù)幀的做法相反)。得到的結(jié)果被反饋到模型中，使之自適應(yīng)即將發(fā)生的背景變化，而無需復(fù)位。該方案在目標(biāo)在不斷運(yùn)動(dòng)或者背景噪聲長時(shí)間存在的許多視頻監(jiān)控場景中都很有效。
更復(fù)雜的前景/背景檢測基于統(tǒng)計(jì)背景模型，在該模型中，指定幀中的每一個(gè)背景像素被建模成一個(gè)遵從高斯分布的隨機(jī)變量。每個(gè)像素的均值和標(biāo)準(zhǔn)方差隨時(shí)間變化，具體取決于每幀中的視頻數(shù)據(jù)。例如，如果在場景中包括河岸和一條河，落到水面上的光線將會(huì)使河面像素產(chǎn)生比相對沒有什么變化的河岸像素大得多的方差。通過與從背景模型中的相關(guān)像素的標(biāo)準(zhǔn)方差導(dǎo)出的門限比較來確定當(dāng)前幀中的像素是前景還是背景。換句話說，若要指定某個(gè)像素為前景，如果隨后有大的變化(河流)，則該像素應(yīng)該呈現(xiàn)一個(gè)與背景像素很大的差別，而如果背景像素的變化很小(河岸)，則該差別會(huì)很小。
當(dāng)場景中的不同區(qū)域的光條件或噪聲電平不同時(shí)，該解決方案最有效，因?yàn)槿绻O(shè)置一個(gè)僅考慮高噪聲電平的統(tǒng)一門限，當(dāng)目標(biāo)進(jìn)入到低噪聲區(qū)域(河岸)時(shí)就會(huì)消失。
目標(biāo)跟蹤/識別
在前景/背景檢測之后，生成一個(gè)掩膜圖(圖1C)。由于存在環(huán)境噪聲，單個(gè)目標(biāo)的所有部分將不會(huì)關(guān)聯(lián)在一起，故在將所有部分關(guān)聯(lián)成整體之前，需要進(jìn)行形態(tài)的擴(kuò)展計(jì)算增強(qiáng)過程。擴(kuò)展包括在掩膜圖上加一個(gè)網(wǎng)格，計(jì)算網(wǎng)格中每個(gè)區(qū)域中的前景像素?cái)?shù)量，然后計(jì)算每個(gè)區(qū)域中像素的剩余部分，該區(qū)域中的數(shù)量顯示哪些分離的目標(biāo)應(yīng)該被關(guān)聯(lián)到一起。
在擴(kuò)展和分量關(guān)聯(lián)后，為每個(gè)目標(biāo)提供一個(gè)包圍框，這是一個(gè)包括整個(gè)目標(biāo)(因?yàn)樗鼘⒊霈F(xiàn)在不同的幀中)的小矩形方塊，從而產(chǎn)生了圖2所示的分割。
跟蹤
跟蹤分割后的前景目標(biāo)包括三步：即預(yù)測在當(dāng)前幀中每個(gè)目標(biāo)應(yīng)該位于的地方，確定哪一個(gè)目標(biāo)與描述最匹配并矯正目標(biāo)運(yùn)動(dòng)軌跡，以用于下一幀的預(yù)測。第一步和第三步由遞歸式卡爾曼濾波器來實(shí)現(xiàn)。因?yàn)樵谝粋€(gè)幀中只能觀察目標(biāo)的位置，還需要利用矩陣運(yùn)算來快速計(jì)算其速度和下一個(gè)位置。開始時(shí)，濾波器被初始化到相對于背景模型的前景目標(biāo)的位置上。對于目標(biāo)被跟蹤的每一幀，濾波器預(yù)測下一幀中前景目標(biāo)的相對位置。當(dāng)場景進(jìn)入到下一幀時(shí)，該濾波器定位目標(biāo)并矯正其軌跡。
跟蹤中的第二步包括數(shù)據(jù)相關(guān)，根據(jù)目標(biāo)特征的相似性來確定目標(biāo)的相關(guān)性。目標(biāo)的大小，形狀和位置可以根據(jù)從一幀到下一幀中的包圍框和他們的交疊來確定。速度由卡爾曼濾波器來預(yù)測，利用直方圖以不同顏色來關(guān)聯(lián)不同的物體。不過，這些特征中的某個(gè)或者全部都會(huì)改變。
例如，考慮一輛駕駛室為紅色的白色卡車靠近街道旁邊的攝像機(jī)，進(jìn)入車道后，突然掉頭向相反方向開去。一系列場景中，該目標(biāo)的所有特征都發(fā)生了改變，包括大小，形狀，速度和顏色。軟件必須能夠快速調(diào)整來適應(yīng)這些突變，以便精確地識別出該車輛。另外，在跟蹤多個(gè)目標(biāo)時(shí)，軟件必須能區(qū)分出它們之間彼此不同的特征。
分類
跟蹤的復(fù)雜度導(dǎo)致了目標(biāo)分類方面的問題。例如，相對于人來說，系統(tǒng)發(fā)現(xiàn)某物體穿越攝像機(jī)前的警戒線時(shí)要容易得多。目標(biāo)的大小和速度可以為大致分類提供參考，但對于精細(xì)分類還需要提供更多的信息。一個(gè)大目標(biāo)具有更多的像素信息，但這對快速分類又太多了。這種情況下，為了實(shí)時(shí)響應(yīng)，需要采用一種尺寸減小技術(shù)，即使在后續(xù)的調(diào)查中將利用存儲(chǔ)的各幀中的所有像素信息。
有效的VCA實(shí)現(xiàn)還必須克服目標(biāo)分類以外的大量挑戰(zhàn)。其中包括由于黃昏、水面、云、風(fēng)中的樹木擺動(dòng)、雨、雪以及大霧所引起的各種變化；跟蹤穿越的目標(biāo)的軌跡，會(huì)引起每個(gè)前景像素的暫時(shí)合并，隨后又分離；還有在包括多個(gè)攝像機(jī)系統(tǒng)中逐幅地跟蹤目標(biāo)等。如何解決這些問題都還是VCA發(fā)展過程中的挑戰(zhàn)。
VCA系統(tǒng)設(shè)計(jì)
實(shí)現(xiàn)VCA和視頻編碼需要一個(gè)高性能的處理器和不同的部署。新解析技術(shù)的出現(xiàn)要求編程靈活性，這可以利用集成最高性能的處理器來解決，其中包括可編程DSP和RISC微處理器內(nèi)核以及視頻硬件協(xié)處理器。合適的處理器還需要集成高性能的通信外設(shè)和視頻信號鏈路來減少系統(tǒng)元器件和成本，例如德州儀器的基于DaVinci技術(shù)的TMS320DM644x處理器。
兩個(gè)DaVinci處理器可以提供處理高端VCA以及對每秒30幀(720p30 HD)，分辨率為720x1080的高清視頻(HD)源進(jìn)行編碼的性能。
進(jìn)行略微改進(jìn)，設(shè)計(jì)可以更改成一個(gè)卡和一個(gè)處理器的形式。能夠提供與兩個(gè)處理器相同的功能，不過只能處理中級的VCA和HD編碼。
采用這種將VCA集成到攝像機(jī)中的方案，可以提供魯棒的高效率網(wǎng)絡(luò)實(shí)現(xiàn)。VCA軟件也可以集成到用作為多個(gè)攝像機(jī)的中央單元的PC中。除了VCA自身的步驟外，在前景/背景檢測和其他解析步驟之前，還需要處理去交織的一些預(yù)處理步驟。為了識別目標(biāo)或其他目的，應(yīng)用軟件還會(huì)增加一些進(jìn)一步處理。上述的單處理器和雙處理器設(shè)計(jì)方案都能為這些額外的軟件功能提供預(yù)留空間。
VCA的升級
將前景目標(biāo)從背景中分離出來的自適應(yīng)方法，隨后的跟蹤目標(biāo)，如果需要，對可疑的活動(dòng)進(jìn)行分類等構(gòu)成了VCA的全部，這需要一個(gè)高級的實(shí)時(shí)處理運(yùn)算和自適應(yīng)能力?；贒SP的視頻處理器提供了VCA和視頻編碼所需的性能，加上能夠適應(yīng)應(yīng)用需求和技術(shù)中的可編程靈活性，將視頻安全監(jiān)控提升到了一個(gè)新層次。
