數字媒體技術艦船視頻處理系統(tǒng)研究

時間:2022-01-13 09:00:21

導語:數字媒體技術艦船視頻處理系統(tǒng)研究一文來源于網友上傳,不代表本站觀點,若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

數字媒體技術艦船視頻處理系統(tǒng)研究

摘要:當前的艦船視頻處理系統(tǒng)通過對視頻采用直接編解碼的方式來保證視頻質量,應用于高清大尺寸視頻處理時,存在效率低、傳輸丟包率高的缺陷。為優(yōu)化上述缺陷,將研究設計數字媒體技術艦船視頻處理系統(tǒng)。選用2片DSP和FPGA結合的方式,搭建處理系統(tǒng)硬件架構。對艦船視頻圖像預處理,確定視頻處理邊界。依據HEVC編碼標準,對艦船視頻進行壓縮編碼,降低系統(tǒng)存儲傳輸壓力,完成系統(tǒng)設計。系統(tǒng)測試結果表明,設計的系統(tǒng)丟包率低于2.4%,壓縮比大于100∶1,視頻處理耗時短,性能明顯提升。

關鍵詞:數字媒體技術;艦船視頻;視頻處理;系統(tǒng)設計;DSP;HEVC

艦船航行時搭載的各項設備會實時采集不同的視頻圖像,用以對艦船航行環(huán)境、搭載設備運行監(jiān)控、遠程信息交流等。由此,對艦船視頻處理系統(tǒng)的設計性能也提出了更高的要求。當前的視頻處理系統(tǒng)從視頻編碼角度處理視頻,雖然保證了視頻高清分辨率,但是無法滿足系統(tǒng)實時處理的要求[1]。在FPGA基礎上加入APU處理器能夠提升浮點操作造成的視頻失真,但是該系統(tǒng)對大量視頻同時處理時,效率低,存在較為明顯的缺陷[2]。根據上述分析內容,借助數字媒體技術的優(yōu)勢,設計了基于數字媒體技術的艦船視頻處理系統(tǒng),以提高艦船視頻處理的效率、降低處理視頻時對視頻質量的損壞程度,確保艦船視頻的正確傳輸與存儲。

1硬件部分設計

以DSP和FPGA為核心進行硬件設計,圖1為系統(tǒng)的整體框架。DSP處理器選用TMS320C6416芯片,該芯片的編解碼率為1080fps和多個接口,能夠以較低比特率處理視頻圖像。FPGA選用功耗低、I/O接口數量大的XC7K325T芯片[3]。DSP1的VP接口用以導入艦船視頻,由FPGA對視頻進行編解碼處理。編解碼后的視頻數據通過VP接口傳輸至DSP2中進行壓縮處理。DSP2將壓縮的視頻通過SATA接口傳輸至存儲模塊進行存儲。各模塊之間通過RS232接口通信,DSP處理器通過VPX總線與存儲器進行通信。

2軟件部分設計

2.1艦船視頻圖像預處理

艦船視頻采集器采集的視頻圖像在存儲前,需要進行預處理。按照RGB通道轉換格式,由AD轉換器將視頻圖像統(tǒng)一轉換為RGB格式。采用Sobel算子對視頻進行邊緣檢測,以確定視頻處理的邊界。Sobel算子在x,y方向的卷積模板,如下式:使用上述模板對艦船視頻每一幀圖像的x和y方向進行卷積運算:IxIyA式中,和分別為視頻圖像x和y兩個方向邊緣檢測的灰度值;為圖像亮度通道矩陣,最終的邊緣檢測矩陣的每個灰度值計算公式如下:由上式確定艦船視頻處理的邊緣后,以檢測邊緣為界,利用數字媒體技術壓縮艦船視頻。

2.2數字媒體技術壓縮艦船視頻

以數字媒體技術中的HEVC視頻編碼標準為依據,對艦船視頻進行壓縮處理。cs為降低視頻壓縮時,HEVC幀內預測的復雜度,本文將以拉格朗日率失真值為HEVC幀內預測模式的選擇標準。若壓縮時,預測進行重構的視頻塊為,其對應的原始視頻宏塊為,則該視頻塊的拉格朗日率失真值的計算公式如下。式中:M×N為原始視頻宏塊的大小。(i,j)為對應視頻圖像的像素點坐標。利用上述幀間預測結果去除視頻中的冗余信息后,生成原始視頻圖像像素值與預測壓縮重構后視頻圖像像素值之間的殘差。按照下式計算視頻圖像中真實視點像素值對應壓縮后的合成虛擬視點。C(x,y)kdcl(x1,y1)cr(x2,y2)式中:為壓縮后的合成虛擬視點;為左右真實視點與虛擬視點之間的距離比值;為視點的深度;和分別為左右視點的坐標。以視點像素為參考,對艦船視頻進行分層處理。按照HEVC熵編碼過程對幀內預測的殘差進行變換,輸出壓縮后的艦船視頻碼流,即得到壓縮后的艦船視頻。將視頻按照通信協議傳輸至存儲位置,實現一次艦船視頻處理全過程。按照以上分析內容,在系統(tǒng)軟件部分實現了利用數字媒體技術處理艦船視頻,以上文設計的系統(tǒng)硬件為架構支撐,完成了對數字媒體技術的艦船視頻處理系統(tǒng)的設計研究。

3系統(tǒng)測試

3.1測試內容

首先在開發(fā)環(huán)境下對系統(tǒng)軟件部分進行調試,確認在當前開發(fā)環(huán)境下系統(tǒng)各模塊功能正常后,對系統(tǒng)進行軟硬件聯合調試。將系統(tǒng)軟硬件聯合調試作為系統(tǒng)測試的第一環(huán)節(jié)。通過該環(huán)節(jié)的測試,來認證系統(tǒng)整體運行情況。系統(tǒng)測試的第二環(huán)節(jié)為對系統(tǒng)進行功能性對比測試,以對比的形式驗證系統(tǒng)是否在功能上實現優(yōu)化。選用基于APU+FPGA的視頻處理系統(tǒng)為對比,通過比較2個系統(tǒng)處理相同視頻時,系統(tǒng)處理視頻圖像的耗時、系統(tǒng)處理視頻圖像的壓縮比、以及傳輸處理視頻時的丟包率3個指標,綜合驗證系統(tǒng)的視頻處理系統(tǒng)的性能。

3.2測試結果及分析

圖2為系統(tǒng)在軟硬件聯合調試過程中,系統(tǒng)壓力測試結果。分析可知,隨著系統(tǒng)中處理視頻的線程數量增加,系統(tǒng)的平均響應時間增加。但是整體上系統(tǒng)的平均響應時間與系統(tǒng)處理線程的增長幅度之間的關系波動較為穩(wěn)定。同時系統(tǒng)處理的視頻無明顯失真情況出現,表明本文設計的系統(tǒng)具有較好的穩(wěn)定性。選用具有不同分辨率的視頻數據集作為系統(tǒng)功能對比性測試的測試集,分別使用本文系統(tǒng)和傳統(tǒng)系統(tǒng)對測試集中的視頻進行處理。圖3為2個系統(tǒng)處理視頻圖像時的耗時對比,圖中曲線分別代表系統(tǒng)處理視頻耗時、傳輸顯示視頻耗時情況。分析可知,本文系統(tǒng)的處理和傳輸顯示視頻的耗時要少于對比系統(tǒng)。并且隨著視頻尺寸的增加,對比系統(tǒng)的處理耗時增加幅度逐漸變大,而本文系統(tǒng)的處理耗時則以一種相對平穩(wěn)的狀態(tài)小幅度緩慢增加。從處理視頻的耗時來講,本文系統(tǒng)需要的時間更少,在對相同量視頻處理時,本文系統(tǒng)的效率更高。同時從傳輸視頻耗時來講,本文系統(tǒng)仍少于對比系統(tǒng),其主要原因在于本文系統(tǒng)對視頻處理時有效壓縮了視頻尺寸,減少了傳輸耗時,提高了系統(tǒng)的實時性。表1為2個系統(tǒng)對測試集中視頻進行處理時,系統(tǒng)的丟包率以及視頻的壓縮比數據。分析可知,對相同數量不同分辨率視頻進行處理時,本文系統(tǒng)的丟包率遠低于對比系統(tǒng);視頻分辨率相同、數量不同條件下,對比系統(tǒng)的丟包率隨著視頻數據的增加而增加,而本文系統(tǒng)的丟包率則整體保持在低于2.4%的情況。系統(tǒng)對于不同分辨率的視頻進行處理時,本文系統(tǒng)處理的所有視頻壓縮比均大于100∶1,而對比系統(tǒng)則相反。本文系統(tǒng)對視頻處理的壓縮比高于100∶1,表明系統(tǒng)節(jié)省了視頻存儲的空間,同時也降低了系統(tǒng)處理視頻實時傳輸時對通信通道的壓力。

4結語

視頻處理系統(tǒng)對于艦船自動化設備遠程監(jiān)控、目標識別等十分重要。隨著船舶自動化水平的提升,對于艦船視頻處理系統(tǒng)的要求也越來越高。針對當前視頻處理系統(tǒng)存在的問題,本文設計了數字媒體技術的艦船視頻處理系統(tǒng),利用數字媒體技術在DSP和FP-GA的硬件支撐下,提升了系統(tǒng)的性能。

作者:王禾 單位:浙江長征職業(yè)技術學院 計算機與信息技術系