發布日期：2022-04-26 點擊率：57
【導讀】隨著網絡技術的到來，寬帶無線網絡給音視頻等大數據量傳輸業務的發展提供了發展的平臺。對于音視頻的感官特性方面的更新，也隨著市場應用的更迭變得尤為迫切。無線多媒體成為通信領域的焦點，起源于無線多媒體是移動通信與多媒體的結合體。本文中的設計方案采用Linux操作系統，能夠使系統更具有穩定性和實時性。系統把ARM11作為核心處理器，編譯碼則采用新一代視頻編解碼標準H.264，通過無線網絡傳輸音視頻。設計中還采用了性價比較高的S3C6410微處理器內部集成的多媒體編解碼器。此次設計可以在視頻電話和遠程監控等領域推廣。
一、系統總體方案設計
通信雙方系統中音頻和視頻采集模塊負責采集模擬信號，并將采集到的音視頻數據送到音視頻管理模塊，經過壓縮處理，再加上數據包頭一起由WiFi發送到對方；對方接收到數據后，經過相關處理，判斷音視頻幀類型，再送往解壓縮處理模塊，恢復出音視頻數據。通信雙方設備均包含嵌入式音視頻管理模塊和無線收發模塊。無線WiFi收發模塊運行在2.4 GHz頻段，符合IEEE 802.11b無線局域網協議標準。
二、硬件設計
1、系統硬件設計
系統硬件設計以ARM11為核心微處理器，主頻為532 MHz，能夠滿足實時處理的要求，其內部集成有256 MB SDRAM、2 GB FLASH、音頻錄、放音接口、Camera視頻接口、無線WiFi接口、LCD接口、SD卡接口等，同時以開源的Linux 2.6.28為內核，yaffs2為根文件系統，Qtopia 4.4.3作為用戶界面，為開發調試和系統設計提供了良好的平臺。
2、無線傳輸模塊
本系統的無線傳輸模塊采用工作在2.4 GHz公共頻段的WiFi模塊來實現，它遵循IEEE 802.11b/g網絡標準，可用于在后期開發中將終端接入Internet，其最高數據率為54 Mb/s，支持WinCE、Linux系統。室內通信距離可達100 m，室外開闊地可達300 m.只需要對ARM-Linux操作系統進行簡單的配置就可以由以太網連接模式轉化為雙機通信AD-HOC模式，在系統啟動之后，設計了基于Qt的窗口設計，方便切換連接模式。
選用WiFi具有很好的可擴展性，可以通過無線路由器的WiFi連接到廣域網，具有很好的應用前景。同時大多數手機等終端設備具有WiFi功能，后期還可以將軟件升級至Andriod系統，方便開發和移植。它減少了音視頻實時傳輸的開發成本和周期，也給現代移動通信提供了一種新的音視頻通信方式。
WiFi的驅動配置好后，應用層和以太網接口模式編程完全相同。由于此設計音視頻數據量較大，不宜采用UDP，因為當數據量過大或傳輸信號不好時，UDP會嚴重丟包，所以最終選擇面向連接的TCP傳輸協議，保證了系統音視頻有效傳輸。由于TCP是應答時式傳輸數據，在局域網內，無需考慮TCP丟包問題，為實現系統功能提供了可靠的保障。
3、音視頻采集模塊
音頻采用處理器內部集成的IIS（Inter-IC SoundBus）音頻接口和WM9714音頻芯片。IIS是飛利浦公司為數字音頻設備之間的音頻數據傳輸而定制的一種總線標準。在飛利浦公司的IIS標準中，既規定了硬件接口系統，也規范了音頻數據的格式。基于此硬件及接口規范，實現了集成音頻輸出、Linein輸入和Mic輸入功能。
視頻采集使用的是OV9650CMOS攝像頭模塊，分辨率高達130萬像素，可直接與OK6410開發板的Camera接口相接。適用于高端消費類電子產品、工業控制、車載導航、多媒體終端、行業PDA、嵌入式教育培訓、個人學習等。其結構較簡單，提供硬件驅動程序，便于使用和調試。
[page]
三、軟件設計
軟件分為用戶界面設計和數據處理、傳輸等模塊的設計。
1、嵌入式音視頻的同步
本文的基本思想是以視頻流為主媒體流，音頻流為從媒體流，視頻的播放速率保持不變，根據本地系統時鐘確定實際時間，通過調整音頻播放速度來達到音視頻同步。
首先選擇一個本地系統時鐘參考（LSCR），然后將LSCR發送到視頻解碼器和音頻解碼器，由這兩個解碼器根據各幀的PTS值對照本地系統時鐘，參考產生各幀準確的顯示或回放的時間。也就是說，生成輸出數據流時依據本地參考時鐘上的時間給每個數據塊都打上時間戳（一般包括開始時間和結束時間）。在播放時，讀取數據塊上的時間戳，同時根據本地系統時鐘參考上的時間來安排播放。
圖1：整個系統的音視頻同步數據流程
2、基于多線程的軟件總體設計
系統軟件架構如圖1所示，它是音視頻單向采集、壓縮、傳輸、接收、解壓縮、處理回放音視頻流控制過程，各個模塊采用線程處理，由信號量處理線程間優先級構成循環的線程，有效地處理了音視頻數據流。系統各功能模塊化，便于修改和移植，代碼簡短精悍。
圖2：系統軟件架構
3、音視頻通道管理
為了節約內存資源，便于通道的管理，本設計采用分通道的線程池管理，音、視頻分別由自己的通道完成任務。
音視頻采集使用同一個線程處理，采用select系統調用，每執行到此線程，就判斷音視頻設備是否就緒，若就緒即采集音頻或視頻到音視頻緩沖區，再交給音由于處理器的高速處理和高效率視頻硬件H.264解壓縮，使得整個系統實時性基本達到要求。嵌入式音視頻管理模塊實現了整個系統的統籌控制和實時處理，為音視頻數據管理提供可靠的保證。
視頻采集壓縮線程，最后再交給發送線程打包后采用TCP發送。需要說明的是本設計線程之間均采用信號量完成線程間基于TCP的音視頻軟件架構的同步管理。發送完以后進入接收線程等待對方發音視頻數據。在接受端由接收線程接收到據以后，判斷數據的包頭，再交由解壓縮處理線程處理，然后播放音視頻，再等待對方發數據到本機。
4、回音消除
系統開始時出現回音和延時問題，延時是由于采集傳輸過程中造成的，所以只能盡量縮短延時，而無法做到即時播放，這也是此系統的缺陷之一。回音是由于延時造成的，文中最后采用開源的Speex算法消除了回音。具體做法：將該算法編譯成庫文件，加入到Linux內核，即可以使用Speex的API函數，實現音頻的回音消除。
結語：現如今的電子市場，嵌入式無線終端的視頻監控產品以其環境適應力強、無需布線、性能穩通信便利、傳輸距離遠的優勢占據市場的有利位置。本次設計是基于ARM Linux的無線音視頻通信手持式終端，體積小所以攜帶方便。系統采用鋰電池經過開關電源芯片降壓的方式進行供電。直流穩壓效率大大提高。在市場中有著廣泛的應用前景。
下一篇： PLC、DCS、FCS三大控
上一篇： 不容錯過的耳機放大器
