一、基本介绍
四路信号网络传输系统共分为两个部分,视频采集端和视频接收端。视频采集端可以将4路AV信号进行采集编码,通过网络进行传输,同时在本地,可以通过VGA或者AV输出,输出格式为四拼屏显示。视频播放端接收网络传递的视频信号,在本地进行回显,同时可以通过遥控器,进行5路视频选择,具体为4个单通道视频显示和1个四拼屏显示。视频播放端同时支持网络信号输出,可以外挂网络录像机进行视频保存,保存内容与显示端显示内容一致。
视频采集端和视频播放端基本介绍如下:
1.1 视频采集端
采集端可最多采集四路AV信号,并通过VGA接口进行本地回显,以测试视频采集端是否工作良好并实施观看监控视频。网口将采集的四路信号及一路四合一拼屏信号共五路信号通过网线传输。
设备参数:
视频输入 | 4路 |
VGA输出 | 1路 |
网络接口 | 1路,RJ45 10M/100M自适应以太网口 |
同步回放 | 4路 |
尺寸 | 482mm(宽)×132mm(高)×250mm(深) |
安装方式 | 3U机箱,可机柜安装或台式放置 |
电源 | AC 220V |
工作温度 | -10℃—+55℃ |
工作湿度 | 10%—90% |
1.2 视频接收端
接收端接收来自网络的视频信号,经过解码后由VGA接口和AV接口实现视频输出。接收端面板上外置红外接收端,可通过遥控器任意切换五路视频进行本地显示。
设备参数:
VGA输出 | 1路 |
AV输出 | 1路 |
红外接口 | 1路 |
网络接口 | 2路,RJ45 10M/100M自适应以太网口 |
尺寸 | 482mm(宽)×132mm(高)×250mm(深) |
安装方式 | 3U机箱,可机柜安装或台式放置 |
电源 | AC 220V |
工作温度 | -10℃—+55℃ |
工作湿度 | 10%—90% |
二、系统设计思路
视觉信息具有信息量大、易于传播、可被受众直观接受的优势,视频与图片是所有信息中流通最快、占有量最大的信息传播形式。然而视频数据具有数据量巨大、信息高度冗余等实际情况,这些都消耗大量的存储空间和带宽,严重制约了视频信息的传播。FPGA具有高效的并行处理能力,将FPGA引入视频数据处理,可以在一定程度上缓解视频传输的瓶颈。
系统以XC6SLX150为核心,通过TW2867将AV视频信号数字化,转化成YCbCr422格式,利用XC6SLX150将数据写入SDRAM完成存储,对存储的数据,在采集端的回显,将YCbCr422转化成RAW RGB通过VGA进行回显,同时利用TF680,将SDRAM中的信号编码并在网络中进行传输,在显示端利用同样的方法,实现VGA回显和AV回显。
2.1系统构成
系统由视频采集端和视频接收端两个部分组成,两端通过网络连接,系统框图如图1所示。考虑到系统的可扩展性,允许在视频接收端,通过网络进行视频录像保存。
图1 系统整体框架示意图
系统采用XILINX公司的XC6SL150作为核心平台,加上Silion Image公司的SiI9013 HDMI解码芯片和SiI9134 HDMI编码芯片、 2Gbit的DDR3、4路复用TW2867、10位高速DAC视频转换ADV7123共同构建,系统开发板如图2所示。
图2 系统主板实物图
1)视频信号采集端
视频采集端的输入包括:4路AV输入接口,对模拟摄像机的信号进行采集,输出端为10/100Mbps自适应网络接口,负责将处理过的信号通过网络进行发送。视频采集端可以通过VGA或HDMI方式对采集到的四路信号进行回显,回显方式为2X2矩阵形式。
视频采集端包括核心板、扩展板和支撑电路三部分。视频核心板主要由FPGA+DDR3+FLASH构成,DDR3容量为2Gbit,核心板框图如图3示。FPGA内部集成DDR控制器的硬Core,可以满足4路720P视频处理需求。
图3 视频采集处理核心板框架示意图
4路视频输入:可输入不多于4路复合视频信号,PAL/NTSC/SECAM自动识别,输出BT656,可多路复用总线,FPGA端解复用。该模块采用TW2867,为4路视频解码器,具体介绍详见TW2867-datasheet.pdf。
一路VGA输出:支持RGB数字输入和VGA接口输出,最大支持240MSPS的转换速率,最高支持1080p@60Hz视频图像输出。该模块采用ADV7123,具体介绍详见ADV7123datasheet.pdf。
一路HDMI输出:最高支持1080p@60Hz输出。该模块采用SII9134,具体介绍详见SII9134datasheet.pdf。
一路RJ45接口:,支持10/100Mbps网络传输速率;
底板上通过板载芯片配置开发板上各个接口芯片和FPGA,底板预留JTAG接口、USB串口,方便后期功能扩展和二次开发。
视频采集端主要工作是对AV摄像头获取的信号通过FPGA进行处理,转换成TMDS格式信号进行网络传输。综合考虑系统的实时性、画面质量、带宽等方面要求,对视频进行编码压缩优化,并通过FPGA实现。视频采集端同时采集不超过4路的AV视频信号,对采集到的视频信号,通过2X2的矩阵在视频采集端通过VGA/HDMI进行回显。视频采集端的工作原理如图4示。
图4视频采集端工作示意框图
该部分的工作过程如下:模拟摄像头从外部采集图像信息,经过BT656解析为RGB格式输入;视频采集模块实时地接收从摄像头采集的数据信息;色彩转换模块将RGB格式转换成YCbCr444格式,再色度降采样为YCbCr422格式;视频帧读写模块控制将图像数据写入或者读出DDR3;再经过HDMI显示模块将图像格式上采样转换为YCbCr444,再转换为RGB格式,最终实现HDMI的视频显示。
2.2 网络传输层
考虑到实用性,传输网络允许通过个交换机,交换机可以根据现场环境集成在视频采集端或者视频接收端。交换机的主要作用是完成信号中继和视频系统组网。通过组网,可以方便用户在后期扩展各类视频录制和播放设备。
2.3 视频接收端
视频接收端的输入接口为10/100Mbps自适应网络接口,接受网络传输的信号。输出端主要为视频播放接口,包括:HDMI标准接口、VGA接口、AV视频接口。考虑到后期的扩展需求,视频接收端同样采用FPGA+DDR3+FLASH架构,对接收到网络信号,利用FPGA完成对信号的解码,并通过本地接口,实现视频的播放。其工作原理如图5所示。
图5 视频接收端工作示意框图
视频接收端同样包括核心板、扩展板和支撑电路,扩展板上提供JTAG接口、USB串口和SD卡槽,后期可以根据环境需要,用户可以在视频接收端,对解码后的视频通过FPGA进行二次处理。
1)系统展望
本项目所设计的四路AV视频采集网络传输系统,在保留现有的AV视频采集设备基础上,通过FPGA来对信号进行处理以减少延迟,实现对多路视频信号的实时传输。
在接收端,可以对实时的视频信号进行二次开发,例如通过先验特征,实现4路视频的快速拼接,从而实现全景视频显示;通过多路视频间的目标特征识别,实现多监视器间的目标跟踪与复合监控。也可以对多路视频进行信号复合、信号叠加等操作。
在视频采集端,可以利用FPGA进行硬插补,来对摄像头云台进行高速控制,提高视频目标跟踪的实时性和稳定性。