网络和移动通信多媒体技术的快速发展激发了人们对视频信息交流的需求。随着视频监控系统逐渐向数字化发展.基于计算机网络和多媒体压缩算法的新一代视频监控系统已成为该行业的主流方向。然而,随着视频应用程序的快速增长,开发人员通常需要花很多时间来熟悉各种多媒体标准,最终只能通过编写和改进代码来开发和改变。随着美国TI公司推出达芬奇(DaVinci)这一切都在平台后改变。
南皇电子专注于整合中国优质电子TI代理商国内领先的现货资源,提供合理的行业价格、战略备货、快速交付控制TI芯片供应商,轻松满足您的需求TI芯片采购需求.(http://www.litesemi.com/)
1 达芬奇技术的主要特点
基于共享存储的嵌入式多处理达芬奇平台是典型的(ARM,DSP,VICP,在视频前端和后端等环境中,支持的关键技术是实现电影中多渠道交换中心资源(Switch Central Resources,SCR)。基于片内SCR,达芬奇平台在电影中的多处理器之间形成了典型的例子C/S结构:计算能力强DSP实时计算服务可作为服务器提供算法;JAVA处理能力的ARM9实现网络,硬盘音视频I/O等用户界面。美国TI该公司在达芬奇平台上编解音视频(Codec)多媒体应用精心设计了系统框架,提供了丰富的系统程序接口SPI,应用程序接口API还有1000多个流媒体算法组件,包括视频、图像、话音和音频。它们与操作系统和中间部件构成了应用系统的大部分内容。应用系统开发团队只需将其包装成操作包即可获得高可用性和高可靠性的产品。
达芬奇平台最大的特点是基于DSP与ARM的SOC芯片,以及相关软件。
在达芬奇平台上,硬件给予双核架构强有力的支持DSP端用DPS/BIOS在ARM端用MontaVistaLinux(MV)支持外设管理。对于ARM与DSP数据交叉,使用Codec Engine和Codec Server管理。对于高端音频/视频系统来说,达芬奇平台的先进性无疑是开发平台的最佳选择。
2 TMS320DM365介绍
TI公司的TMS320DM365是一媒体技术应用的高性能芯片。TM320DM365功能框图。
内核方面TMS320DM365集成ARM926EJ-S.H.264协处理器(HDVICP),MPEG4/JPEG协处理器(MJCP),能以1080p格式与10帧/s的速度提供H.264编解码功能,和以1080p格式与24帧/s的速度提供MPEG4编解码功能,以及以720p格式与30帧/s的速度提供H.264或MPEG4编解码功能。扩展存储接口EMIFs包括1个16位256 M地址空间的DDR2和mDDR,16/8位和16/8位AEMIF,8/16位可扩展类型NAND Flash,16Mb NOR Flash,SRAM,16位OneNAND等。其他外围扩展控制器也包括16位HPI(Host-Port Interface),2个MMC(Multimedia Card)/SD(Secure Digital)/SDIO接口,1个16位WDT(Watch DogTimer),5个SPI(Serial Port Interface)每个接口有两个片选,一个主/从I2C(Inter-Integrated Circuit)总线控制器1支持2.0USB OTG接口控制器等。
TMS320DM365集成的ARM926EJ-S处理器包括32 kBRAM、16 kB ROM(用于非AEMIF在启动模式下ARMbootloader)、16 kB指令缓存、8 kB数据缓存、CP15及MMU等。其中CP15用于指令、数据缓存、MMU以及其他ARM配置和控制子系统。MMU使用统一的TLB缓存页面中存储的信息,类似Linux、WindowsCE、ultron以及ThreadX提供虚拟内存的操作系统。处理器的写作缓冲数据容量高达17 kB,大大提高了内核的性能。
TMS320DM365视频处理子系统(VPSS)视频前段由两个接口分别用于视频捕获(VPFE)用于图像显示的输入接口和视频后端(VPBE)输出接口。图3为视频处理子系统框图。
VPFE模块主要用于捕获视频信号,也可以直接从前端输入已有的视频信号。VPFE有一个输入接口CCD控制器(CCDC)、预处理器、柱状模块、自动曝光/白平衡/聚焦模块(H3A)它由寄存器组成。CCDC可与视频解码器一起使用,CMOS连接传感器或电荷耦合装置;预处理器是一种来自实时图像处理器的实时图像处理器CMOS或CCD原始图像从RGB转变为YUV422编码;柱状模块及H3A基于原始图像信息实现模块硬件操作。
VPBE一个输出接口OSD由一个视频编码器组成的引擎。OSD引擎可以显示两组独立的视频窗口或两组独立的视频窗口OSD还有两个视频窗口,一个窗口OSD窗口和一个属性窗口的形式显示。OSD将音量、图标等位图或图像信息叠加在视频图像上。提供数字输出和模拟输出的视频编码模块。支持24个数字输出bitRGB888格式、8/16bit BT.656具有独立的水平和垂直同步功能CCIT.601输出,模拟输出支持4路10bit DAC,均工作于54 MHz,支持复合NTSC/PAL、S端子和重量视频。
3 系统硬件设计
本系统选择系统硬件结构TMS320DM365为嵌入式处理器,包括音频、视频信号采集电路、以太网络电路、电源接口、JTFAG,UART,NAND Flash,SD卡,DDR2,USB2.0 OTG以及I2C。
网络摄像机系统的信息处理过程主要分为图像采集、图像处理传输和图像显示三部分。在本系统中,前端摄像头负责图像捕获,通过电路板将未压缩的图像信号传输到电路板中TMS320DM365芯片压缩处理SD相应存储卡,然后通过以太网接口或其他接口传输处理过的图像,并在远端监控器上显示图像。
本系统的视频采集模块采用TVP5146。传统NTSC/PAL由于摄像头的输出信号格式是模拟信号,TMS320DM365的视频输入信号是通过VPFE的CCDC以ITU-R BT.601/BT.656格式进行输入的,所以首先需要通过视频前段滤波放大器OPA361放大采集到的模拟信号,芯片通过视频解码TVPS146模拟信号预处理图像的抗混叠滤波,模拟数字转换,分离亮度/色度、水平/垂直同步信号,实现模拟视频信号转换为数字并行信号BT.656码流格式,然后通过2个12位2选1FET多路复用器选择4路视频信号1路作为输入VPFE视频输入工作。 TVP5146是一种高性能单片数字视频解码器,可以模拟所有常见的基带视频信号,如NTSC,PAL,SECAM混合信号数字化并解码为数字视频信号。 TVP5146是一种高性能单片数字视频解码器,可以模拟所有常见的基带视频信号,如NTSC,PAL,SECAM数字化混合信号并解码为数字视频信号。该解码器还包括4路10位30,具有模拟预处理功能MSPS模数转换器。高达10组的视频输入终端可用于配置RGB,YPbPr,CVBS输入重量信号或S端子视频。
主要包括网络控制模块EMAC模块和MDIO模块,原理图。
本系统采用TI公司出品的TSB43EA42作为以太网收发器。TSB43EA42支持10 MB/100 MB基带传输,提供和MAC层相接的MII接口。它与DM3 65通信的主要引脚包括:发送、接收数据线、时钟、使能信号、错误指示、管理数据接口、控制/指示引脚等。EMAC控制模块内部集成8 kB的RAM,存储缓冲描述符和以太网数据包的主要功能。MDIO物理层芯片的配置、工作状态检测等工作主要通过两线接口完成。
采用串口模块TI公司的MAX322ICPW,主要用于开发板与计算机之间的通信。通过超级终端完成Linux下载内核及设置相关参数,完成系统开发TI是什么品牌和调试。存储模块包括两个扩展存储接口EMIF和2个MMC/SD前者包括DDR控制器和异步扩展存储接口AEMIF分别用于扩展连接对DDR存储器和Flash后者实现了两个存储器;SD扩展连接卡存储器。
采用了电源模块TI公司的TPS65023作为电源管理芯片。包括三个芯片DC/DC转换器和2个200mA线性稳压器LDO。每路LDO由TMS320DM3 65通过I2C通信为核心存储器和I/O接口提供1.3,1.8,3.3 V工作电压;也可通过5 V稳压器直流供电DC/DC转换器提供1.3,1.8,3.3 V供电。
4 系统软件设计
系统视频采集模块负责从摄像头中读取视频流数据,读取的图像数据交给压缩模块。加载摄像头驱动程序后,必须添加视频采集Video4Linux可以通过的模块Video4Linux从摄像机设备中获取模块提供的编程接口。V4L视频采集流程图。
本系统采用RTP以及实时传输协议RTCP视频传输协议采用实时传输控制协议。RTP在多点传输或单点传输的网络服务中,提供端对端网络传输功能,适用于音频、视频或模拟数据等应用程序传输实时数据。RTP不能保证实时服务没有资源预留功能QoS(服务质量)。RTCP作为一种控制协议,它可以升级为大型多点传输网络,并提供最小的控制和识别功能。在RTP会议期间,参与者定期传输RTCP包,RTCP包含发送的数据包数据、丢失数据包数量等统计数据,因此服务器可以利用这些信息动态地改变传输速率,甚至有效载荷类型。RTP和RTCP配合使用,他们可以通过有效的反馈和小成本来最大限度地提高传输效率,RTCP使用两个主要控制包SR和RR反馈信息,如数据包丢失率、数据包丢失率、吞吐量和吞吐量、数据包到达时间延迟抖动和往返传输时间延迟,以调整系统的包装格式确保数据传输顺畅,播放视野清晰频率特别适合在线实时数据传输。
JRTPLIB作为一个RTP开发多媒体应用的协议库非常方便。JRTPLIB仓库发送或接收RTP不考虑数据SSRC冲突,调度,连RTCP用户不需要发送数据。用户只需使用相应的类别来发送和接收媒体数据。以下介绍RTP具体实现相关代码。
在使用JRTPLIB在传输多媒体数据之前,首先要创建一个RTPSession一个类别的对象来识别会话。然后通过RTPSession实例的create()初始化操作的方法。在create()需要两个参数sessparams和transparams,分别为RTPSessionParams和RTPUDPv4Trans mission Params的实例。在create()成功后,需要设置目标地址、净荷类型、时间戳增量等信息。在RTP会话建立后,我们可以传输媒体数据。传输净荷数据的方法非常简单,只需调用即可RTPSession实例的SendPacker()方法可以。同时,为了适应网上传输,还需要分割净荷数据。为方便使用,我们需要进一步包装。对于RTP对于分组的接收部分,我们需要将分组的数据帧组合成一个完整的数据帧。这里需要注意的是,这台相机使用了它H.264解码算法,因此分流接收方式和RTP分组接收有两种模式。对于流式传输,有些步骤组合成完整的数据帧H.264的NAL层。但是对于一些音频和JPEG等待应用,还需要组装过程。
5 结束语
提出一个基础TMS320DM高速网络摄像机系统设计365。网络摄像机接入局域网后,在局域网内部PC机上通过IE输入网络摄像机的IP通过第三方软件,可以看到摄像机捕获的图像和网络摄像机的相关数据流量信息。图像质量要求较高时,相应的图像数据量也会增加,反之亦然。在640X在480的分辨率下,测量的数据流量约为960 kb/s,能满足监控视频流畅性的要求。
本文首先介绍了视频监控系统和嵌入式处理器的发展趋势TMS320DM通过对系统硬件设计和软件设计的详细分析,实现了基于达芬奇技术的特点TMS320DM高速网络摄像机系统365。该系统采用了最新的技术,降低了产品的成本,具有很强的实用性,是一种比较理想的网络摄像机解决方案,可广泛应用于视频监控系统。
- 数据采集 - ADC-DAC - 专用型
- 线性器件 - 放大器 - 仪器、运算放大器、缓
- 电源管理IC - 监控器
- 电源管理IC - 热插拔控制器
- 晶体管 - FET,MOSFET - 单个
- 数据采集 - ADC-DAC - 专用型
- 逻辑 - 触发器
- 电源管理IC - 稳压器 - 线性
- 时钟-定时 - 时钟发生器,PLL,频率合成器
- 线性 - 比较器
- 电源管理IC - 稳压器 - DC DC 开关稳压器
- 开发板编程器配件