神马文学网用FPGA替代DSP实现实时视频处理
来源：百度文库 编辑：神马文学网 时间：2024/04/20 02:44:15
www.52RD.com 2005年12月11日 我爱研发网 Xilinx公司
随着数字融合的进一步发展，系统的设计和实现需要更大的灵活性，以解决将完全不同的标准和要求集成为同类产品时引发的诸多问题。本文介绍FPGA在视频处理中的应用，与ASSP和芯片组解决方案相比，FPGA可根据当前(中国)设计工程师的实际需求提供不同层次的灵活性，并保持明显优于传统DSP的性能。
实时视频处理对系统性能的要求极高，因此几乎所有只具最简单功能的通用DSP都不具备这项功能。可编程逻辑器件允许设计人员利用并行处理技术实现视频信号处理算法，并且只需单个器件就能实现期望的性能。基于DSP的解决方案通常需要在单板上嵌入许多DSP，以得到必需的处理能力，这无疑将增加程序资源开销和数据存储器资源开销。
通过在实时环境下进行视频处理，系统工程人员可将帧存储器需求和数据缓冲需求降至最低，而在非实时应用中则无需如此。
随着业界积极推动高质量视频开发以及压缩格式的不断改进，系统处理速度也不断提高。可编程逻辑器件也采用了专用寻呼设备中广泛采用的FPGA器件架构。由于FPGA工艺的发展遵循摩尔定律，因此与稍早开发的同种产品相比，新产品能以更具吸引力的成本优势实现相同的功能和性能。
这种趋势的一大源动力来自网络、广播、处理和显示技术的融合，即业界所称的“数字融合”。由于在极窄的传输信道(如无线信道)上发送高带宽视频数据并保持适当的业务质量(QoS)极其困难，因此设计人员展开了广泛的研究，致力于改进纠错、压缩和图像处理技术，这些研究均建立在FPGA实现的基础上。
图像压缩/解压缩-DCT/IDCT
目前在数字视频系统中主要使用的视频压缩格式是MPEG2，已广泛应用于数字电视、机顶盒、数字卫星系统、高清晰度电视(HDTV)解码器、DVD播放器、视频会议设备和网络电话中。原始的数字视频信息总需要进行压缩，以便通过适当的传输信道传送或者存储在适当的介质(如磁盘)中。此外还有许多新标准即将或正在推出，包括最为引人注目的MPEG4，但大多数基于该技术的产品仍在开发中。
MPEG2和MPEG4算法的核心是一种称为离散余弦变换(DCT)的操作。DCT的基本原理是取像素块的平方并除去观察者察觉不到的冗余信息。为了解压缩数据，还需要反离散余弦(IDCT)运算。
虽然MPEG算法中的DCT部分已经标准化并能在FPGA中有效实现，MPEG编码仍有许多部分尚未明确规定。而正是这些不明确部分使得一家公司的产品得以区别于竞争对手，并开发出拥有自主产权的算法。许多专用MPEG解码器在这些部分(如运动估计模块)使用了FPGA。因为FPGA可重新配置，因此器件能方便地进行刷新，并在整个开发阶段(包括配置之后)集成新算法，而完全依赖标准ASSP解决方案的公司由于受到自身能力的限制而无法开发出类似产品，因此市场风险较大(图1)。
色彩空间转换
视频系统另一重要部分是色彩空间转换，该工艺规定了图像的表示方法，例如由一种色彩格式转化为另一种不同的色彩格式。
人眼感测器只能检测到波长介于400nm至700nm之间的可见光，这些感测器称为圆锥细胞，具有三种不同的类型：红光圆锥细胞、绿光圆锥细胞和蓝光圆锥细胞。如果单波长的光可见，这三种感测器的相对反应能使我们鉴别出光的颜色。该现象极具实用价值，因为这意味着我们只需简单地按不同比例将上述三种光混合，就能生成各种颜色的光。这就是著名的三色原理，它在彩电系统中获得了广泛的应用。
我们可以在3维立方体中通过绘制三原色(即红色、绿色和蓝色，简写为RGB)的构成比率图以表示各种颜色，其中黑色位于原点，而白色则位于原点的斜对角。得到的立方体就是著名的RGB色彩空间。
不管最终的显示媒质是纸张、LED、CRT或等离子显示器，图像总可细分为很多个像素(例如HDTV可具备1920×1080 个像素)。同时每种媒质之间又存在些许差异，但其基本原理都是每个像素由一定比例的红色、绿色或蓝色构成，构成的比例取决于驱动显示的电压信号。
利用RGB格式处理图像时，每个像素由3个分别对应于三原色的8位或10位字确定，因而这不是一种最高效的处理方法。这种格式下，必须在所有的红色、绿色和蓝色信道上对像素进行操作，所需的存储空间和数据带宽毫无疑问将比其它可供选择的色彩格式更大。为了解决这个问题，许多广播标准(如欧洲的PAL和北美的NTSC电视系统)均采用亮度和色度视频信号。因此，不同的色彩格式之间需要一种能互相转换的机制，即色彩空间转换(图2)。
用硬件实现这些电路则相对比较简单，只需要知道从一种格式映射到另一种格式的系数。最通用的一种转换是由RGB格式转换至YCbCr 格式(反之则从YCbCr 格式转换至RGB格式)。研究表明，人眼察觉到的光亮度信息(Y)的60％至70％来自绿色光。红色和蓝色信道实际上只是亮度信息的复制，因此这些重复信息完全可以去除掉。最终的结果是图像可用表征色度和亮度的信号来表示。在这种格式下，8位系统规定亮度的取值范围介于16至235之间，而Cb和Cr 信号的取值范围介于16至240之间，并规定128表示亮度为0。
可用如下的方程将YCbCr空间中的色彩转换为RGB色彩空间中的色彩：
R’=1.164*(Y-16)+1.596*(Cr-128)
G’=1.164*(Y-16)-0.813*(Cr-128)-0.392*(Cb-128)
B’=1.164*(Y-16)+1.596*(Cr-128)
R’G’B’ 表示图像灰度校正RGB值。例如，CRT显示器的信号振幅与输出密度之间存在非线性，如果在显示信号之前进行图像灰度校正，就能使信号振幅与输出密度间的关系趋于线性。输出增益同样必须限定低于特定的阀值，以减少图像暗区中的传输噪声(图3)。
我们可以采用许多可行的方法实现所需的乘积功能，如利用内存、逻辑器件或嵌入式乘法器[1][2]。
显然，HDTV系统所需的74.25MHz数据率可轻松地达到，而且还可以尝试不同的设计折衷考虑，如系统精确度和设计范围之间的折衷。例如，为了保证3％的转换误差，YCbCr至RGB色彩空间转换器的设计尺寸可以至少减小一半。这或许超出了大多数显示器产品所能承受的范围，但仍然能被其它的应用系统接受，如机器视觉或安全系统。采用FPGA的系统架构就能调整应用系统的算法，由此实现最佳的性能和效率。
实时图像和视频处理功能
标准DSP自身性能上的缺陷促进了专门解决此难题的专用设计芯片(如媒质处理器)的发展。但是，这些器件极低的灵活度往往使其局限于非常有限的应用中并容易产生性能瓶颈。在高分辨率系统(如HDTV和医疗成像系统)中，基于处理器的方法受到的限制尤为明显。从根本上讲，处理器的分辨率受限于分配给滤波器每个抽头或每个转换阶段时钟周期的数目。一旦达到极限条件，通常除了增加额外的DSP部件外别无选择。FPGA可以通过定制调整提供最具实用价值的高性能高效率产品。设计人员可在适用范围和速率之间进行折衷考虑，从而以比DSP时钟低得多的速率实现指定功能。
例如Visicom公司发现，在中值滤波器应用中[3]，DSP处理器需要67个时钟周期执行算法，而FPGA只需工作在25MHz频率下，因为FPGA能并行实现该功能。实现上述功能的DSP必须工作在1.5GHz频率下，可见在此特定应用中，FPGA解决方案的处理能力可以达到100MHz DSP处理器的17倍。
许多实时图像和视频处理功能均适合于用FPGA器件来实现，包括：图像旋转、图像缩放色彩校正和色度校正、阴影增强、边缘检测、直方图功能、锐化、中值滤波器和斑点分析等。
许多功能都针对特定的应用和系统，并构建在核心架构(如2D-FIR滤波器)之上。我们可以利用HDL设计语言或高级内核设计工具(如Xilinx CoreGen软件)中的DSP程序块迅速实现这些功能。此外，还能通过系统级设计方法，利用Matlabs Simulink和Xilinx SystemGenerator工具进一步减少设计和仿真时间。需要获取最新的视频技术信息以及数字融合市场信息，可访问http://www.xilinx.com/esp/esp.htm。
参考文献 XAPP283: Color Space Application Note by Latha Pillai. Available from http://www.xilinx.com
TechXclusives: Color Space Conversion by Andy Miller http://support.xilinx.com/support/techxclusives/techX-home.htm
A Cost Effective Image Acquisition, Real-Time Processing and Display Architecture Using FPGA Technology http://www.chipcenter.com/pld/plf049.htm
RC100 Data Sheet http://www.celoxica.com/products/technical_papers/datasheets/DATRC100_001_01.pdf
Video Demystified - 3rd Edition by Keith Jack: LLH Technology Publishing http://www.video-demystified.com/
Video and Image Processing System Solution Web Page http://www.xilinx.com/xlnx/xil_prodcat_landingpage.jsp?iLanguageID=1&iCountryID=1&title=Video+%26+Image+Processing
作者：David Nicklin
战略解决方案市场部
高级经理
Xilinx公司
_xyz
随着数字融合的进一步发展，系统的设计和实现需要更大的灵活性，以解决将完全不同的标准和要求集成为同类产品时引发的诸多问题。本文介绍FPGA在视频处理中的应用，与ASSP和芯片组解决方案相比，FPGA可根据当前(中国)设计工程师的实际需求提供不同层次的灵活性，并保持明显优于传统DSP的性能。
实时视频处理对系统性能的要求极高，因此几乎所有只具最简单功能的通用DSP都不具备这项功能。可编程逻辑器件允许设计人员利用并行处理技术实现视频信号处理算法，并且只需单个器件就能实现期望的性能。基于DSP的解决方案通常需要在单板上嵌入许多DSP，以得到必需的处理能力，这无疑将增加程序资源开销和数据存储器资源开销。
通过在实时环境下进行视频处理，系统工程人员可将帧存储器需求和数据缓冲需求降至最低，而在非实时应用中则无需如此。
随着业界积极推动高质量视频开发以及压缩格式的不断改进，系统处理速度也不断提高。可编程逻辑器件也采用了专用寻呼设备中广泛采用的FPGA器件架构。由于FPGA工艺的发展遵循摩尔定律，因此与稍早开发的同种产品相比，新产品能以更具吸引力的成本优势实现相同的功能和性能。
这种趋势的一大源动力来自网络、广播、处理和显示技术的融合，即业界所称的“数字融合”。由于在极窄的传输信道(如无线信道)上发送高带宽视频数据并保持适当的业务质量(QoS)极其困难，因此设计人员展开了广泛的研究，致力于改进纠错、压缩和图像处理技术，这些研究均建立在FPGA实现的基础上。
图像压缩/解压缩-DCT/IDCT
目前在数字视频系统中主要使用的视频压缩格式是MPEG2，已广泛应用于数字电视、机顶盒、数字卫星系统、高清晰度电视(HDTV)解码器、DVD播放器、视频会议设备和网络电话中。原始的数字视频信息总需要进行压缩，以便通过适当的传输信道传送或者存储在适当的介质(如磁盘)中。此外还有许多新标准即将或正在推出，包括最为引人注目的MPEG4，但大多数基于该技术的产品仍在开发中。
MPEG2和MPEG4算法的核心是一种称为离散余弦变换(DCT)的操作。DCT的基本原理是取像素块的平方并除去观察者察觉不到的冗余信息。为了解压缩数据，还需要反离散余弦(IDCT)运算。
虽然MPEG算法中的DCT部分已经标准化并能在FPGA中有效实现，MPEG编码仍有许多部分尚未明确规定。而正是这些不明确部分使得一家公司的产品得以区别于竞争对手，并开发出拥有自主产权的算法。许多专用MPEG解码器在这些部分(如运动估计模块)使用了FPGA。因为FPGA可重新配置，因此器件能方便地进行刷新，并在整个开发阶段(包括配置之后)集成新算法，而完全依赖标准ASSP解决方案的公司由于受到自身能力的限制而无法开发出类似产品，因此市场风险较大(图1)。
色彩空间转换
视频系统另一重要部分是色彩空间转换，该工艺规定了图像的表示方法，例如由一种色彩格式转化为另一种不同的色彩格式。
人眼感测器只能检测到波长介于400nm至700nm之间的可见光，这些感测器称为圆锥细胞，具有三种不同的类型：红光圆锥细胞、绿光圆锥细胞和蓝光圆锥细胞。如果单波长的光可见，这三种感测器的相对反应能使我们鉴别出光的颜色。该现象极具实用价值，因为这意味着我们只需简单地按不同比例将上述三种光混合，就能生成各种颜色的光。这就是著名的三色原理，它在彩电系统中获得了广泛的应用。
我们可以在3维立方体中通过绘制三原色(即红色、绿色和蓝色，简写为RGB)的构成比率图以表示各种颜色，其中黑色位于原点，而白色则位于原点的斜对角。得到的立方体就是著名的RGB色彩空间。
不管最终的显示媒质是纸张、LED、CRT或等离子显示器，图像总可细分为很多个像素(例如HDTV可具备1920×1080 个像素)。同时每种媒质之间又存在些许差异，但其基本原理都是每个像素由一定比例的红色、绿色或蓝色构成，构成的比例取决于驱动显示的电压信号。
利用RGB格式处理图像时，每个像素由3个分别对应于三原色的8位或10位字确定，因而这不是一种最高效的处理方法。这种格式下，必须在所有的红色、绿色和蓝色信道上对像素进行操作，所需的存储空间和数据带宽毫无疑问将比其它可供选择的色彩格式更大。为了解决这个问题，许多广播标准(如欧洲的PAL和北美的NTSC电视系统)均采用亮度和色度视频信号。因此，不同的色彩格式之间需要一种能互相转换的机制，即色彩空间转换(图2)。
用硬件实现这些电路则相对比较简单，只需要知道从一种格式映射到另一种格式的系数。最通用的一种转换是由RGB格式转换至YCbCr 格式(反之则从YCbCr 格式转换至RGB格式)。研究表明，人眼察觉到的光亮度信息(Y)的60％至70％来自绿色光。红色和蓝色信道实际上只是亮度信息的复制，因此这些重复信息完全可以去除掉。最终的结果是图像可用表征色度和亮度的信号来表示。在这种格式下，8位系统规定亮度的取值范围介于16至235之间，而Cb和Cr 信号的取值范围介于16至240之间，并规定128表示亮度为0。
可用如下的方程将YCbCr空间中的色彩转换为RGB色彩空间中的色彩：
R’=1.164*(Y-16)+1.596*(Cr-128)
G’=1.164*(Y-16)-0.813*(Cr-128)-0.392*(Cb-128)
B’=1.164*(Y-16)+1.596*(Cr-128)
R’G’B’ 表示图像灰度校正RGB值。例如，CRT显示器的信号振幅与输出密度之间存在非线性，如果在显示信号之前进行图像灰度校正，就能使信号振幅与输出密度间的关系趋于线性。输出增益同样必须限定低于特定的阀值，以减少图像暗区中的传输噪声(图3)。
我们可以采用许多可行的方法实现所需的乘积功能，如利用内存、逻辑器件或嵌入式乘法器[1][2]。
显然，HDTV系统所需的74.25MHz数据率可轻松地达到，而且还可以尝试不同的设计折衷考虑，如系统精确度和设计范围之间的折衷。例如，为了保证3％的转换误差，YCbCr至RGB色彩空间转换器的设计尺寸可以至少减小一半。这或许超出了大多数显示器产品所能承受的范围，但仍然能被其它的应用系统接受，如机器视觉或安全系统。采用FPGA的系统架构就能调整应用系统的算法，由此实现最佳的性能和效率。
实时图像和视频处理功能
标准DSP自身性能上的缺陷促进了专门解决此难题的专用设计芯片(如媒质处理器)的发展。但是，这些器件极低的灵活度往往使其局限于非常有限的应用中并容易产生性能瓶颈。在高分辨率系统(如HDTV和医疗成像系统)中，基于处理器的方法受到的限制尤为明显。从根本上讲，处理器的分辨率受限于分配给滤波器每个抽头或每个转换阶段时钟周期的数目。一旦达到极限条件，通常除了增加额外的DSP部件外别无选择。FPGA可以通过定制调整提供最具实用价值的高性能高效率产品。设计人员可在适用范围和速率之间进行折衷考虑，从而以比DSP时钟低得多的速率实现指定功能。
例如Visicom公司发现，在中值滤波器应用中[3]，DSP处理器需要67个时钟周期执行算法，而FPGA只需工作在25MHz频率下，因为FPGA能并行实现该功能。实现上述功能的DSP必须工作在1.5GHz频率下，可见在此特定应用中，FPGA解决方案的处理能力可以达到100MHz DSP处理器的17倍。
许多实时图像和视频处理功能均适合于用FPGA器件来实现，包括：图像旋转、图像缩放色彩校正和色度校正、阴影增强、边缘检测、直方图功能、锐化、中值滤波器和斑点分析等。
许多功能都针对特定的应用和系统，并构建在核心架构(如2D-FIR滤波器)之上。我们可以利用HDL设计语言或高级内核设计工具(如Xilinx CoreGen软件)中的DSP程序块迅速实现这些功能。此外，还能通过系统级设计方法，利用Matlabs Simulink和Xilinx SystemGenerator工具进一步减少设计和仿真时间。需要获取最新的视频技术信息以及数字融合市场信息，可访问http://www.xilinx.com/esp/esp.htm。
参考文献 XAPP283: Color Space Application Note by Latha Pillai. Available from http://www.xilinx.com
TechXclusives: Color Space Conversion by Andy Miller http://support.xilinx.com/support/techxclusives/techX-home.htm
A Cost Effective Image Acquisition, Real-Time Processing and Display Architecture Using FPGA Technology http://www.chipcenter.com/pld/plf049.htm
RC100 Data Sheet http://www.celoxica.com/products/technical_papers/datasheets/DATRC100_001_01.pdf
Video Demystified - 3rd Edition by Keith Jack: LLH Technology Publishing http://www.video-demystified.com/
Video and Image Processing System Solution Web Page http://www.xilinx.com/xlnx/xil_prodcat_landingpage.jsp?iLanguageID=1&iCountryID=1&title=Video+%26+Image+Processing
作者：David Nicklin
战略解决方案市场部
高级经理
Xilinx公司
_xyz
用FPGA替代DSP实现实时视频处理
ARM,DSP,CPLD,EDA,FPGA名词解释
ARM,DSP,CPLD,EDA,FPGA名词解释的
ARM,DSP,CPLD,EDA,FPGA名词
DSP实时多任务操作系统
中华视频网 - 主流视频处理平台DSP的横向测评
实时操作系统DSP/BIOS在DSP开发中的应用
实时DSP系统设计开发流程
用S3C2410实现铁路数据实时采集系统
用RTDX实现数据的实时双向传输
FPGA
视频截取和队列处理的shell实现
基于DSP的实时图像数据采集系统设计
实时操作系统DSP/BIOS在DSP开发中的应用--电子工程师之路
实时混音的实现
ARM、DSP、FPGA的技术特点和区别是什么 --转自电子园
基于FPGA 的高阶全数字锁相环的设计与实现
用异常实现基本错误处理
dsp
嵌入式DSP上的视频编解码
嵌入式DSP上的视频编解码
用S3C2410实现铁路数据实时采集系统 - 21IC中国电子网
AJAX SVG 实现实时监控图表
实时多线程系统的日志实现