基于FPGA_DSP的超分辨率成像系统设计

安博文，潘胜达

（上海海事大学，上海 200135）

摘要：针对异型传像光纤束成像的算法结构，介绍了一种以TI公司高性能DSP（TMS320DM2）和Xilinx公司150万门级FPGA（XC3S1500）为核心处理器的超分辨率成像系统。在该系统中，作为系统核心的DSP承担目标图像合成算法，而FPGA则负责如图像格式转换等预处理工作。通过合理分配DSP和FPGA的处理任务，本系统充分发挥了FPGA硬件实现的快速性和DSP软件实现的灵活性。实验测试表明，该成像系统满足实时性要求，易于维护和升级，具备较强的通用性。

关键词：传像光纤束；FPGA；DSP；成像

中图分类号：TP391.41 文献标识码：A 文章编号：1001-81(2010)09-0523-04 Design of Super-Resolution Imaging System Based on FPGA＋DSP

AN Bo-wen，PAN Sheng-da

(Shanghai Maritime University, Shanghai 200135, China)

Abstract：A frame work of a super-resolution imaging system which adopts the TI’s high performance DSP TMS320DM2 and Xilinx’s FPGA with 1500000 gates as the core is presented in this paper for the special structure of imaging algorithm with the non-conventional image-carrying fiber bundles. In this system, the DM2 is responsible for the synthesis algorithm of the target image as the core unit of the system; While the image pre-processing like image format conversion is implemented in the FPGA. By the rational allocation of the DSP and FPGA’s processing tasks, we can give full play to their respective advantage. The experimental result shows that the imaging system meets the real time requirement. It is easy to maintain and upgrade with a strong commonality.

Key words：image-carrying fiber bundles，FPGA，DSP，imaging

引言

光纤是利用全反射规律而使光线沿着弯曲路径传播的光学元件，由于具有柔软、可挠曲的特点，被日益广泛地应用于医学、军事等领域。

本文利用光纤柔性的特点，设计了一种入端为线阵、出端为面阵的光线束，将其应用于遥感成像系统中实现物像空间的线面变换。该光纤束（如图1）入端为6000×10的线阵，与前方扫描成像系统的焦平面耦合，出端为300×200的面阵，其后端用CMOS 传感器接收面阵图像信息[1]。

扫描成像时通过扫描摆镜对目标图像进行一维方向上的扫描，同时由传像光纤束将扫描所得各幅线阵图像转换成面阵图像，之后在图像处理平台上通过空间逆转换算法将各幅面阵图像还原成原图像中的线阵图像，最后将所有线阵图像进行拼接就可以获得超分辨率图像。

图1 异形传像光纤束实物图

Fig.1 The non-conventional imaging-carrying fiber bundle

在选择相应的图像处理平台时，考虑到上述成像算法其算法结构中既包含数据量大、处理速度要求高、算法结构相对简单的低级图像处理算法，如图像格式转换等预处理算法，又包含数据量较小、算法结

523构较为复杂的高级图像处理算法，如后文所述的Z字型搜索算法等。其中低级图像处理最适合于在FPGA 中用硬件实现，而高级图像处理算法适合于用寻址方式灵活、通信机制强大的DSP进行软件编程来实现。由此可见，单独将DSP或者FPGA等单芯片平台作为整个成像系统的图像处理平台，不能充分发挥相应平台各自的优势。即使选用性能卓越的单芯片平台实现了整个成像算法，其相应的成本代价也是较为昂贵的。

因此，针对传像光纤束成像算法，采用充分发挥FPGA硬件实现的快速性和DSP软件实现的灵活性的DSP＋FPGA架构，由FPGA完成低层次图像处理算法，而由DSP完成高级图像处理算法，将是一个比较有效的解决方案。

1 系统总体实现

1.1 系统总体结构

本系统的系统总体框图如图2所示。其主要功能模块由图像采集模块、图像预处理模块、图像核心算法处理模块和图像显示输出模块组成。

该系统总体工作流程如下：整个系统在上电后，先由DSP通过I2C向CMOS传感器发出控制命令开始工作。然后由FPGA采集从CMOS输出的图像数据并进行预处理，并将处理完的图像发送至DSP进行成像算法处理。经算法处理好的图像数据由DSP发送回FPGA，最后经过USB芯片传输至上位机显示并存储。

图2 系统总体框架图

Fig.2 Frame diagram of system

1.2图像采集模块

图像采集模块包括通过光信号的转变来获取图像的光纤耦合传感器，及用于将图像从光信号转换成数字信号的CMOS图像传感器。本系统中，CMOS 图象传感器使用的是Micron公司的MT9P001，该图像传感器具有500万有效像素，分辨率为2592H×1944V，内部的摸数转换器提供了每像素12bits的色彩分解力[2]。1.3 基于FPGA图像预处理模块

由于CMOS摄像头输出的图像数据为12bits的Bayer格式，为了能更好和后续的DM2进行数据接口并减轻DM2的运算负担，因此在FPGA中需要先将图像数据提取成8bits图像数据并对其进行插值处理使将其转换成亮度信号。

在各种插值方法中，邻域线性插值法有算法计算量少、算法结构简单等优点，适合用FPGA硬件实现[4]。该算法的核心思想是：每个像素的RGB分量都由以这个像素为中心的3×3像素矩阵进行线性插值而成。因此需要将图像数据变换成3×3的图像矩阵。为了解决这一问题，本系统中采用FIFO_DFF的算法模板。具体算法结构如图3所示。

图3 FIFO_DFF的算法结构

Fig.3 Structure of the FIFO_DFF algorithm

其中，DFF是8位的D触发器（Flip-Flop）用于缓存单个8位像素的图像信息，FIFO是8位宽4192 Byte大小的先入先出缓存，用于缓存一行（2592Bytes）大小的图像数据。该算法模型的运行流程为：首先经过FPGA截取得到的高8位图像数据送至DFF7，并将数据在图像时钟的驱动下进行从左到右的移位操作——从DFF7逐次移位至FIFO2，持续该操作直到第一行数据都存入FIFO2，存入一行图像数据后，等第二行图像数据送达DFF7输入端时，将第二行的图像数据按照和第一行数据一样的操作方式移位存入FIFO2，同时存储在第一个FIFO的数据开始读出到DFF4，再经过移位操作存入FIFO1，等两行图像数据都存储到相应的FIFO之后，当第三行图像数据送达至第三个FD时，后两个FIFO分别读出前两行的前三个图像数据时，这样我们就可以从DFF7、DFF6、DFF5、FIFO2、DFF4、DFF3、FIFO1、DFF2、DFF1的数据输出端读取到一个3×3的图像数据矩阵，然后就可以根据插值计算公式计算RGB信号[3]。之后，再将RGB信号经过色度空间转换成亮度信号，并将其发送至DSP。

1.4 图像核心算法处理模块

核心算法功能块所采用的DSP为是TI公司生产

524

2010年9月 安博文等：基于FPGA ＋DSP 的超分辨率成像系统设计 Sep. 2010

525

的TMS320DM2芯片，其峰值处理能力为

4800MIPS [4]。

该芯片片内置有16 kB 的一级程序缓存、16 kB 的一级数据缓存和256 kB 的程序数据共享二级缓存。但对于直接处理本系统中采集的单幅数据量达到5 MB 的高分辨率图像而言是远远不够的，因此本系统扩展了两片Micron 公司的SDRAM-MT48 LC8M32B2共 MB 的数据存储器[5]。

在本系统中，FPGA 与DSP 之间的数据接口采用Vport 接口方式，即FPGA 图像数据输出端直接与DM2的Vport1端口相连。DSP 的视频采集端口为了便于图像数据处理而选择工作在8Bit_Raw 模式[6]。FPGA 发送至Vport 口的图像数据由DM2的EDMA 控制器搬移至外部SDRAM 进行缓存，之后由DM2对图像进行算法处理。整个算法流程如下[7]：

1）通过双模板极值滤波器对接收到的光纤图像中光纤的中心位置进行粗略定位，即利用9个3×3小模板对图像进行处理，计算每个小模板中像素的亮度和，如果当前模板的亮度和为9个小模板中最大的，并且最小亮度大于某一阈值时，则将该模板赋值为255，将其他小模板赋值为0。由此可将每个光纤的中心定位于大约为5×5的范围中。

2）对亮块进行搜索，通过搜索来得到每根光纤的中心位置。考虑到光纤图像独有的特点，本系统中采用Z 字型搜索法，通过采用斜45°顺序来搜索第一个根光纤的坐标，即搜索到第一个光纤亮块时，用该亮块的几何中心位置代表光纤的中心位置，由此得到第一根光纤的坐标，之后利用光纤的先验知识，即光纤之间的距离为某一个阈值进行步进搜索，由此可以得到整个面阵光纤图像中所有光纤的位置坐标表[8]。

3）按照位置坐标表对每一幅扫描的面阵光纤图像进行图像信息抽取，将光纤束出端的一帧图像还原成原始目标图像中的一行，完成面阵与线阵之间的转换。

整个算法的各步骤的示意如图4所示。

(a) 原始图像 (b) 双模板处理后的图像

(c) Z 字型搜索法 (d) 搜索后的光纤中心图

图4 算法流程示意图

Fig.4 Process of the imaging algorithm

待处理完数据之后，DM2将经过面阵至线阵转换的图像数据通过其Vport0口按照8bit_Raw 模式发送回FPGA 。

1.5 图像显示输出模块

经过算法处理后的图像数据通过在FPGA 内部设置的FIFO 缓冲输出至USB 芯片，为了方便上位机获取图像数据，本系统中对每一帧图像的起始部分加上一定的数据头以区分各帧图像。

为了配合整个成像系统的实时性，本系统中选用Cypress 的CY7C68013作为USB 传输芯片，并使其工作于Slave Fifo 模式下，即其只负责数据的封装与上传。

数据传输至上位机缓存中后，上位机程序通过CreateFile()函数创建USB 设备的句柄，然后通过DeviceIOControl()函数和USB 的通用驱动中相应的接口函数来获取USB 传送过来的图像数据，提取一帧图像数据的时候按照原先由FPGA 添加的数据头表示的帧头和帧尾来进行区分，最后便得到了如图5所示的图像，该图像实际尺寸为8000×7082。

图5 系统成像结果图 Fig.5 Scanning experiment result

2 结语

随着传像光纤束成像技术应用的日益广泛，相应

地对此类成像技术实时性的要求将越来越高，基于DSP ＋FPGA 的嵌入式硬件处理平台具有灵活性与实用性。本系统针对传像光纤束耦合的高分辨成像系统,通过用FPGA 实现图像预处理，减轻了后续DSP 的处理任务，使其有更大能力来完成成像算法。本系统在工程实践中，取得了较好的实时性、成像效果。

2010年9月 Infrared Technology Sep. 2010

526 参考文献：

[1] 朱翔, 方中华, 孙胜利. 光纤传像系统中的耦合技术研究[J]. 红外技术,

2006, 28(5):257- 260.

[2] Micron Corporation. 1/2.5-inch 5Mp CMOS Digital Image Sensor, 2002. [3] 李方慧, 王飞. TMS320C6000系列DSPs 原理与应用[M]. 北京: 电子

工业出版社, 2003.

[4] 石英, 李新新, 姜宇柏. ISE 应用与开发技巧[M].北京: 机械工业出版

社, 2007. [5] Texas Instruments Incorporated. T MS320Cx DSP Two- Level Internal

Memory Reference Guide, 2004.

[6] Texas Instruments Incorporated, TMS320Cx DSP Video Port/VCXO

Interpolated Control (VIC)Port Reference Guide ,2007.

[7] 安博文. 超高分辨率异型传像光纤束中的空间变换[J]. 光电工程,

2006, 33(11):83-87.

[8] 安博文, 潘胜达, 陈桂林. 基于卡尔曼滤波器的传像光纤束位置搜索

[J]. 红外与毫米波学报, 2010, 29(2): 156-160.