水下距离选通图像双平台直方图增强及其 FPGA 实时处理

作者:何 康,裘 溯,金伟其,魏树弟 (北京理工大学光电学院“光电成像技术与系统”教育部重点实验室,北京 100081)

摘要:水下激光距离选通成像中要对水下距离选通图像进行增强处理。水下图像通常具有噪声大、对比度差、照度不均匀的特点。通过分析水下图像的成像特点,针对引起图像降质的因素进行增强算法设计,提出了基于帧叠加去噪与双平台直方图变换相结合的视频增强算法。可实现目标信息增强的同时抑制背景,将目标和背景区别处理。算法以Xilinx 公司的XC5VLX50T 系列FPGA 芯片为核心,使用到了软核Microblaze、片内BLOCKRAM、外部SRAM 等资源设计硬件系统,并已在水下选通成像系统中得到有效应用。

0 引言
水下激光距离选通成像技术是当下较为成熟的水下光电成像技术之一,对于提高水下成像系统的成像质量具有良好的效果。水下距离选通成像技术的应用,可以将水下光电成像设备的探测距离提高3~5倍。在水下激光距离选通技术的基础上,选取适当的水下图像增强技术,将会使整个选通成像系统的成像质量得到大幅提升[1-3]。实时视频增强技术在水下激光距离选通成像设备上的应用,对激光选通成像技术的小型化应用有着非常重要的意义。

1 水下选通图像特点分析
水下距离选通图像通常存在噪声量大、对比度差、照明不均匀的特点。①噪声量大:ICCD 中像增强管的使用虽然起到了图像增强效果,但也为选通图像引入了一定的电噪声和光学噪声[4]。②对比度差:当距离选通成像设备达到探测极限时,尽管距离选通图像上目标区域的灰度值和背景区域的灰度值具有一定的差异,但由于差异过小、对比度较差,人眼很难直接区分。③照明不均匀:当激光照明光斑面积小于目标面积时,光斑内的目标会非常明亮,光斑外由激光的前向散射光照亮的区域则会显得异常暗淡,不利于人眼观察。

2 水下距离选通图像增强算法仿真、对比
2.1 双平台直方图均衡化算法
直方图均衡化是从直方图数据的角度,对原始图像的对比度进行调整。这种方法多用来提高图像的局部对比度,当图像的灰度分布较集中时,该处理方法效果最为明显。

双平台直方图均衡化[5]是直方图均衡化算法的优化算法,该方法的特点是在统计直方图时,对特定灰度级上的像素点个数设置2 个阈值,该阈值称为平台值,即:

式中:k 为当前统计到的灰度级;P(k)为直方图统计表中的累计直方图;nk 为某个灰度级上的像素点个数;Nth1、Nth2 为平台阈值;Np 为使用平台法处理后的平台像素总数(平台像素总数并不等同于实际图像像素数N)。其中,阈值Nth1 用于抑制背景,当某个灰度级像素个数超过该阈值时,算法认为此灰度对应的是背景。此时,该灰度级的统计数将维持在Nth1不变,以减小该灰度值对直方图的影响。阈值Nth2用于防止细节信息丢失,当某个灰度级上像素个数小于阈值Nth2 时,算法认为该部分灰度是有效细节信息部分。此时,该灰度级的统计数将被提升到Nth2,从而增大该灰度值对直方图的影响。

在对比度较差的水下激光距离选通图像处理时,阈值Nth1 起主要作用;在照明不均匀的距离选通图像处理时,阈值Nth1 用于抑制背景,阈值Nth2 用于减少激光光斑内的细节信息丢失。

2.2 增强仿真效果主观对比与评价
为了分析对比不同增强算法的效果,图1 给出了基于实际水下激光距离选通图像及其软件算法增强图像,其中,图1(a)为4 帧叠加去噪[6]后的水下距离选通图像,图1(b)为线性拉伸[7]处理图像,图1(c)为对数拉伸处理图像,图1(d)为全局直方图均衡化处理图像,图1(e)为局部直方图均衡化处理[8]图像,图1(f)为双平台直方图均衡化处理图像。

结果表明:经过增强后,原始图的对比度都得到了不同程度的提升,但使用不同的增强算法处理后,增强效果差异较为明显。图1(b)的缺点是激光照射处的靶标信息在增强后,出现了淹没现象;图1(c)在增强后光斑中心出现了饱和现象;图1(d)尽管整个画面的对比度得到了增强,但是噪声也被增强,不利于人眼观察;图1(e)光斑内细节信息没有丢失,有不错的增强效果,但图像整体偏暗;图1(f)可观察到整个靶标的边缘信息清晰可见,且激光光斑中心处的靶标信息并未出现淹没现象。

图1 水下图像的增强效果对比图

图1 水下图像的增强效果对比图

2.3 增强效果的客观对比与评价
针对图 1 中的6 幅对比图,本文选取3 个客观评价参数对增强前后图像进行评价:

1)图像熵,用于表征图像信息丰富的程度,其定义为:

式中:H 代表图像熵;N 代表灰度级总数;Pi 为灰度值为i 的像素数与图像总像素之比。图像熵的大小与图像包含的信息量丰富程度成正比。

2)平均梯度GF,用来描述图像边界或影线附近灰度的差异,用于表示图像清晰度,反映图像微小细节反差变化的速率。其定义为:

式中:F(i, j)为图像的第i 行、第j 列的灰度值;M、N 分别为图像的总行数和总列数。平均梯度越大,图像层次越多,也就越清晰。

3)增强评价EME(Evaluation of Enhancement),该评价参数由德州大学Agaian 等提出[9],通过计算图像局域中最大和最小值之比的对数均值作为客观评价结果,反映图像局域灰度的变化程度。EME 数值越大,则图像细节纹理越丰富,对比度越好。其评价方法的定义为:


式中:k1 和k2 分别表示水平和垂直方向分割的图像子块数;fmax;k,l 和fmin;k,l 表示(k, l)图像子块的最大和最小值;c 为避免分母为零而设置的常数。

如表 1 所示:在“平均梯度GF”和“增强效果评价EME”两项上,全局直方图均衡算法及其优化的双平台算法的得分有明显提升;局部直方图均衡化算法在“熵”项上得分最高,但在“平均梯度”和“增强效果评价”两项上提升不大。主观和客观的对比可以看出:全局直方图均衡算法对图像增强效果最为明显,但增强后的图像并不适合人眼观察;双平台法通过设置高低两个阈值,对全局直方图均衡算法的增强效果进行平衡,以牺牲部分图像增强效果为代价,使增强后的图像更适于人眼观察。由此说明,本文的双平台直方图均衡化算法对水下距离选通图像具有良好的增强效果。

3 水下距离选通增强算法硬件实现
本文涉及手持式水下激光距离选通成像系统的控制与视频图像处理平台是围绕Xilinx 公司Virtex-5系列FPGA 芯片搭建的[10-11]。图2(a)为通用图像处理板实物图,图2(b)为通用图像处理板工作流程图。

表1 增强效果客观评价结果

图2 通用图像处理板及其工作流程图

图2 通用图像处理板及其工作流程图

3.1 水下距离选通图像增强算法FPGA 实现
为了获取更好的增强效果,在进行图像增强前先使用了帧叠加去噪算法,将4 帧图像叠加,使图像功率信噪比提升了4 倍。双平台直方图均衡化算法实现的过程中,共使用了4 片大小为512 k×18 的SRAM,和2 个大小为256 k×19 的BLOCKRAM,一个除法器。其中片内BLOCKRAM 和片外SRAM 均采用108MHz 时钟进行控制。算法状态流程如图3 所示。状态的描述如表2 所示,其中S_idle 是系统的默认初始,用于等待PAL 制视频有效信号到来,符合判定条件后,开始进入增强处理环节。

3.2 水下激光距离选通图像增强算法验证实验
水下激光距离选通成像系统的图像增强实验在实验室15 m 的水道内进行,实验中靶标与成像系统的距离为13m,脉冲激光器单脉冲能量80 mJ,脉宽7 ns,重复频率最大20 Hz;实测水道的水体浊度为1.3425NTU,水体衰减系数为0.47m-1。

在选通成像系统达到靶标观察极限时,分别采集非选通图像、单帧选通图像、单帧+双平台法、四帧叠加+双平台法的硬件处理视频图像如图4 所示(处理中平台值Nth1 为20000,Nth2 为100)。由图4 可以看出:图4(a)由于后向散射影响无法观察到任何靶标信息;图4(b)包含有部分微弱的靶标信息;图4(c)可以分辨轮廓及部分靶面信息;图4(d)轮廓清晰、靶面信息丰富;由图4(b)、图4(c)可知,双平台法对对比度差的选通图像增强效果明显;由图4(c)和图4(d)可知,帧叠加去噪算法可以大大改善增强效果。

针对水下选通图像可能出现的“照明不均匀”的现象,本文也进行了相应的成像实验和增强处理,分别采集到了照明不均匀、四帧叠加+全局直方图均衡化、四帧叠加+单平台法、四帧叠加+双平台法的图像如图5 所示,其中单平台法只保留了阈值Nth1,而Nth2 值为0,用于与双平台法进行对比,可反映阈值Nth2 对细节增强的影响。

图3 双平台法状态机流程图

图3 双平台法状态机流程图

表2 状态机描述

图4 对比度差增强效果图

图4 对比度差增强效果图

图5 照明不均匀增强效果

图5 照明不均匀增强效果

可以看出:图 5(a)光斑内靶面上的信息较为清晰,但光斑外靶标的轮廓无法分辨;图5(b)可分辨出靶标的轮廓,但靶面上光斑内的信息完全淹没,且噪声很大;图5(c)图像噪声明显下降,靶标边缘清晰,靶面大部分信息可见,但光斑内有小部分信息丢失;图5(d)相对于图5(c),靶标中心光斑最亮处的信息依旧存在,没有发生淹没现象,且其他位置部分的增强效果良好。

实验结果表明:本文的水下激光距离选通图像双平台直方图增强算法效果良好,在“对比度差”情况下,经过实时处理后,原来较难辨识的靶标轮廓、靶面部分信息都可以被分辨出来;在“照明不均匀”情况下,既可增强光斑外的区域,又可保留光斑内的细节信息,获得更多的全视场信息。

4 结语
本文采用帧叠加+双平台直方图均衡化实时增强算法,实现了水下激光距离选通成像的图像增强,实验证明:在采用适当的帧叠加方法有效降低距离选通图像噪声的基础上,单平台直方图均衡化的处理效果优于传统的全局直方图均衡化,而双平台直方图均衡化的处理效果又优于单平台直方图均衡化的效果。本文双平台直方图均衡化算法已成功移植到实验室研制的水下激光距离选通成像系统的FPGA 控制与图像处理平台,对高性能水下选通成像设备的发展具有推进作用。