一.概要

图像融合的目的是融合多幅原始图像中的冗余信息和互补信息,增强图像中的信息,便于图像的进一步分析。 图像融合可以在像素融合、特征融合和决策级融合三个层面进行。

1、像素融合

这是三个层次中最基本的融合,得到的结果具有边缘、纹理的提取等更好的详细信息。 该方法尽可能多地存储原始图像的信息,增加了融合图像的内容和细节。 这个优点是唯一的,唯一的缺点是计算量大,需要时间。

2、特征层面的融合

提取原图像中的特征信息。 这些特征是边缘、人物、建筑等关注区域。 然后对这些特征信息进行处理,合并后制成融合的特征图。 特征级融合对图像匹配的精度和要求没有第一级高,计算速度也快于第一级,但由于提取图像特征作为融合信息,会丢失很多细节特征。

3、决策层面的融合

最高水平的图像融合方法,抽象水平也是最高的。 这是对每幅图像的特征信息进行分类、识别等处理,形成相应的结果并进一步融合的过程,最终决策结果是全局最优决策。

总结:综合以上,研究和应用最多的是像素及融合!

关于像素和融合,通常考虑以下三种方法。

A/一种简单的图像融合方法。 b、基于塔形法。 c .基于小波变换的图像分解方法。

二.简单的方法

1、选择像素灰度最大值的方法;

f(M1,m2 )=max(N1(M1,m2 ),N2 ),nt ) m1,m2 ) }

N1、N2.Nt个大小为m1*m2的原图像,f是融合后的图像;

2、像素灰度值的最小选择方法;

3、加权平均融合方法;

f(M1,m2 )=W1n1(M1,n1 ) W2n2 ) m2,N2 )…wjnj(M1,n1 ) ) ) ) ) ) ) ) )。

其中,W1.Wj是图像的权重系数,它们之和是1。

在这种加权平均融合的方法中,参与融合的图像提供了冗余信息,这种融合可以提高检测的可靠性,同时也可提高信噪比。

假设存在证明:个噪声图像g(m1,n1 ),g ) m1,n1 )=f ) m1,n1 )。 (m1,n1 )是其中在像素(m1,n1 )中的图像的噪声,并且假设是非零相关性平均值的随机噪声。 f(m1,n1 )是不含杂波的原图像。

对以上的j个图像进行了平均加权融合的图像n(m1,n1 )如下。

很明显,

融合后的标准偏差降至原来的1/j^(1/2)。 实际上,此时多个图像的像素水平的平均融合是图像处理的平滑化处理。 该平滑处理在降低图像噪声的同时,有可能在一定程度上模糊图像的边缘和轮廓。 彩色图像融合是指按3个通道的顺序进行!

三.塔形分解法

1、图像融合步骤

(1)对每个原图像分别进行某种塔形分解,建立与各图像相对应的金字塔。

)2)对多分解层分别进行融合处理,可以逐层改变规则,得到融合后的金字塔。

)3)进行倒塔形变换。

2、原理说明

)1) yldmj金字塔)最基本的金字塔)将原始图像作为最下层图像G0 (第0层),利用5×5的yldmj核卷积,进行下采样,得到上层的图像G1。 重复这个操作得到yldmj金字塔。 构建过程是

模拟结果如下。

)2) ggdxh金字塔

在yldmj金字塔的运算过程中,由于图像经过卷积和下采样后会丢失一部分高频信息,因此对ggdxh金字塔进行定义。 从yldmj金字塔的每个层图像上采样到上一个层图像,减去与yldmj卷积的预测图像,得到一系列插值图像。 这就是我们得到的ggdxh图像。

L0层图像是yldmj金字塔G0图像和对其一层上的图像G1进行插值放大后的图像*G1之间的差,由于该过程相当于带通滤波,所以ggdxh金字塔也称为带通金字塔分解。

模拟结果如下。

(3)重构

对于融合后的ggdxh金字塔,从其最上层开始,按从上到下的顺序按下式递归,可以复原对应的yldmj金字塔,得到原图像G0

GN=LPN; L=N时

GL=LPL G*L 1当1LN;

图像ggdxh金字塔分解的目的是将原图像分解为各自不同的空间频带,融合过程可以在各空间频率层分别进行,从而在不同层使用不同的融合算子。

模拟结果如下。