1.像处理（十一）exposure fusion 像曝光融合

像处理（十一）exposure fusion 像曝光融合

       本意是鬼影鬼影为了学习HDR，高动态范围成像，源码但HDR概念对我来说太复杂了，鬼影鬼影涉及到硬件和软件。源码我的鬼影鬼影目标是跳过硬件和tone mapping，只做最简单的源码亿寻源码多曝光融合，如下列图像

       融合成一张

       搜索曝光融合，鬼影鬼影出现的源码是《exposure fusion》这篇文章，像素级别的鬼影鬼影融合，再加上多尺度的源码平滑处理，从现在的鬼影鬼影眼光来看，是源码非常简单的，OpenCV也实现了这个算法，鬼影鬼影在lightroom中也有应用。源码

       尽管原理简单，鬼影鬼影但实现上有坑，C++写了好几遍过不了，换成Python也错误，看了官方的matlab源码才知道坑。

       论文提出了三种计算每个像素融合权重的喇叭指标源码的方法

       对比度

       在过曝图像或严重低曝光的区域，图像都基本是或0，因此这些区域是很平滑的，梯度信息几乎为0，这些也是曝光融合中要舍弃的区域——过曝部分缺乏细节，低曝光区域缺乏细节和亮度。因此，论文提出用laplace算子提取图像的梯度信息，梯度信息越小的像素在融合时占据的比重就越小，相反梯度信息越大的像素的比重就越大。对输入的第[公式]张图像[公式]

       [公式]

       饱和度

       同样针对过曝或严重低曝光，二者的饱和度是接近于0的，而那些饱和度高的区域常常是需要保留的区域，因此论文通过三通道的标准差来衡量饱和度大小，以此得到不同的比重

       [公式]

       亮度

       亮度越接近0或者的，很可能就是处在过曝或严重低曝光区域，而亮度在附近的常常可以认为是曝光良好的区域，这些区域的信息在融合过程中要尽量保留，比重尽量大，如下

       [公式]

       [公式]是趋势ea源码方差，论文中取0.2。以上公式是我具体实现时使用的，三通道的比重相乘，为了简单，也可以提取出YCrCb通道，用Y通道算也可以。良好曝光不一定取0.5。

       上面是人为提出的一些先验知识，接下来验证下是否有效

       可以看出，对于严重低曝光的图像，响应值比较高的就是光源附近的细节，这些细节得以保留，而过曝图像往往在这些地方是没有细节的

       同上，以亮度为例，该图在天空区域的曝光是良好的，而且具有一定的细节，得以保留

       对于这一类局部过曝的图像，背光区域反而得到了较好的曝光，所以图中气球的商城全站源码细节和亮度响应值比较高，得以保留，而天空和光源部分的灰度值偏离、梯度也较小，因此这些过曝的区域的响应值（比重）很小，在融合时被舍弃。

       上面根据对比度、饱和度、曝光三方面可以得到每个像素点在融合时的比重，三者合在一起

       [公式]

       为了防止多张图像融合，出现过高或者过低的值，要对[公式]进行归一化

       [公式]

       多张图像[公式]，各自对应一张归一化的比重图[公式]，融合

       [公式]

       上面的方法非常简单，但会得到十分粗糙的结果。我在具体实现时，得到的结果会出现很多黑色和纯白色的斑点（灰度值为0），而且存在一些光晕，如下：

       经过我追本溯源，发现这是纸牌源码下载由于多张图像之间的灰度跳变太大导致的——假设现在有图像序列[公式]，在点[公式]处，比重值分别是[公式]，因此在融合时，[公式]点的灰度值主要取决于[公式]；在旁边一个点，[公式]的比重值却是[公式]，融合时就主要取决于[公式]，而从[公式]的灰度值跳变太大，因此最后看起来有很多噪声。相邻点的比重相差会这么大，个人看法是比重由对比度、饱和度、亮度相乘得到，实际上，很多区域都是接近于0，差不多1e-4的值，三个相乘量级就到了1e-，任意一个指标突然变大变小，权重就一边倒了，基本集中在某一张图像上。理想情况是一系列对比度、饱和度、亮度平滑变化的图像，就不会出现这种问题，但实际也不可能拍这么多精细的图像。

       如何解决？一个很直观的想法就是对每张图的权重图做平滑处理，缓解灰度跳变，重新归一化后，再融合，效果如下：

       看得出来，有所改善，但还是不够平滑，存在一定程度的光晕，继续加大力度

       又好一点了，但天空还是很明显

       好像又好一点了！但还是存在一些光晕（后面怎么解决的还不清楚）。

       但是每次都对原始分辨率做这么大的计算吗？

       这又回到了上次总结的拉普拉斯金字塔融合，构造金字塔解决分辨率过大和滤波核过大的问题，这也是论文提出的方法

       使用laplace金字塔，对每张图像分解出laplace金字塔，对应的比重图分解出高斯金字塔，根据比重对laplace金字塔做融合，从低分辨率开始上采样叠加同尺度的融合后laplace细节，即可得到结果，如下：

       效果有点惊艳，不仅融合了多张图像中的细节，还保持了良好的曝光，和之前的对比还是很明显的，如过曝这个区域的细节还是很不错的！但为什么和之前直径的高斯模糊相比，解决了光晕，这一点是我暂时无法理解的。

       算法十分简单，只要按部就班算出每个点的对比度、饱和度、曝光，结合起来，再加一个laplace金字塔分解，问题貌似就解决了。但我在实际写的时候，得到的结果却是这样的：

       饱和度太高了，而且细节也没有得到保留。。。。。。一开始还以为是C++，我索引写错了之类的，重写了几遍都过不了，换成python也是一样的，也是错的，后面还是参考了官方的matlab代码，才发现不同：

       即下面两张图的对比

       当我把上采样的对象改成了官方的形式，就正常了。

       至于为什么会这么差，我想可能是因为一路上采样，丢失的信息太多了，所以采用之前的高斯金字塔的次一级分辨率上采样可以减少信息损失。

       代码见我的github

       Python 3

       鬼影

       本篇讨论的多曝光图像融合，默认都是对齐的，但实际上不同时间拍的图像，会因相机抖动和环境的风吹草动，而导致内容有差别，使得最后的融合结果可能出现鬼影，而鬼影(ghost effect)也是HDR融合要解决的主要问题之一。

       移动

       考虑下面这个例子

       可以看到画面中的三个人物都存在较明显的移动，经过上面的exposure fusion像素级融合，就会得到下面的结果

       这一类情况下，不保证像素级的对齐，就会出现鬼影。

       模糊

       和多曝光融合类似的是多焦点融合，不同图像存在不同的局部模糊

       保留对比度、饱和度，不计算曝光，得到的融合结果如下:

       效果感觉还行，但又不很行 ! 如IMAGE块区域，第一张图有点类似于运动模糊的效果了，在曝光融合这里就近似于"没对齐"，因此融合的结果有一些虚影、鬼影 !

       虽然存在如上问题，但这个方法还是给后续的一些研究提供了思路，融合不断频段的信息做图像融合，不仅仅是曝光融合，多焦点融合等。

       参考资料