皮皮网

1.FusionForge简介
2.图像处理（十一）exposure fusion 图像曝光融合
3.VINS-Mono：原理深剖+白板从零手推公式+源码逐行精讲！论坛
4.整理了16篇多模态融合（Multimodal Fusion）优质论文，源码源码含2023最新

FusionForge简介

       FusionForge是分享一个专为协同开发设计的全面平台，它集多种功能于一身，论坛旨在提升团队间的源码源码沟通与协作效率。首先，分享-110源码 反码它的论坛通讯工具模块包括论坛、邮件列表和新闻服务，源码源码为团队成员提供了一个开放的分享讨论和信息分享空间，促进思想交流和知识共享。论坛

       在开发工具方面，源码源码FusionForge提供了强大的分享支持，包括bug跟踪系统，论坛帮助团队有效地追踪和解决项目中的源码源码问题；项目管理工具，帮助团队成员协调任务，分享跟踪进度，确保项目按计划进行；源码控制系统则确保代码版本的管理和同步，便于团队成员协同开发和代码审查。

       社区工具是FusionForge的另一个亮点，它支持文件发布，使得团队成员可以方便地共享文件和资源；软件分类功能有助于用户快速找到所需的工具和资源；此外，Web托管服务使得FusionForge成为一个一站式的开发平台，团队的网站和应用程序可以直接托管在平台上，无需额外的部署步骤。

       总的来说，FusionForge是一个功能丰富的开发环境，无论是日常的交流，还是项目的具体实施，都能为团队提供稳定、高效的支持，是现代协作开发的理想选择。

图像处理（十一）exposure fusion 图像曝光融合

       本意是为了学习HDR，高动态范围成像，但HDR概念对我来说太复杂了，涉及到硬件和软件。我的目标是跳过硬件和tone mapping，只做最简单的多曝光融合，如下列图像

       融合成一张

       搜索曝光融合，网狐精华版源码和h5源码出现的是《exposure fusion》这篇文章，像素级别的融合，再加上多尺度的平滑处理，从现在的眼光来看，是非常简单的，OpenCV也实现了这个算法，在lightroom中也有应用。

       尽管原理简单，但实现上有坑，C++写了好几遍过不了，换成Python也错误，看了官方的matlab源码才知道坑。

       论文提出了三种计算每个像素融合权重的的方法

       对比度

       在过曝图像或严重低曝光的区域，图像都基本是或0，因此这些区域是很平滑的，梯度信息几乎为0，这些也是曝光融合中要舍弃的区域——过曝部分缺乏细节，低曝光区域缺乏细节和亮度。因此，论文提出用laplace算子提取图像的梯度信息，梯度信息越小的像素在融合时占据的比重就越小，相反梯度信息越大的像素的比重就越大。对输入的第[公式]张图像[公式]

       [公式]

       饱和度

       同样针对过曝或严重低曝光，二者的饱和度是接近于0的，而那些饱和度高的区域常常是需要保留的区域，因此论文通过三通道的标准差来衡量饱和度大小，以此得到不同的比重

       [公式]

       亮度

       亮度越接近0或者的，很可能就是处在过曝或严重低曝光区域，而亮度在附近的常常可以认为是曝光良好的区域，这些区域的信息在融合过程中要尽量保留，比重尽量大，如下

       [公式]

       [公式]是方差，论文中取0.2。以上公式是我具体实现时使用的，三通道的比重相乘，为了简单，也可以提取出YCrCb通道，鹅绒被有溯源码和没溯源码的区别用Y通道算也可以。良好曝光不一定取0.5。

       上面是人为提出的一些先验知识，接下来验证下是否有效

       可以看出，对于严重低曝光的图像，响应值比较高的就是光源附近的细节，这些细节得以保留，而过曝图像往往在这些地方是没有细节的

       同上，以亮度为例，该图在天空区域的曝光是良好的，而且具有一定的细节，得以保留

       对于这一类局部过曝的图像，背光区域反而得到了较好的曝光，所以图中气球的细节和亮度响应值比较高，得以保留，而天空和光源部分的灰度值偏离、梯度也较小，因此这些过曝的区域的响应值（比重）很小，在融合时被舍弃。

       上面根据对比度、饱和度、曝光三方面可以得到每个像素点在融合时的比重，三者合在一起

       [公式]

       为了防止多张图像融合，出现过高或者过低的值，要对[公式]进行归一化

       [公式]

       多张图像[公式]，各自对应一张归一化的比重图[公式]，融合

       [公式]

       上面的方法非常简单，但会得到十分粗糙的结果。我在具体实现时，得到的结果会出现很多黑色和纯白色的斑点（灰度值为0），而且存在一些光晕，如下：

       经过我追本溯源，发现这是由于多张图像之间的灰度跳变太大导致的——假设现在有图像序列[公式]，在点[公式]处，比重值分别是[公式]，因此在融合时，[公式]点的首发包网最新程序源码 包网SSC源码下载灰度值主要取决于[公式]；在旁边一个点，[公式]的比重值却是[公式]，融合时就主要取决于[公式]，而从[公式]的灰度值跳变太大，因此最后看起来有很多噪声。相邻点的比重相差会这么大，个人看法是比重由对比度、饱和度、亮度相乘得到，实际上，很多区域都是接近于0，差不多1e-4的值，三个相乘量级就到了1e-，任意一个指标突然变大变小，权重就一边倒了，基本集中在某一张图像上。理想情况是一系列对比度、饱和度、亮度平滑变化的图像，就不会出现这种问题，但实际也不可能拍这么多精细的图像。

       如何解决？一个很直观的想法就是对每张图的权重图做平滑处理，缓解灰度跳变，重新归一化后，再融合，效果如下：

       看得出来，有所改善，但还是不够平滑，存在一定程度的光晕，继续加大力度

       又好一点了，但天空还是很明显

       好像又好一点了！但还是存在一些光晕（后面怎么解决的还不清楚）。

       但是每次都对原始分辨率做这么大的计算吗？

       这又回到了上次总结的拉普拉斯金字塔融合，构造金字塔解决分辨率过大和滤波核过大的问题，这也是论文提出的方法

       使用laplace金字塔，对每张图像分解出laplace金字塔，对应的比重图分解出高斯金字塔，根据比重对laplace金字塔做融合，在线起名网源码pc和wap端源码下载从低分辨率开始上采样叠加同尺度的融合后laplace细节，即可得到结果，如下：

       效果有点惊艳，不仅融合了多张图像中的细节，还保持了良好的曝光，和之前的对比还是很明显的，如过曝这个区域的细节还是很不错的！但为什么和之前直径的高斯模糊相比，解决了光晕，这一点是我暂时无法理解的。

       算法十分简单，只要按部就班算出每个点的对比度、饱和度、曝光，结合起来，再加一个laplace金字塔分解，问题貌似就解决了。但我在实际写的时候，得到的结果却是这样的：

       饱和度太高了，而且细节也没有得到保留。。。。。。一开始还以为是C++，我索引写错了之类的，重写了几遍都过不了，换成python也是一样的，也是错的，后面还是参考了官方的matlab代码，才发现不同：

       即下面两张图的对比

       当我把上采样的对象改成了官方的形式，就正常了。

       至于为什么会这么差，我想可能是因为一路上采样，丢失的信息太多了，所以采用之前的高斯金字塔的次一级分辨率上采样可以减少信息损失。

       代码见我的github

       Python 3

       鬼影

       本篇讨论的多曝光图像融合，默认都是对齐的，但实际上不同时间拍的图像，会因相机抖动和环境的风吹草动，而导致内容有差别，使得最后的融合结果可能出现鬼影，而鬼影(ghost effect)也是HDR融合要解决的主要问题之一。

       移动

       考虑下面这个例子

       可以看到画面中的三个人物都存在较明显的移动，经过上面的exposure fusion像素级融合，就会得到下面的结果

       这一类情况下，不保证像素级的对齐，就会出现鬼影。

       模糊

       和多曝光融合类似的是多焦点融合，不同图像存在不同的局部模糊

       保留对比度、饱和度，不计算曝光，得到的融合结果如下:

       效果感觉还行，但又不很行 ! 如IMAGE块区域，第一张图有点类似于运动模糊的效果了，在曝光融合这里就近似于"没对齐"，因此融合的结果有一些虚影、鬼影 !

       虽然存在如上问题，但这个方法还是给后续的一些研究提供了思路，融合不断频段的信息做图像融合，不仅仅是曝光融合，多焦点融合等。

       参考资料

VINS-Mono：原理深剖+白板从零手推公式+源码逐行精讲！

       自动驾驶领域在年呈现出快速发展的态势，各大创业公司纷纷宣布获得大额融资。1月日，文远知行完成B轮3.1亿美元融资；1月日，滴滴获得3亿美元融资；2月8日，小马智行获得1亿美元C+轮融资；3月日，Momenta完成C轮总计5亿美元的融资；4月日，大疆创新推出智能驾驶业务品牌“大疆车载”，向汽车企业提供自动驾驶解决方案；4月日，小鹏汽车发布搭载激光雷达的智能汽车小鹏P5，成为全球第一款量产的激光雷达智能汽车；4月日，图森未来在美股上市，被称为“全球自动驾驶第一股”；4月日，华为和北汽合作实现上海城区通勤无干预自动驾驶，成为全球唯一城市通勤自动驾驶量产车。

       在自动驾驶、无人机、增强现实、机器人导航等技术领域中，定位和建图（SLAM）发挥着至关重要的作用，而视觉惯性里程计（VIO）作为SLAM算法中的一个重要分支，其理论复杂度较高。对VIO的掌握能力将直接影响到SLAM从业者的专业水平。VINS-Mono是由香港科技大学飞行机器人实验室（沈邵劼团队）在年开源的知名单目VIO算法。该算法由第一作者秦通（华为天才少年）提出，并在年获得IEEE Transactions on Robotics期刊的最佳论文奖。VINS-Mono使用单目相机和惯性测量单元（IMU）实现了视觉和惯性联合状态估计，同时能够估计传感器外参、IMU零偏以及传感器时延，是一款经典且优秀的VIO框架。

       VINS-Mono在室内、室外大尺度以及高速飞行的无人机场景中均表现出色。在手机AR应用中，该算法优于当前最先进的Google Tango效果。同时，VINS-Mono也是VINS-Fusion算法的基础，应用于汽车SLAM时同样展现出高精度和稳定性。

       在自动驾驶、无人机、增强现实、机器人导航等领域的岗位中，掌握VINS-Mono算法成为了关键技能之一。为此，计算机视觉life团队推出了独家课程《VINS-Mono：原理深剖+白板从零手推公式+源码逐行精讲》。该课程通过详细的步骤解读、疑难问题解析、结合作者回复的issue理解，帮助学员深入掌握VINS-Mono背后的原理。课程内容覆盖从基础理论到复杂公式的推导，通过白板从零开始手推公式的方式，使学员能够理解复杂公式的形成过程，从而真正掌握VINS-Mono的原理。课程价格根据购买时间调整，购买越晚价格越高。如有疑问，学员可加入QQ群（）咨询，购买成功后会自动显示内部答疑群。

整理了篇多模态融合（Multimodal Fusion）优质论文，含最新

       多模态融合是多模态学习领域中的关键问题，旨在综合处理来自不同模态（如语音、图像、文本等）的数据，提取有价值的信息和特征，并将这些信息融合，以增强系统的性能。近年来，这一领域已取得了多项值得关注的研究成果，以下将分享篇精选论文，涵盖多模态融合的理论、算法、应用等多个方面。欲获取论文及项目源码，请关注“学姐带你玩AI”公号（了解详情请参阅主页签名），回复“多模态融合”即可获取。

       1.

       传感器融合的外部多模态成像传感器标定：综述

       本文提供多模态成像传感器标定的研究综述，包括基于运动和特征的标定方法，着重探讨目标基标定、无目标标定以及系统多模态传感器标定的最新进展。

       2.

       低质量多模态数据的可证明动态融合

       该文提出一种动态多模态融合框架，通过理论分析揭示不确定性估计解决方案的鲁棒性，引入质量感知多模态融合框架，提高分类准确性和模型鲁棒性。

       3.

       用于道路检测的自适应跳过交叉融合

       文中提出SkipcrossNets，一种用于自动驾驶任务中LiDAR点云与相机图像融合的网络，通过动态连接各层，增强特征传播与融合，减少模型参数。

       4.

       面向三维目标检测的多传感器融合与时间一致性Transformer

       FusionFormer框架用于3D物体检测，通过引入可变形注意力和残差结构，解决特征转换问题，实现统一的采样策略，提升检测性能。

       5.

       多模态语义映射用于物体检测和3D定位

       本文介绍一种结合RGB-D相机和激光雷达的多模态语义映射框架，准确检测预定义对象，优于单传感器实验，特别适用于近和远距离障碍物。

       6.

       用于智能车辆RGB-T城市场景理解的动态双边交叉融合网络

       DBCNet融合RGB-T图像，采用动态双边交叉融合机制，直接聚合多模态信息，优于深度学习基线方法，提升智能车辆的场景理解能力。

       7.

       多模态相互关注和迭代交互用于参考图像分割

       提出多模态相互关注和迭代交互方法，增强模型对多模态信息的理解，通过连续和深入的交互，避免信息扭曲，显著提升参考图像分割性能。

       8.

       用于语义分割的多模态融合网络

       TransFusion模型直接融合图像与点云，无需点云预处理，相较于基本层FCN模型，显著提升Vaihingen和Potsdam数据集的mIoU值。

       9.

       用于多模态3D对象检测的激光雷达-相机深度融合

       DeepFusion模型集成激光雷达和相机特征，通过引入InverseAug和LearnableAlign技巧，实现通用多模态3D检测，性能优于现有方法。

       .

       通过深度感知增强的多曝光图像融合

       DPE-MEF网络融合不同曝光图像，通过深度感知增强策略和色彩映射校正，显著提升单张图像的曝光质量。

       .

       基于傅里叶变换和对比学习的鲁棒框架

       提出鲁棒多曝光图像融合框架，结合傅里叶变换与对比学习，处理极端和多样化曝光图像，通过像素强度转移和对比正则化损失，实现高质量融合效果。

       .

       基于multi-moda的雷达和相机特征之间的视差桥接

       文中介绍一种在鸟瞰图下融合雷达与相机特征的新方法，用于3D目标检测，通过视图变换和点融合，实现雷达和相机特征的高效融合。

       .

       半监督医学图像分割的多模态对比互学习与伪标签再学习

       Semi-CML框架利用对比互学习与伪标签再学习，提高半监督医学图像分割的性能，通过跨模态信息和预测一致性，弥补性能差距。

       .

       同质多模态特征融合和交互的三维物体检测

       HMFI方法在自动驾驶场景中实现三维物体检测，通过跨模态特征融合与交互，避免信息损失，提升检测准确性和性能。

       .

       用于端到端自动驾驶的多模态策略融合

       TransFuser Transformer模型集成图像与LiDAR表示，通过注意力机制实现策略融合，减少碰撞风险，表现优于基于几何的融合方法。

       .

       基于Transformer的多曝光图像融合框架

       TransMEF框架使用Transformer与自监督多任务学习，通过三个自监督重建任务学习特征，设计结合CNN与Transformer模块的编码器，实现多曝光图像融合。

       以上论文涵盖了多模态融合的多个角度，从标定、融合算法、应用场景到性能优化，为多模态研究提供了丰富资源。欲获取详细内容和代码，请参照“学姐带你玩AI”公号指引。