皮皮网

1.基于注意力单元的双通改进SiamFC++的单目标追踪系统
2.4K HDMI 接收发送 FMC子板图像处理LVDS to HDMI 转换立体声双通道
3.十万火急！请教3D-analyze设置和使用的道源详细方法

基于注意力单元的改进SiamFC++的单目标追踪系统

       随着计算机视觉技术的进步，单目标追踪（SOT）在多个实际应用中得到广泛应用，码双如智能监控、通道交通管理和无人驾驶。原理然而，双通vs 源码目标外观变化、道源遮挡和光照变化等因素给SOT任务带来挑战。码双基于深度学习的通道方法在SOT领域取得了显著进展。

       SiamFC是原理一种基于孪生网络的方法，通过编码目标和背景为两个特征图，双通计算它们之间的道源相似度实现目标跟踪。但SiamFC在处理复杂场景和目标变化时仍存在局限性，码双如目标遮挡和光照变化。通道因此，原理研究者们提出了许多改进方法，其中图注意力单元（Graph Attention Unit）作为一种有效的注意力机制，能够在图结构数据上学习目标的相关性和重要性，提高SiamFC模型对目标的关注度，从而提高单目标追踪的准确性和鲁棒性。

       本研究旨在基于图注意力单元的改进SiamFC++的单目标追踪系统。通过引入图注意力单元，我们设计了一种新的网络结构，将图注意力单元嵌入到SiamFC模型中，提高模型对目标的关注度和区分度。同时，我们还探索了不同的portal源码注意力机制和损失函数，以进一步提高模型的性能。本研究的意义主要体现在以下几个方面：提高SiamFC模型在复杂场景和目标变化下的追踪性能；推动深度学习在SOT领域的应用；为实际应用提供更准确、鲁棒的单目标追踪解决方案。

       近年来，计算机视觉引起了学界的广泛关注。单目标追踪作为计算机视觉的重要研究方向之一，在研究过程中除了追求准确性之外还要保证实时性，以提高现实适用性。本章针对实时单目标追踪问题，利用双边加权最小二乘模糊支持向量机，提出了基于多特征融合的实时追踪算法FSCFI4]。实验结果表明，与已有的高性能单目标追踪算法相比，所提FSCF算法在形变、快速运动、运动模糊等多个方面均表现出了更优的追踪性能。

       图像相似度计算是计算机视觉和图像分析中最基本的任务之一，在诸多视觉任务中发挥着重要作用。双通道网络的核心思想在于将孪生网络的双分支合并在一起。孪生网络和双通道网络的网络架构图如图所示。与孪生网络相比，双通道网络共同处理了两个patch，提供了更大的灵活性。通过实验，Zagoruyko等证明了双通道网络不仅训练速度更快，而且模型精度更高。shopxx 源码

       Graph_Attention_Union.py是一个名为Graph_Attention_Union的神经网络模型类，它继承自nn.Module和ABC类，并包含了一些卷积层和线性变换层。该模型类的初始化函数接受两个参数：in_channel和out_channel，分别表示输入通道数和输出通道数。模型的前向传播函数forward接受两个输入zf和xf，分别表示搜索区域节点和目标模板节点。整个模型的目的是实现图注意力机制，用于处理图结构数据的特征提取和聚合。

       SiamFC_plus.py是一个用于目标跟踪的Siamese网络的实现，它包含了三个主要的模块：特征提取模块、Siamese网络架构和损失函数。特征提取模块是一个简单的卷积神经网络，它包含了三个卷积层，用于从输入图像中提取特征。Siamese网络架构包含了一个特征提取模块和两个头部（Classification head和Regression head）。损失函数定义了Siamese网络的训练损失，包含了两个部分：分类损失和回归损失。

       双通道网络和孪生网络最大的区别在于，孪生网络是在最后的全连接层中才将两张的相关神经元关联在一起，而双通道网络则是从最初就将输入的两张联系在一起。与孪生网络相比，双通道网络共同处理了两个patch，提供了更大的灵活性。本节将双通道网络引入到单目标追踪领域中，提出了一个融合双通道网络和SiamFC的vxworks 源码实时单目标追踪算法SiamFC_plus。

       网络的前向传播过程是按照从前往后的顺序，从输入层开始经由隐藏层到达输出层，逐层计算出各个网络层的激活值，最后得到网络输出值。网络一共有L=9层，结合表6-1可知其中包括了1个输入层，5个卷积层，2个池化层，1个全连接层。第1层是输入层，输入目标模板图像z和搜索区域图像x，以z为滤波器，在每个颜色通道上对x做互相关操作，其输出为：

       完成前向传播过程后，开始进行网络的反向传播。反向传播过程是按照从后往前的顺序，从输出层开始经由隐藏层到达输入层，逐层计算出每个网络层的误差项，进而计算各层网络参数的梯度，最后根据梯度值更新各层网络参数。

       以往的跟踪器都通过模板分支和搜索分支之间的互相关实现相似性学习。原算法的作者认为这种方式存在以下缺点：以往跟踪器一般是以目标中点为中心取m*m大小的区域作为模板，这会导致提取到部分背景信息或者丢失部分目标信息。本文只提取目标所在bbox区域作为模板帧。以往跟踪器互相关是将提取到的模板特征在搜索区域上做全局搜索，无法适应旋转、aosp 源码姿态变化、遮挡等情况。

       GAM：提出图注意力模块（Graph Attention Module），有效将目标信息从模板特征传递至搜索特征。SiamGAT：在SiamCAR基础上做了改进，设计 target-aware 的选择机制以适应不同目标的大小和长宽比变化。整体网络结构如图，特征提取使用GoogleNet，头部和SiamFC++一样。

       下图完整源码＆数据集＆环境部署视频教程＆自定义UI界面。参考博客《基于图注意力单元的改进SiamFC++的单目标追踪系统》。

       [1] 杨晓伟, 黄滢婷. 基于多特征融合的实时单目标追踪算法[J]. 华南理工大学学报（自然科学版）.,(6).DOI:./j.issn.-X. .

       [2] Tsung-Yi,Lin, Priyal,Goyal, Ross,Girshick,等. Focal loss for dense object detection.[J].IEEE Transactions on Pattern Analysis & Machine Intelligence.,(Spec).DOI:./TPAMI.. .

       [3] Mingming Lv, Li Wang, Yuanlong Hou,等.Mean Shift Tracker With Grey Prediction for Visual Object Tracking[J]. Canadian journal of electrical & computer engineering.,(4).-.DOI:./CJECE.. .

       [4] Bourque, Alexandra E., Bedwani, Phane, Carrier, Jean-Francois,等. Particle Filter-Based Target Tracking Algorithm for Magnetic Resonance-Guided Respiratory Compensation: Robustness and Accuracy Assessment[J].International Journal of Radiation Oncology, Biology, Physics.,(2).-.DOI:./j.ijrobp... .

       [5] Liu, Huaping, Yu, Yuanlong, Sun, Fuchun,等. Visual-Tactile Fusion for Object Recognition[J].IEEE transactions on automation science and engineering: a publication of the IEEE Robotics and Automation Society.,(2).-.DOI:./TASE.. .

       [6] Zhang, Le, Suganthan, Ponnuthurai Nagaratnam. Robust visual tracking via co-trained Kernelized correlation filters[J].Pattern Recognition: The Journal of the Pattern Recognition Society..-.

       [7] Baochang Zhang, Zhigang Li, Xianbin Cao,等.Output Constraint Transfer for Kernelized Correlation Filter in Tracking[J].IEEE Transactions on Systems, Man, and Cybernetics: Systems.,(4).-.DOI:./TSMC.. .

       [8] Yoon, Kuk-Jin, Yoon, Ju Hong, Yang, Ming-Hsuan. Interacting Multiview Tracker[J].IEEE Transactions on Pattern Analysis & Machine Intelligence.,(5).

       [9] Hare, Sam, Golodetz, Stuart, Saffari, Amir,等. Struck: Structured Output Tracking with Kernels[J].IEEE Transactions on Pattern Analysis & Machine Intelligence.,().

       [] Henriques, Joao F., Caseiro, Rui, Martins, Pedro,等. High-Speed Tracking with Kernelized Correlation Filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.,(3).-.DOI:./TPAMI.. .

4K HDMI 接收发送 FMC子板图像处理LVDS to HDMI 转换立体声双通道

       明德扬自主研发的4K HDMI FMC开发模块，支持4K 帧的HDMI输入与输出，内置IT作为HDMI接收器，LTUX作为HDMI发送器，兼容市面上具有FMC_HPC接口的开发板。IT是双端口HDMI2.0b接收器，支持6.0Gbps /通道，符合MHL2.2、HDMI 1.4b/ HDMI2.0b，HDCP 1.4 / HDCP2.2规范，支持DTS-HD、Dolby TrueHD等音频内容，支持所有与HDMI 2.0 3D规范兼容的主要3D格式。此外，IT还支持多达个通道的I2S数字音频输出和S/PDIF输出，直接连接到行业标准的低成本音频DAC。LTUX是一款高性能LVDS至HDMI2.0转换器，支持LVDS输入配置为单端口、双端口或四端口，HDMI2.0输出支持高达6Gbps的数据速率。该开发模块采用IT和LTUX芯片，实现4K HDMI接收发送功能，支持多种视频和音频格式，提供完整源代码，满足开发者需求。

十万火急！请教3D-analyze设置和使用的详细方法

       现在有很多显卡优化软件，例如Rivatuner、Nvmax、Rage3D等，但大多数软件都无法对现在市面上所有的显卡进行优化。更重要的是，现在的优化软件都是基于显卡本身的架构进行优化，充其量也只是让显卡更好地发挥本身的性能而已，如果显卡无法满足应用程序所需要的配置，那么无论怎么优化，程序本身的速度不会有太大提升。特别是随着3D技术的不断发展，3D游戏需要的显卡配置也越来越高，现在很多玩家使用的显卡都已经不能流畅运行最新的3D 游戏。就当人们为此而苦恼的时候，3D-Analyze出现了。

       严格来说，3D-Analyze并不是一个真正意义上的显卡优化软件，把它称为3D程序外挂软件可能更合适一些。它并不是针对某种显卡的架构来对显卡本身进行优化，它只是修改了3D应用程序的执行文件，所以3D-Analyze可以在任意一个3D程序中针对任意一款显卡进行优化。另外，3D- Analyze还能模拟出时下DirectX以及OpenGL的各种特效，这也使得低级别的显卡可以通过3D-Analyze模拟出高级别3D API的特殊效果（如DX8显卡模拟DX9特效）。

       由于3D-Analyze是通过修改3D应用程序的执行文件来发挥作用，所以它不能直接对一款显卡进行优化，只能依赖于3D程序本身（类似于某些加速工具），只有当应用程序和3D-Analyze同时打开的时候，3D-Analyze对显卡的优化效果才能体现出来。下面，我们以当前最新的3D- Analyze 2.b版为例，详细介绍这个软件的使用方法。

       ToMMTi-Systems出品的3D-Analyze（3D分析者）v2.b版，这款软件是一款基于DirectX和OpenGL的工具。运行的时候必须选择EXE / BAT文件才可以，支持很多测试程序和游戏程序，是一款可使低端显卡玩高端游戏或者运行高端测试软件的软件。

       首先下载3D-Analyze

       http://www.3dcenter.de/downloads/3d-analyze.php]http://www.3dcenter.de/downloads/3d-analyze.php

       这个软件是绿色软件，无需安装，运行 3DAnalyze.exe 启动程序，出现如下画面，是不是有些头大？没关系，请参考这张画面学习该软件的使用方法。

       从界面中我们可以看出，操作面板可以分为4个部分：

       DirectX 8.1 and 9.0 Options：D3D设置

       OpenGL Options：OpenGL设置

       DirectX Device ID's：DirectX设备ID设置

       Misc：其他设置

       下面我们根据这四块，详细解释一下：

       一）DirectX 8.1 and 9.0 Options：D3D设置

       (1) Performance（表现模式）

       disable textures：屏蔽纹理

       disable rendering：屏蔽渲染

       force SW TnL ：关闭GPU硬件加速，采用CPU加速

       disable state switches：屏蔽模式转换

       performance logging：实时记录表现

       counters：D3D绘图计算

       force small texture (×)：强制最小化纹理(×)

       force zbuffer：强制z-buffer

       force wbuffer：强制w-buffer

       disable lighting：屏蔽光源效果

       disable two sided stencil：开启DX8双通道模版测试模式

       force anisotropic filtering：强制各向异性过滤

       force windowsd mode：强制窗口模式

       (2) Pixel and Vertex Shader（顶点及像素绘图）

       force max pixel shader version 1.1：打开全部PS1.1效果（需要显卡支持）

       force max pixel shader version 1.4：打开全部PS1.4效果（需要显卡支持）

       skip pixel shader version 1.1：屏蔽PS1.1效果

       skip pixel shader version 1.4：屏蔽PS1.4效果

       skip pixel shader version 2.0：屏蔽PS2.0效果

       force low precision pixel shaders：开启部分低精度PS效果

       force high precision pixel shaders：开启全部高精度PS效果

       save shader to file：保存绘图格式到文件

       (3) Hardware Limits(cap bits)（硬件特效界限）

       emulate HW TnL caps：模拟硬件TnL加速（显卡无TnL加速时）

       emulate other DX8.1 caps：模拟其他DX8.1特效

       emulate pixel shader caps：模拟PS特效

       emulate bump map caps：模拟颠簸起伏绘图效果

       emulate max. sim. textures：最大化模拟虚拟纹理效果

       (4) Hardware Limits(feature)（硬件特征界限）

       emulate cube maps：模拟2D贴图代替3D贴图的效果

       emulate DXT textures：模拟DXT纹理压缩

       KYRO zbuffer/stencil fix：解决KYRO显卡只支持一个z-buffer模版格式的问题

       VOODOO flicker fix：修复VOODOO系列显卡全屏模式下闪烁的问题

       (5) Game/Demo fixs（游戏/游戏DEMO问题修复）

       NOLF2 texture/ib fix：修复了KYRO驱动不兼容《无人永生2》的问题

       Gun Metal Demo fix：使非nVIDIA的显卡可以运行Gun Metal Demo（nVIDIA出品的用于测试的CG游戏）

       Mafia shadow fix：修复了ATi显卡在《黑手党》中阴影闪烁的问题

       LOTR texture fix：修复了KYRO显卡运行《指环王》贴图错误的问题

       Matrox Reef Demo fix：修复了GeForce 3/4系列和Radeon 显卡图形转换错误导致不能运行Matrox Reef Demo（迈拓出品的测试游戏）的问题。

       Spider-Man fix：修复了《蜘蛛侠》在 Voodoo 5 上玩出现的问题

       Ruby benchmark - NV4x：

       Ruby benchmark - Rx：

       说明：对大多数玩家来说，DX8.1和DX9.0选项的设置是最重要的。其中Performance（表现模式）和Pixel and Vertex Shader（顶点及像素绘图）这两个的选项主要针对显卡本身拥有的特效或者性能来设置，通过这些设置可以让显卡在程序中的效果产生变化； Hardware Limits-cap bits（硬件特效界限）和Hardware Limits-feature（硬件特征界限）则是提升显卡性能及效果的关键，通过这两项的设置，显卡可以模拟出各种DX8.1/DX9.0的特效以及其他类显卡特殊的工作方式，从而在程序中显示出更好的效果并提升运行速度；而Game/Demo fixs（游戏/游戏DEMO问题修复）这一项主要针对一些显卡在游戏中的错误进行了修正，除非玩家需要运行这些游戏程序，否则没有必要设置。

       二）OpenGL Options：OpenGL设置

       (1) Performance（表现模式）

       performance logging：实时记录表现

       counters：OpenGL绘图计算

       force small texture(×)：强制最小化纹理(×)

       disable textures：屏蔽纹理

       disable rendering：屏蔽渲染

       force anisotropic filtering：强制各向异性过滤

       (2) Fragment and Vertex Programs（个别程序和顶点效果）

       save programs to file：保存程序到文件

       说明：这一项主要是运行OpenGL程序时，对相关的选项进行设置。同样的，一些不完美支持OpenGL的显卡通过这个项目的设置，可以对一些特效进行模拟。3D-Analyze对非主流的OpenGL的设置不多，如果玩家不运行OpenGL程序的话，这一项可以不设置。

       （三）DirectX Device ID's：DirectX设备ID设置

       说明：这一项是让玩家通过选择nVIDIA和ATi高端显卡的VendorID（销售型号）和DeviceID（设备型号）使自己的显卡模拟这些高端显卡的工作方式。3D-Analyze已经为玩家列出了4种高端显卡，分别是ATi的Radeon 、Radeon Pro以及nVIDIA的GeForce Ti 、GeForceFX Ultra。只要玩家在前面的格子中填入想要模拟的显卡的VendorID（销售型号）和DeviceID（设备型号），那么在应用程序中，玩家的显卡就会模拟这种显卡的工作方式。这一项对提升程序运行速度有很大的帮助，务必要设置好。

       （四）其他设置

       force wireframe mode：每一帧描绘最大多边形数目

       debug logging：除错调试记录

       force hz ：强制程序运行在Hz刷新率下

       force reference rast：用软加速代替硬件加速

       ANTI-DETECT-MODE shaders/textures：改变绘图/纹理源代码以防止显卡驱动自动侦测

       force hook dll：自动为应用程序加上3D-Analyze设置

       countdown for disable rendering/disable state switches in seconds：对屏蔽渲染/转换模式设置倒计时（单位：秒）

       Remove Stuttering - quality mode/performance mode：删除表现模式和加速模式

       Z-buffer：强制使用位/位Z-buffer（使用模版/不使用模版）

       说明：这些设置比较专业，同时它对显卡的在程序中的表现并没有什么提升，所以玩家不要轻易去设置，以免程序在运行过程中出现错误。

       当一切设置完毕后，玩家点击一次save batch file(记录批处理文件)就可以把自己所有的设置保存下来，下一次直接点击相同的应用程序，即时没有运行 3D-Analyze，玩家设置的各种效果都会在程序中得到体现，最后点击Run（运行），3D-Analyze会自动激活所选择的3D程序。

       在使用了3D-Analyze后，即使是DX7的显卡也可以完整地运行3Dmark的所有测试项目，一些DX8显卡才能进入的游戏也可以用 DX7显卡很顺利地运行了（某些游戏可能会有一定的绘图错误）；即使是普通的3D游戏，在用3D-Analyze优化以后，速度也比以前提高了% ～%。而对于大多数玩家来说，3D-Analyze带来的好处是不言而喻的，它可以针对任何显卡以及绝大多数3D程序进行优化，完全可以让一些垂垂老矣的显卡发挥出以前想象不到的性能，重新散发出活力。

       上面介绍了3D-Analyze操作面板的各个功能项，但是具体到一个游戏究竟该怎么设置，这还需要研究。注意以下几点：

       1.如果你的显卡是nVIDIA系列，就模拟nVIDIA的显卡，AIT的就模拟ATI的显卡，尽量不要交叉

       2.GeForce TI 支持PS1.4，

       GeForce 3 TI可以支持到PS1.3，

       GeForce FX ～可以支持PS 2.0、VS 2.0和DirectX 9

       GeForce Ultra（NV）首款支持PS 3.0、VS 3.0和DirectX 9

       NV支持PS 2.0、VS 2.0和DirectX 9，OpenGL 2.0

       Radeon 可以支持VS1.1和PS1.4，

       下面列出几个游戏在GF MX 显卡下的设置方法，其他的游戏基本可以参照实行：

       GeForce 2 MX 下玩《寂静岭4》方法：

       勾选如下选项：

       1.Pixel and Vertex Shader 栏中的 force max. pixel shader version 1.4

       2.Hardware Limits(cap bits) 栏中的 emulate HW Tnl caps

       3.Hardware Limits(cap bits) 栏中的 emulate pixel shader caps

       修改 DirectX Device ID's(set it 0 to use your hardware ID's) 栏中

       VendorID为，DeciveID为，也就是模拟 Ultra

       说明:

       1.请不要勾选更多的选项,否则游戏画面反而不正常。

       2.开始新游戏,第一次可以自由行动时,画面是全白不正常的,此时按键调出菜单就可以看见游戏画面了(第一人称视角),靠着这样走向电视机旁的过道会触发CG Movie，之后游戏画面就正常了。