编辑：一点人工一点智能
原文：DCF：平面视觉的视差计算零碎
视差图是平面视觉零碎的重要组成部分，因为它们会对两个或多个图像的位移进行编码。不过，以前的工作只提供了一些实现细节，解决步骤上不太好定义，并且很少探讨软件设计。与之相同，DCF 是对平面视觉零碎的次要组件进行标准化，并进行了集成，以促成视差图的构建。因而，DCF 算法能够被参数化或应用先前定义的配置来执行。因而，DCF 输入能够定向到不同的利用，例如基准测试计划、计算机和机器人利用、三角测量和 3D 重建。
我的项目地址：https://github.com/SoftwareImpacts/SIMPAC-2022-236
01 零碎简介
视差计算是应用相机的机器视觉过程中的一个步骤。在平面视图中，相机通常同时记录来自不同视点的图像 [1，2]。只管相机记录了雷同的场景，但它们位于先前配置的位移裕度（displacement margin）或无限度配置的不同地位[3]。生成的图像具备一些雷同的场景元素，这些元素能够用于测量与相机无关的图像的偏移[4]。这种办法能够从二维图像和应用二维图像构建的三维场景中预计深度[5，6，7]。
视差计算旨在测量相机之间像素的位移 [8]。挪动较少的像素具备较小的视差值。另一方面，当能够在非相邻地位处察看到像素挪动时，呈现较大的视差值。该测量是依据一个或多个指标图像与参考图像的坐标来计算的。顾名思义，参考图像是察看像素位移的终点。
视差信息示意着场景中的元素到参考相机的靠近度或间隔。视差也被视为逆深度，因为视差值与深度成反比[9，10]。当像素在图像之间具备较小的位移时，视差值批示场景中的对象离得更远，即，它们具备更大的深度值。相同，更显著的差别表明场景中的对象更靠近参考相机，即它们具备更低的深度值。
视差计算的过程中会程产生一个被命名为视差图的新图像。平面算法通常在取得视差图时执行四个步骤 [[9]。第一是匹配成本计算，用于查看像素之间的相似性。第二是老本（反对）聚合，它在像素相似性评估中增加了邻域窗口。第三是视差计算 / 优化步骤，其计算参考图像和指标图像之间的像素的位移。最初，第四步是视差细化步骤，对视差图进行调整以校对计算误差。
评估像素之间的相似性对于计算机视觉零碎来说是一项具备挑战性的工作。光度失真、镜面反射、透视失真、含糊区域、反复图案、遮挡和噪声会重大影响像素匹配 [11，12，13]。因为独自的像素容易出错，因而应用 Support 或 Aggregation 窗口，以便核心像素的相邻区域缩小像素之间的模糊性和失配。这种策略（或基于区域的办法）在逐像素（或基于像素的办法）评估方面提供了更明确的后果[14]]。然而，Aggregation 窗口的现实大小是一个须要找到的参数，并且它是一个可能烦扰平面视觉算法执行工夫的参数。
有许多视差计算算法，特地是用于老本聚合（the cost aggregation）步骤的办法 [14，15，16]。一些工作探讨了聚合窗口大小的不变办法，如积分图像[17] 和框滤波 [18，19]。其他人提出了可变大小的窗口[20]、色彩强度程度的感知分组[21]、窗口位移[9]、多分辨率图像[22] 或用于视差计算的图像宰割 [23]。只管每种办法都有其特殊性，但一些常见元素有助于编码、重用和比拟不同的深度预计计划。
这项工作提出了视差计算框架（DCF），旨在实现不同视差计算计划的共存。DCF 界定了平面视觉的范畴，为按需解决不同的应用程序提供了松软的根底，其软件设计容许附加新的平面视觉办法、算法和指标评估。此外，DCF 是一个容许共存不同计划的平台，用于构建视差图，其架构集成了文献中探讨的次要视差计算组件。
在筹备软件设计时，咱们关注的是设计具备内聚范畴的模块化软件。从这个意义上说，咱们提出了不同平面视觉办法之间的共性，并创立了构造软件层，包含预处理、视差计算、后处理和性能评估模块。此外，在 DCF 设计中，所有架构组件都是可用的，这样它们的组件就能够重用，能够附加新的算法，并且能够筹备其余构造，包含解决其余计算机视觉工作的组件。
DCF 能够提出与比拟不同的视差计算方法、预计和预测的视差之间的误差剖析、每种算法的执行工夫、过滤输出图像、构建视差图以及细化视差计算相干的钻研问题。应用 DCF，钻研人员能够进行比拟剖析，对查看后果进行可视化或者数字化解决，查看实现的代码，并增加新的算法。此外，他们能够应用执行 Pipeline 在不同的测试配置下执行视差计算方法。
能够应用 DCF 配置不同的执行 Pipeline。例如，能够应用不同的聚合窗口大小来测试算法（图 1）。其余老本函数能够很容易地取代相似性评估函数（图 2）。咱们能够将预处理和后处理步骤增加到最后没有应用这些步骤设计的算法中（图 3）。咱们能够利用图像滤波并查看取得的后果（图 4），或者向视差图增加不同的细化技术（图 5）。此外，咱们能够通过查看每个谬误来比拟不同的办法（图 6）。
在以后版本的 DCF 中，有十种视差计算方法、十一种老本函数、三种评估度量和三种视差图细化办法。此外，还有特色检测器、图像滤波算法和图像校对算法。表 1 给出了曾经在 DCF 中实现的视差计算方法、老本函数和视差图细化办法。
最初，DCF 中存在的算法能够被参数化，或者应用先前定义的配置来执行。DCF 调用是通过脚本进行的，在脚本中，从参数定义到函数调用，命令都是按程序显示的。从这个意义上说，DCF 中存在的所有性能都能够在多种配置中拜访、参数化和执行。用于拜访 DCF 性能的接口是公共的，因而单个脚本能够间接拜访算法。
02 影响概述
已发表的与视差图构建相干的工作提供了很少的实现细节，没有提供源代码，提出的解决步骤也没有很好地定义，并且用于解决计算机视觉工作的软件设计很少被探讨或强调。即便有软件可用，辨认和解耦构建视差图的步骤也是一项挑战。因而，咱们开发了 DCF 来标准化视差计算的次要组件，并便于不同平面视觉办法之间的比拟。DCF 输入能够指向不同的利用，例如基准测试计划、计算机和机器人利用、三角测量和 3D 重建。
DCF 被用于评估哪种代价函数更适宜每种平面视觉办法 [4]，设计基于宰割过程和自适应反对窗口的细化视差办法[10,28,29,30]，并从非结构化环境中构建视差图，其中天然因素（如光照和地形形态）提供了各种非受控条件[31]。在文献[32] 中，咱们首次深刻理解了 DCF 体系结构，通过规范构造适应不同的平面办法。随后，咱们在文献 [33] 中介绍了 DCF 架构的建模，以集成视差计算的次要组件。与前一版本的 DCF 不同，该代码通过了订正，并在该版本中增加了不同的应用示例。此外，咱们记录了 DCF 源代码，以文本形式形容函数的指标、预期输出参数和输入。
2.1 正在进行的应用该软件的钻研我的项目
平面视觉零碎的一个要害组成部分是视差图。如果认真构建视差图，它能够参加工业自动化、自主导航和 3D 重建。从这个意义上说，主动驾驶汽车能够利用场景的深度在没有碰撞的状况下到处挪动；视障人士能够应用为帮忙其口头而开发的计算机应用程序；在三维世界中跟踪物体，能够使得加强事实具备更好的视觉效果。咱们目前正在应用 DCF 来钻研平面视觉算法，并在视觉和数字上进行比拟。此外，咱们应用 DCF 来测试滤波和视差图细化等解决步骤。
2.2 软件反对的所有学术出版物列表
1、G. da Silva Vieira, J.C. de Lima, N.M. de Sousa, F. Soares, A three-layer architecture to support disparity map construction in stereo vision systems, Intell. Syst. Appl. 12 (2021) 200054.
2、G. da Silva Vieira, F.A. Soares, J.C. de Lima, G.T. Laureano, S.A. Santos, R.M. Costa, R. Salvini, Trunk detection and tree disparity calculation in uncontrolled environments, in: 2019 IEEE Symposium on Computers and Communications, ISCC, IEEE, 2019, pp. 1–6.
3、G.D.S. Vieira, F.A.A. Soares, J.C. De Lima, H.A. Do Nascimento, G.T. Laureano, R.M. Da Costa, J.C. Ferreira, W.G. Rodrigues, A disparity computation framework, in: 2019 IEEE 43rd Annual Computer Software and Applications Conference, Vol. 2, COMPSAC, IEEE, 2019, pp. 634–639.
4、G. da Silva Vieira, F.A.A. Soares, G.T. Laureano, R.T. Parreira, J.C. Ferreira, R.M. Costa, C.B. Ferreira, Disparity refinement through grouping areas and support weighted windows, in: 2018 IEEE Canadian Conference on Electrical & Computer Engineering, CCECE, IEEE, 2018, pp. 1–4.
5、G. da Silva Vieira, F.A.A. Soares, G.T. Laureano, R.T. Parreira, J.C. Ferreira, R. Salvini, Disparity map adjustment: a post-processing technique, in: 2018IEEE Symposium on Computers and Communications, ISCC, IEEE, 2018, pp.00580–00585.
6、G. Vieira, F.A.A.M.N. Soares, G.T. Laureano, R.T. Parreira, J.C. Ferreira, A segmented consistency check approach to disparity map refinement, Can. J. Electr. Comput. Eng. 41 (4) (2018) 218–223.
7、G.D.S. Vieira, F.A.A. Soares, G.T. Laureano, R.T. Parreira, J.C. Ferreira, R.M. Costa, C. Gonçalves, Stereo matching enhancement by statistical analysis and weighted functions, in: 2018 IEEE Canadian Conference on Electrical & Computer Engineering, CCECE, IEEE, 2018, pp. 1–4.
8、G. Vieira, F. Soares, N. Sousa, J. Gil, R. Parreira, G. Laureano, R. Costa, J. Ferreira, Stereo vision methods: from development to the evaluation of disparity maps, in: Proceedings of XIII Workshop de Visão Computacional, 2017, pp.132–137
1、书籍举荐 -《基于多视图几何的机器人零碎视觉感知与管制》
2、书籍举荐 -《3D 形态剖析：根底、实践和利用》
3、书籍举荐 -《平面视觉物体检测》
4、梳理 | 平面视觉相机的劣势
5、书籍举荐 -《3D 计算机视觉》
6、多视图点云配准算法综述