多指标跟踪（Multiple Object Tracking）
MOT 获取单个间断视频并以特定帧速率 (fps) 将其拆分为离散帧以输入
- 检测每帧中存在哪些对象
- 标注对象在每一帧中的地位
- 关联不同帧中的对象是属于同一个对象还是属于不同对象
MOT 的典型利用
多指标跟踪（MOT）
- 用于交通管制、数字取证的视频监控
- 手势辨认
- 机器人技术
- 加强事实
- 主动驾驶
MOT 面临的挑战
精确的对象检测的问题是未能检测到对象或者为检测到的对象调配谬误的类别标签或谬误地定位已辨认的对象：
- ID Switching 产生在两个类似的物体重叠或混合时，导致身份切换；因而，很难跟踪对象 ID。
- 背景失真：简单的背景使得在物体检测过程中难以检测到小物体
- 遮挡：对象被另一个对象暗藏或遮挡时会产生这个问题。
- 多个空间空间、变形或对象旋转
- 因为静止含糊而在相机上捕捉的视觉条纹或拖尾
一个好的多指标跟踪器（MOT）
- 通过在每帧的准确地位辨认正确数量的跟踪器来跟踪对象。
- 通过长期统一地跟踪单个对象来辨认对象，
- 只管有遮挡、照明变动、背景、静止含糊等，仍可跟踪对象。
- 疾速检测和跟踪物体
常见的 MOT 算法
1、基于质心的对象跟踪
基于质心的对象跟踪利用视频中两个间断帧之间检测到的对象质心之间的欧几里得间隔。
Intersection-over-Union 是另一种对象跟踪技术，它通过后续帧的空间重叠将后续帧的检测与轨迹相关联。
Visual IOU Object Tracker 有两个方向工作；对象的视觉前向和后向跟踪有助于合并中断的轨迹。
2、简略的在线实时跟踪 (SORT)
SORT 办法假如跟踪品质取决于对象检测性能。SORT 首先应用 Faster Region-CNN (FrRCNN) 检测对象。
通过预测其在以后帧中的新地位来更新应用卡尔曼滤波框架优化解决的指标状态，将对象检测与检测到的边界框相关联。
为每个检测调配 Cost 矩阵来计算与来自现有指标的所有预测边界框之间的交并联结（IOU）间隔。应用匈牙利算法解决调配问题。
SORT 算法有助于缩小遮挡指标，当物体静止较小时，Id 切换成果很好。SORT 在具拥挤场景和疾速静止的状况下可能会失败
Deep SORT：Deep SORT 是 SORT 的扩大，容许通过更长时间的遮挡进行跟踪，实现简略并且能够实时运行。
Deep SORT 采纳繁多的传统假如跟踪办法，具备递归卡尔曼滤波和应用匈牙利算法的逐帧数据关联。
外观特征描述了给定图像的所有特色。Deep SORT 还利用相似于 SORT 的匹配级联来对更常见的对象进行优先级排序。
Deep SORT 缩小了 ID 切换和遮挡，从而升高了误报率。
3、FairMOT（多指标跟踪）
FairMOT 不应用首先检测对象及其边界框，而后进行对象跟踪的多任务办法，如 SORT 和 Deep SORT。FairMOT 认为网络偏差于次要检测工作，这对 re-ID 或对象跟踪工作是不偏心的。
在 FairMOT 中，对象检测和从新辨认工作失去同等对待。
输出图像被馈送到编码器 - 解码器网络以提取高分辨率特色图。
FairMOT 而后增加了两个同质分支，用于检测对象和提取 re-ID 特色，以取得检测和 re-ID 之间的良好折衷。
4、BytrTrack 算法
ByteTrack 应用高性能 YOLOX 对视频执行 MOT，并应用 BYTE 执行检测框和轨道之间的关联。
BYTE 保留所有检测框并将它们分为高分（Dʰᶦᵍʰ）和低分（Dˡᵒʷ）。应用卡尔曼滤波器来预测 T 中每个轨道的以后帧中的新地位。
BYTE 中的第一个关联是在高分检测框 Dʰᶦᵍʰ 与所有 tracklets 之间执行的。第一个关联的相似性是应用 IoU 或检测框 Dʰᶦᵍʰ 与轨道的预测框 T 之间的 Re-ID 特色间隔计算的。
一些 tracklet 无奈匹配是因为它们与适当的高分检测框 Dʰᶦᵍʰ 不匹配，这在产生遮挡、静止含糊或大小变动时产生。
第二次关联是在低分检测框 Dˡᵒʷ 与残余的未匹配轨迹 (Tʳᵉᵐᵃᶤⁿ) 之间的第一次关联之后执行的，这样能够复原低分检测框中的对象并过滤掉背景。
将不匹配的指标保留在 Tʳᵉ-ʳᵉᵐᵃᶤⁿ 中，并删除所有不匹配的低分检测框，因为它们被视为背景。
MOT 评估指标
MOT 评估指标须要解决 MOT 中的五种谬误类型。这五种谬误类型是假阴性（FN）、假阳性（FP）、碎片化、合并（ID 切换）和偏差。
MOT 评估指标还应该具备枯燥性，并且谬误类型应该是可辨别的，以便指标具备跟踪器对五种根本谬误类型中的每一种的性能。
罕用的 MOT 评估指标
1、Track-mAP
Track mAP 在轨迹级别执行匹配和关联，它基于置信度排序的潜在跟踪后果进行操作。Track-mAP 在检测中是非枯燥的。
2、多指标跟踪精度 - MOTA
MOTA 是最宽泛应用的指标，能够亲密代表人类视觉评估。在 MOTA 中，匹配是在检测级别实现的。在 MOTA 中应用身份切换 (IDSW) 测量关联，当跟踪器谬误地替换对象身份或轨道失落并应用不同的身份从新初始化时，就会产生关联。MOTA 测量三种类型的跟踪谬误：False Positive, False Negative, and ID Switch
3、辨认指标：IDF1
IDF1 强调关联准确性而不是检测。IDF1 应用 IDTP（Identity True Positives），其中当 S ≥ α 的轨迹时，prID 与 grID 匹配。IDF1 是正确辨认的检测与地面实况和计算检测的均匀数量之比。匈牙利算法抉择要匹配的轨迹以最小化 IDFP 和 IDFN 的总和。
IDF1 联合了 IDP(ID Precision) 和 IDR(ID Recall)。
HOTA：高阶跟踪精度
HOTA 是用于对跟踪器进行排名的对立度量规范。HOTA 能够合成为对应这五种谬误类型的组件：Detection Recall、Detection Precision、Association Recall、Association Precision 和 Localization Accuracy。因而，HOTA 的谬误类型是可微的并且是严格枯燥的，提供无关跟踪器在每种不同根本谬误类型方面的性能信息
HOTA 跟踪谬误分为检测谬误、关联谬误和定位谬误。
- 当跟踪器预测到不存在的检测或未能预测指标的检测时，就会产生检测谬误。检测误差能够进一步分为检测召回率（由 FNs 掂量）和检测精度（由 FPs 掂量）
- 当跟踪器将雷同的 prID 调配给具备不同 gtID 的两个检测或将不同的 prID 调配给应该具备雷同 gtID 的两个检测时，会产生关联谬误。关联误差进一步分为关联召回误差（由 FNA 测量）和关联精度（由 FPA 测量）
- 当 prDets 在空间上与 gtDets 不齐全对齐时，就会产生定位谬误。
MOTA 在部分检测级别执行匹配和关联评分，但强调检测精度，而 IDF1 通过强调关联成果在轨迹级别执行。
Track-mAP 相似于 IDF1，因为它在轨迹级别执行匹配和关联，并且偏差于测量关联。
HOTA 通过在检测级别执行匹配，同时在轨迹上对关联进行全局评分，通过作为检测分数和关联分数的显式组合来均衡两者。
https://avoid.overfit.cn/post/192509f7af104f7ca4a846ec925a0782
作者：Renu Khandelwal