多目标检测

问题：不清楚目标数$\to$不清楚输出维度

困境：CNN需要对图像中所有可能方法穷举，计算量过大，不现实

RCNN

1. 找出潜在候选区域（通过区域建议方法产生）
2. 对区域缩放
3. 进入卷积网络特征提取
4. 支持向量机对区域分类
5. 边界回归$\to$找到真实对象的区域（Bbox reg）修正初始候选区域边界不准确的问题

问题：计算效率低下

Fast RCNN

1. 卷积特征网络对全图提取特征
2. 找出候选区域（利用区域建议方法）
3. 裁剪+缩放特征

效率提升20倍以上

问题：用于区域建议的时间几乎等于检测时长

区域裁剪

RoI POOL

ROI Align

Faster RCNN

利用卷积网络产生候选区域（Region Proposal Network）

四种损失联合训练：

1. RPN分类损失
2. RPN边界框坐标回归损失
3. 候选区域分类损失
4. 最终边界框坐标回归损失

效率提升200倍以上

区域建议网络 RPN

1. 在特征图上划区域并分类（确定锚点）
2. 若区域被认定为包含对象，则认定锚点为该对象
3. 每个位置（锚点）需要预测多个区域，每个区域均需分类
4. 预测区域内是否包含物体

总结：

阶段一（每图一次）：

1. 主干网络特征提取
2. 区域建议网络产生候选区域

阶段二（每区域运行一次）：

1. 扣取区域特征（ROI POOL/Align）
2. 预测目标类别
3. 预测目标偏移量