车辆重识别(Vehicle re-identification)指在不同摄像头拍摄的图像中找到指定车辆的技术,在智能视频监控系统中有很强的应用场景,能够跟踪目标的轨迹而找到目标的位置。
常规的车辆重识别主要利用车辆的全局编码来作为匹配依据,缺乏对车辆上的细节特征的识别,比如两辆车的车型一样,颜色一样,但是仅在车前挡玻璃上会有不同的部分,使用全局编码难以识别这一部分的差异,这限制了车辆重识别的准确度。为了解决这一问题,我们提出了基于车辆关键点检测的多尺度推理网络(Multi-scale Reasoning Network,MRNet)来实现更加准确的车辆重识别效果。算法的框图如图1所示。
图1:MRNet算法框图
算法使用了全局编码和本地编码共同来实现车辆重识别。首先使用ResNet50来提取车辆的全局特征作为匹配依据。之后使用车辆关键点检测与方向预测神经网络来对车辆的每个面的关系进行提取,如图2所示,并将其与全局变量中第2、3、4层的特征向量通过多尺度LSTM(图3)进行融合。
图2:车辆关键部位检测图示
图3:多尺度LSTM示意图
之后通过attention模块来对车辆多视角的特征进行加权平均,来取得最终的本地编码向量。对于全局编码和本地编码使用triplet损失来进行学习。最终的结果如图4所示:
图4:在Veri-776和VehicleID数据集上的结果
最后结果表明,在相同条件下,我们的MRNet模型在Veri-776和VehicleID两个数据集上有着较大的优势。论文已经在ICONIP2020上发表。