Adversarial Learning for Semi-Supervised Semantic Segmentation阅读笔记

BMVC 2018

CONTRIBUTIONS

1.提出了一个对抗框架,提高了分割精度却未增加推断时的计算量。

2.提出一个半监督框架,证明了可以使用未标注数据提高分割精度。

3.通过利用判别器发现未标注图像的可靠区域(判别器的输出),从而促进半监督学习。

Details

1.通过将Ladv和Lce结合来提高分割精度。

2.全卷积判别器可通过在无标注数据的分割图像上发现可靠区域,将其当做ground truth辅助分割,从而提高其他的监督信号。

3.使用了两个半监督loss项(Lsem和Ladv)来利用无标注:先用置信图作为监督信号,以自学方式指导Lce(置信图表明了预测分布图中趋于ground truth的分布,即所谓的可靠区域);使用无标注数据上的Ladv(同有监督中的Ladv),使得无监督数据的分割结果向ground truth靠近。

4.仅用标注数据训练判别网络。

Architecture

分割网络

采用了带有预训练好的ResNet-101的DeepLab-v2框架。

输入:图像 (H, W, C)

输出:class probability map (H, W, C)

判别网络

-输入:class probability map

(来自分割网络/one-hot编码后的ground truth)

-输出:confidence map (H, W, 1)

Training Processing

使用标注数据时,分割网络由Lce和Ladv同时监督,判别网络仅使用标注数据训练。

使用无标注数据时,用半监督方式训练分割网络。在获得分割预测后,将其作为判别网络的输入,输出一个置信图,将该置信图作为监督信号,使用自学机制来训练带有masked交叉熵(Lsemi)的分割网络。

Loss Function

判别器的Loss

unknown.png

分割器的Loss

unknown.png

unknown.png

unknown.png

unknown.png

Lsemi中的I(·)为指示函数,用于将D(S(X_n))结果二值化,当D(S(X_n)) > T_semi时,函数取1,否则取0。

Some Questions

1.spatial probability map和confidence map一样吗,前者好像是0/1组成的,后者好像是概率值,然后经过二值化变成了0/1?