PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering

相关文章推荐

英姿勃勃的香槟 · C# 有序列表 - 知乎· 1 年前 ·

不拘小节的山羊 · Spring for GraphQL ...· 1 年前 ·

千年单身的围巾 · MySQL :: MySQL 8.0 ...· 1 年前 ·

完美的地瓜 · wpf combobox ...· 1 年前 ·

概
符号说明
流程
代码

Cho J., Mall U., Bala K. and Hariharan B. PiCIE: unsupervised semantic segmentation using invariance and equivariance in clustering. In IEEE Conference on Computer Vsion and Pattern Recognition (CVPR), 2021.

利用聚类和 invariance to photometric transformations and equivariance to geometric transformations 来无监督地语义分割.

$x_i \in \mathbb{R}^{CHW}, i=1,2,\cdots, n $, unlabeled images;

$f_{\theta}: \mathbb{R}^{CHW} \rightarrow \mathbb{R}^{DHW}$ , 将图片 $x$ 映射为后续所用的特征;

$y_{i}[p]$ , 为 $x_{i}[p]$ 所对应的(预测)标签;

$\mu_k \in \mathbb{R}^D, k=1,2,\cdots, K$ , 为 $K$ 个聚类中心;

$P$ , photometric 变换, 满足 $x, P(x)$ 的语义分割是一致的;

$G$ , geometric 变换, 满足 $G(x)$ 的语义分割为 $G(y)$ ;

采样样本 $x$ , photometric 变换 $P^{(1)}, P^{(2)}$ , geometric 变换 $G$ ;

得到特征:

\[z^{(1)} \leftarrow G (f_{\theta}(P^{(1)}(x))), \\ z^{(2)} \leftarrow f_{\theta}(G(P^{(1)}(x))); \\

通过 K-means 计算类别中心, 并为 $z_i[p]$ 指定标签:

\[\mu^{(1)}, y^{(1)} \leftarrow \text{KMeans}(\{z_i^{(1)}[p]: i \in [n], p \in [HW] \}), \\ \mu^{(2)}, y^{(2)} \leftarrow \text{KMeans}(\{z_i^{(2)}[p]: i \in [n], p \in [HW] \}); \\

我们希望特征 $z[p]$ 靠近所指定的类别, 即需要关于 $\theta$ 最小化如下损失:

\[\mathcal{L}_{within} = \sum_{i, p} \mathcal{L}_{clust}(z_{i}^{(1)}[p], y_{i}^{(1)}[p], \mu^{(1)}) + \mathcal{L}_{clust}(z_{i}^{(2)}[p], y_{i}^{(2)}[p], \mu^{(2)}), \]

其中

\[\mathcal{L}_{clust}(z_i[p], y_i[p], \mu) := -\log \frac{\exp(-d(z_i[p], \mu_{ip}))}{\sum_{k} \exp(-d(z_i[p], \mu_{k}))}, \]

以及 $d(\cdot, \cdot)$ 为 cosine similarity;

但是注意到, 即便 $z$ 中的各个元素都靠近了各自的聚类中心, 我们没法保证聚类是按照 '语义' 来分割的, 为此, 我们引入 Invariance 和 Equivariance:

\[\mathcal{L}_{cross} = \sum_{i, p} \mathcal{L}_{clust}(z_{i}^{(1)}[p], y_{i}^{(2)}[p], \mu^{(2)}) + \mathcal{L}_{clust}(z_{i}^{(2)}[p], y_{i}^{(1)}[p], \mu^{(1)}), \]

即采用了 photometric 和 geometric 变换后的特征保持语义分割上的一致.

[ official ]