Efficient Deep Embedded Subspace Clustering论文作者、链接
作者:
Cai, Jinyu and Fan, Jicong and Guo, Wenzhong and Wang, Shiping and Zhang, Yunhe and Zhang, Zhao
链接:CVPR 2022 Open Access Repository
Introduction逻辑(论文动机&现有工作存在的问题)
聚类——传统聚类,难以处理结构复杂或是高维数据——通过特征学习技术来学习聚类的低维嵌入,以提高聚类的准确性,但是难以保证学到的特征是有利于聚类的
端到端的聚类算法,聚类目标和网络优化的过程结合起来,提供了一种学习基于聚类的嵌入表达的方法——往往使用欧式距离来衡量和辨别簇,但是在不同类型数据面前欧式距离不是常常有效的
子空间聚类——假设数据在不同的子空间中——将子空间聚类和深度聚类的结合,时空复杂度很高
论文核心创新点提出了一个深度子空间聚类的方法,跳脱出卷积自表示框架
本文方法的时空复杂度是线性增长的
可以应用于在线聚类
分析了利用深度神经网络将基于距离的聚类和基于子空间的聚类进行转换的可行性
相关工作
深度聚类
子空间聚类
论文方法 问题定义
问题1:给一个数据矩阵,其中代表特征个数以及代表样本个数。假设有,其中以及是一个未知的置换矩阵。对于,假设的列,由生成,其中是未知的非线性函数,以及是随机变量,是随机的高斯噪声。问题目标是从中找到置换矩阵
问题1其实也是一个聚类问题,对于需要将的每一列分到个簇中,通过个不同的函数。图2演示了问题1的一种简单情况。值得注意的是,这些函数都是线性的,这个问题可以归结为经典的子空间聚类。
问题2:在问题1中,对于假设有其中和。此外,是足够小的。问题目标是从中找到置换矩阵。
经过一系列演算,最终的目标函数变成了,如下所示:
在公式8中,是一个中间变量,不需要去显式地优化它。公式8中的第一项约束,是控制的列的尺寸,否则可能为0。第二个约束是满足问题1中不同子空间之间不相似的假设。最后一个约束起着子空间分配的作用。
问题的可行解决方案为了方便,使得
将公式8的第一个约束变成如下的目标函数:
其中,表示哈达玛积,是一个尺寸为的单位矩阵。
将公式8的第二个约束变成如下的目标函数:
其中是所有的尺寸的对角矩阵的元素都是0,其他元素全为1的矩阵。将上面的两个约束结合到一起有:
其中是一个超参,设为。
对公式8的第三个约束,提出一个子空间矩阵,
来衡量 嵌入特征和子空间基代理之间的关系:
其中是控制平滑度的参数。因此,表示嵌入特征属于第个子空间的概率。进一步对子空间矩阵进行细化,有:
的目标是强调中的高置信度的分布。换句话说,可以作为自监督信息,于是得到一下的子空间聚类目标函数:
于是定义一个无约束版本的公式8为:
消融实验设计
损失函数每一项的影响分析
一句话总结
模型本身很简单,效果好像还行,但是没开源代码