swav
- 没有负样本,用的是聚类中心
- 对比学习+聚类
- unsupervised learning of visual features by contrasting cluster assingments
- {:height 219, :width 719}
- 用z1去预测q2,z2去预测q1
- 为什么用聚类中心(聚类中心少啊,可以和所有聚类中心对比)
- $red同一作者文章:deep cluster,deep cluster2 #重点论文
- $redmulti-crop
- 多个crop一些区域
- 用小的一点的区域去做crop
- 损失函数
- 解决的问题:由于聚类中心共享,所以相对于其他增加batch的方法耗能低,但是获得的全局信息更多。
- 待学习:
- 两个聚类的模型:Deepcluster 与deepclusterv2
- 各种增强方式
- 更强的数据增强、MLP投影头、余弦学习率调度、温度参数、存储库、多聚类等
- 还通过引入与 k 均值质心的显式比较来改进 DeepCluster