录用信息

问题背景

Here's something encrypted, password is required to continue reading.

录用信息

录用于CVPR‘22

问题背景：

在自监督学习（SSL）引领表示学习的目前，增量式的自监督表示学习仍然研究不多。本文调查了6种SSL方法经过作者的改进后在增量学习的3种基准下（类增量，数据增量，域增量）进行调查。发现在类增量学习下，SSL增量表示学习比有监督表示学习更优。

设置的3种基准分别是：（1）类增量：这里的类别只用于划分数据集，类别标签对模型不可见（即保证是无监督的）；（2）数据增量：不考虑类别关系，只是把数据按批次增加，比较符合现实情况。实验中把数据集打乱再随机划分，因此一个phase内可能包含所有类别；（3）域增量：增量的phase是按照图像的domain划分。

1. 租用机器

DeepShare平台：https://gpu.deepshare.net/home

选择一个有你需要环境的机器

1. 贝叶斯决策

​ 贝叶斯决策统计推断的一种重要方法。它在数据真实分布未知的情况下，先假定数据服从某种先验分布，再利用贝叶斯公式在得到数据后对先验分布进行修正，最终做出决策。这便是贝叶斯学派的观点。而频率学派则不考虑数据的先验分布，直接在得到的数据上做推断。

​ 贝叶斯决策需要我们假定数据的先验概率$p\left( \omega_{i} \right)$和类条件概率$p\left( x|\omega_{i} \right)$已知，然后利用贝叶斯公式就可以通过观察得到的样本，把先验概率$p\left( \omega_{i} \right)$转换为后验概率$p\left( \omega_{i} |x\right)$，并挑取后验概率最大的类作为最后的决策。

Golbal Average Pooling 第一次出现在论文Network in Network^[1]中，后来又很多工作延续使用了GAP，实验证明：Global Average Pooling确实可以提高CNN效果。

在常见的卷积神经网络中，全连接层之前的卷积层负责对图像进行特征提取,在获取特征后,传统的方法是送入全连接层进行分类，而GAP的思路是使用GAP来替代该全连接层(即使用池化层的方式来降维)。相比于全连接层，GAP有以下优点：

1. 参数量少。以往网络的参数几乎全部集中于全连接层，使用mlpconv搭配GAP可以在不降低性能的同时极大地减少参数量。
2. 可解释性强。使用GAP可以显式强制最后一个mlpconv输出的feature map成为分类的confidence map。相比于以往在卷积层之后加入全连接层，很难解释最后一层的feature map有什么意义。相比之下，通过可视化可以发现，在真实分类的confidence map内，可以看到最大的激活区域出现在与原物体相同的区域。
3. 不容易过拟合。全连接层很容易发生过拟合，因此非常依赖于使用dropout进行正则化。而GAP就是简单地把最后一层的feature map做了空域的平均值然后送入softmax分类器。GAP没有参数，不容易使网络发生过拟合。并且通过实验可以证明，GAP本身就是一种结构化的正则器。

假设卷积层的最后输出是$h\times w\times d$的三维特征图，，经过GAP转换后，变成了大小为$1\times 1\times d$的输出值，也就是每一层$h\times w$会被平均化成一个值。实验证明，这种方法是非常有效的。这样做还有另外一个好处：不用在乎网络输入的图像尺寸。同时需要注意的是，使用GAP也有可能造成收敛变慢。

---

1. Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013. ↩︎

SVM（线性模型）数学推导

学习路线：先线性二分类解释清楚，再加入核方法扩展至非线性二分类

感知机

1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts基于神经元的生理特征，建立了单个神经元的数学模型（MP模型）

实际上没啥依据

四个概率

$TP$——将正样本预测为正（的概率）

$FN$——将正样本预测为负（的概率）

$FP$——将负样本预测为正（的概率）

$TN$——将负样本预测为负（的概率）

主成分分析（PCA，Principle Component Analysis）就是在寻找使方差最大的方向，并在该方向上投影。(通常方差越大被视为越重要，方差也常常被称为能量)

$Y=A\left( X-\overline{X} \right)$

$Y$是PCA的输出，$a$是投影的方向矩阵，$X$是PCA的输入，$\overline{X}$是$X$的期望(通常也可以用均值代替$\overline{X}=\frac{1}{P}\sum_{i=1}^P{X_i}$）。

其中：$Y$是$M\times1$矩阵，$a$是$M\times N$矩阵，$X$和$\overline{X}$是$N \times1$矩阵。可以看出，PCA把$N$维的数据$X$投影到了以$a_i$为基向量的空间中得到$M$维的$Y$，完成降维。（$M<N$）

$A=\left[ \begin{array}{c} a_1\\ a_2\\ \vdots\\ a_M\\ \end{array} \right]$