前面两篇文章分别介绍了《傅立叶变换》和《图的拉普拉斯矩阵与拉普拉斯算子》，有这两篇文章作为基础，我们终于可以学习GCN了。 GCN的理论基础是Spectral Graph Theory，Spectral Graph Theory是将图的拉普拉斯矩阵进行谱分解，用它的特征值和特征向量来表示图上的信息。 ...

[1] GCN提取特征的方式不是spatial的，而是spectral的，基于spectral graph theory来实现图上的卷积操作。Spectral graph theory是借助图的拉普拉斯矩阵的特征值和特征向量来研究图的性质。本文就是介绍什么是拉普拉斯矩阵、拉普拉斯算子，以及它们之间的 ...

用此篇博客送别2020年，迎接2021（做了个阑尾手术继续写） 学习GCN的时候，spectual method的理论基础就是图上的傅立叶变换，图傅立叶变换又是传统傅立叶变换的一种变形，所以学会GCN势必要学会傅立叶变换。一言以蔽之，傅立叶变换就是从时域到频域的变换。本文基于参考资料1整理。 1. ...

PCA方法适用于线性模型。一般的，PCA的主要作用是降维（在之前的文章中已经讨论过），但也可以用于异常检测，本文就来解释一下PCA如何用来进行异常检测，本文复述了参考资料[2]中的Section3.3 1. PCA回顾PCA可以找到任意维度的最优的超平面，来表示原始数据$X_{n\times d}= ...

VAE是一个生成模型，生成模型一般具有两个基本功能：密度估计$P(X)$和生成样本[2]。本文先从一些其他的模型，比如GMM和Auto-Encoder，来引入VAE，这样可以更好的理解什么是VAE。然后再解释VAE的理论细节。 1. 从GMM到VAEVAE也是latent variable mode ...

1. 变分推断的由来从贝叶斯角度思考，inference（推断）指的是求出后验分布$p(\theta|X) = p(X|\theta)p(\theta)/p(X)$，常常参数空间（或隐变量所在的空格）非常复杂、维度非常高，无法求出积分$p(X) = \int_{\theta}p(X|\theta)p ...

1. Kmeans算法原理Kmeans算法思想：按照样本间距离大小，划分为K个簇，使得每个簇内部的样本点尽量紧密，簇之间的样本点离得尽量远。 假设簇的划分为$(C_1,C_2,\dots,C_K)$，Kmeans的目标是最小化平方误差$\sum\limits_{i=1}^n\sum\limits_{ ...

1. GMM介绍样本的分布有时候比较复杂，无法用单个分布来表示。 从几何角度：GMM是多个高斯分布的加权平均，可能由多个不同的分布叠加而成。$p(X) = \sum\limits_{i=k}^K\alpha_kN(\mu_k, \Sigma_k)$, 其中 $\sum\limits_{k=1}^K ...

EM算法解决带有隐变量的混合模型的参数估计（极大似然估计MLE），主要用来解决生成模型。只求X的概率可能会非常复杂，无法得到X的概率形式，这时假设它是一个生成模型，假定有隐变量Z，数据从$Z\rightarrow$X. 因此，X具有了新的形式$p(X) = \frac{p(X,Z)}{p(Z|X)} ...

1. PCA原理PCA全称为Principal Component Analysis，主成分分析。什么叫做主成分呢，主成分跟降维什么关系？ PCA的思路就是进行线性变换，对原始特征空间进行重构，在一组线性无关的标准正交基下，挑选一部分最重要的维度。 1.1. 基础知识假设有n个样本，每个样本的维度为 ...