• 平移不变性
  • 局部性

MLP的限制

MLP的输入是2d图像XX，MLP的任意一个中间位置HH，都需要所有的输入:

[H]i,j=[U]i,j+∑k∑l[W]i,j,k,l[X]k,l=[U]i,j+∑a∑b[V]i,j,a,b[X]i+a,j+b\begin{align} [H]_{i,j} &= [U]_{i,j}+\sum_{k}\sum_{l}[W]_{i,j,k,l}[X]_{k,l}\\ &=[U]_{i,j}+\sum_{a}\sum_{b}[V]_{i,j,a,b}[X]_{i+a,j+b} \end{align}

上方[W][W]需要所有的k、lk、l,下方[V][V]只需要一小部分的a、ba、b

平移不变性

检测对象在输入XX中的平移，应该仅导致HH中的平移，也就是说VV和UU实际上不依赖于(i,j)(i,j)的值，即[V]i,j,a,b=[V]a,b[V]_{i,j,a,b}=[V]_{a,b}, 因此可以简化[H][H]

[H]i,j=[U]i,j+∑a∑b[V]a,b[X]i+a,j+b[H]_{i,j} = [U]_{i,j}+\sum_{a}\sum_{b}[V]_{a,b}[X]_{i+a,j+b}

局部性

在∣a∣>Δ|a| > \Delta或∣b∣>Δ|b| >\Delta范围之外，可以设置[V]a,b=0[V]_{a,b}=0,因此[H]i,j[H]_{i,j}可以重写为:

[H]i,j=u+∑a=−ΔΔ∑n−ΔΔ[V]a,b[X]i+a,j+b[H]_{i,j}=u+ \sum^{\Delta}_{a=-\Delta}\sum^{\Delta}_{n-\Delta}[V]_{a,b}[X]_{i+a,j+b}

[V][V]就是大名鼎鼎的Conv Kernel,可使小儿止啼哭

一维卷积:(f∗g)(i)=∑af(a)g(i−a)(f∗g)(i,j)=∑a∑bf(a,b)g(i−a,j−b)\begin{align} 一维卷积:\\ (f*g)(i)&=\sum_{a}f(a)g(i-a)\\ (f*g)(i,j)&=\sum_{a}\sum_{b}f(a,b)g(i-a,j-b) \end{align}