傅立叶,驯养动物,猫咪怎样启发了人工神经网络的诞生？,宠物,卷积,信号

The Intellectual

我们不需要太多冗余信息，因为它们浪费了计算机的储存空间。并且，有时信息多了是画蛇添足，反而增加判断的错误率。所以，我们将图6所示的卷积层的计算结果，送入一个叫“池化”的网络层。池化的作用便是对特征图进行降采样，降低信息的冗余，从而减小网络的模型参数量和计算成本，减少过拟合的风险，也对输入图像中的特征位置变化，诸如变形、扭曲、平移等等视觉模式漂移，更不敏感。

卷积是个啥？

卷积层和卷积计算

图5：卷积

图1：1962年哈佛大学研究者对猫咪的神经生物实验

图6：神经网络识别x时的卷积计算

现在让我们想想，当给计算机一个包括"X"的图案，它怎么才能找到这个“X”呢？一个可能的办法就是：让计算机存储一张标准的“X”图案，然后将这个标准图放到输入图的各个部分去比对，如果某部分与标准图一致，则判定找到了一个"X"图案。更进一步，这个标准图最好还有缩小放大转动等功能。

[4]Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard and L. D. Jackel: Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1(4):541–551, Winter 1989.公司企业资讯网 - 企业信息网

实际上，卷积概念的出现大大早于神经网络，如图4上方的数学表达式所示：它是一种从两个函数f(r’)和h(r-r’)相乘再对r’积分得到另一个函数g(r)的运算。

https://doi.org/10.1007/BF00344251

2012年是神经网络翻身的一年。一个具有划时代意义的模型AlexNet横空出世，在一个叫做ImageNet的图像识别竞赛中，以识别率远超第二名10.9个百分点的绝对优势，一举夺冠，引起了人工智能领域极大的轰动。辛顿三人的AlexNet成功的秘诀，是使用了“多层卷积人工神经网络”，这个短语中涉及的词汇，都可以靠“顾名思义”就大概明白了，唯有其中的“卷积”一词，说的是什么意思呢？今天我们就聊聊这个话题。

数学的美妙之处在于抽象，抽象后的概念可以应用于其它不同的场合。比如卷积，可以被用于连续函数（如信号和系统），也可以被用于离散的情况（如概率和统计）；卷积的积分变量可以是时间，也可以是空间，还可以是多维空间，例如将它用于AI的图像识别中，便是卷积在离散的多维空间中的应用。

1988年，杨立昆加入新泽西州的贝尔实验室。在此，他开发了包括卷积神经网络在内的多个机器学习方法[4]。并且真正实现了卷积神经网络，贝尔实验室将其命名为LeNet，就如他的姓LeCun一样，这是卷积网络的第一个名字。

尽管名字不同，但与卷积类似的运算最早是于1754年出现在达朗贝尔的数学推导中，继而又被其他数学家使用过。不过，这个术语的正式登场是在1902年。

福岛小时候家境贫寒，但好奇心让他对电子技术充满激情，后来他获得了京都大学的电气工程博士学位，1965年他加入了一个视觉和听觉信息处理研究小组，研究生物大脑。之后，福岛与神经生理学家和心理学家通力合作，组装人工神经网络。

来得早不如来得巧，卷积方法得以实用化是在1998年，法国计算机科学家杨立昆（Yann LeCun，1960-）将反向传播应用到卷积神经网络的训练之后。

从我们的经验知道，人眼“一眼就能”看出图1b中的每个小图中都有个x，无论这个x放在哪个位置？是大还是小？是红还是蓝？有没有背景图？

神经网络虽然源于对大脑的模拟，但后来的发展则更大程度上被数学理论及统计方法所指导，正如飞机这一交通工具的发展过程，源于对鸟儿飞翔的模仿，但现代飞机的结构却与鸟类身体构造风马牛不相及。

喵咪视觉的启发

人眼如何识别物体？

1979年，「Neocognitron」神经认知系统问世了，灵感便来自于两种已知存在于生物初级视觉皮层的神经细胞：简单的「S」细胞，以及复杂的「C」细胞，它们后来分别演化成了现在神经网络中的卷积层和池化层，见图2[2]。

也可以说，卷积核的作用，类似于代表某个模式的d-函数，它能把这个模式从原图中“抽样提取”出来。用前面描述卷积数学公式的语言来说，图6左边的输入矩阵，是f函数；卷积核是h函数；最右边的输出，是卷积计算的结果g函数。卷积核（图中的3x3矩阵）的矩阵元，是权重系数。卷积核的权重系数，与连接层与层之间的权重系数一样，也可以通过学习和训练过程进行优化。此外，还要用适当的激活函数达到非线性化的目的。

之后，在通信工程中，卷积用以描述信号和系统的关系。对于任意的输入f(t)，线性系统的输出g(t)表示为脉冲响应函数h(t)与输入的卷积。例如，歌手使用麦克风演出时，通过麦克风听到的歌声，与麦克风之前的声波是有所不同的，因为麦克风对输入信号有延迟和衰减的作用。如果将麦克风近似为一个线性系统，用函数h(t)来表示它对信号的作用，那么，麦克风的输出g(t)就是输入的f(t)与h(t)的卷积。另一个有趣的事实是，如果送进麦克风的输入是狄拉克d-函数的话，麦克风的输出便正好是它的脉冲响应函数h(t)。

科学家们希望机器也能尽量做到这点，于是有人便搬出了“卷积”这个法宝。