终极算法 第四章 联结学派:大脑如何学习

终极算法 第四章 摘要

赫布律,就如它为人们所知的那样,是联结主义的奠基石。确实,联结主义相信知识储存在神经元之间的联结关系中,它也因此而得名。

赫布律是心理学和神经科学思想的融合,其中掺杂了合理的猜想。通过连接来进行学习,是英国经验主义者最喜爱的话题,从洛克和休谟到约翰·穆勒都是如此。

计算机里晶体管的数量已经赶上人类大脑里神经元的数量,但在连接数量上,人类的大脑轻易获胜。

感知器的兴盛与衰亡

对神经元之间的连接给予不同的权重,这就是所谓的“感知器”。
在感知器中,一个正权值代表一个兴奋性连接,一个负权值代表一个抑制性连接。如果其输入量的加权和高于界限值,那么会输出1;如果加权和小于界限值,那么输入0。通过改 变权值和界限值,我们可以改变感知器计算的函数。

物理学家用玻璃制作大脑

反向传播的研究,这是一个比玻尔兹曼机器能更好地解决赞誉分布问题的算法。玻尔兹曼机器原则上可以解决赞誉分布问题,但在实践中,学习这个行为非常缓慢且痛苦,对大多数应用来说,玻尔兹曼机器有点不切实际。

世界上最重要的曲线

曲线看起来像被拉长的字母S,它有很多叫法,比如逻辑函数、S形函数和S形曲线。 仔细研究它吧,因为这是世界上最重要的曲线。S形曲线作为一个独立的模型,不仅很重要,它还是数学的万事通。

攀登超空间里的高峰

在感知器算法中,误差信号要么是全有,要么是全无:你不是收到对的信号,就是收到错的信号。
无论什么时候学习算法的“视网膜”看到一张新的图片,这个信号就会在网络中传播,知道它产生输出信息。将这条输出信息和理想的输出信息相比,会发出错误信号,这个信号会穿过神经元层,然后反向传播回去,直到它到达视网膜。根据返回来的信号以及在前进过程中它接收到的输入信息,每个神经元会调整各自的权值。随着网络看到越来越多你祖母和其他人的照片,权值会逐渐收敛到能够让它区分两者的值中。反向传播,正如这个算法为人们所知的一样,比感知器算法要强大很多。单个神经元只能够对直线进行学习。给定足够的隐藏神经,一台多层感知器,正如它的名字一样,可以代表任意的复杂边界。这使得反向传播成为联结学派的主算法。

感知器的复仇

神经网络第一次取得大的成功是准确预测股票市场。因为神经网络可以在噪声很大的数据中探测到微小非线性,它们打败线性模型,并在金融领域流行起来,它们的应用也变得更广泛。典型的投资基金会为每大批股票训练出一个分离的网络,让神经网络挑出最有希望的选项,然后让人类分析师来决定该投资哪些股票。然而,有几只基金顺利通过挑选,学习算法会自行买卖这些基金。这些过程到底如何进行的仍是个秘密,但机器学习算法一直处于不为人所知的状态,然后以惊人的速度进入对冲基金,这也许并非偶然。

非线性模型不仅在股票市场有重要作用,在其他很多领域中也是如此。科学家们到处使用线性回归,因为那就是他们知道的东西,但是通常他们研究的现象又都是非线性的,一台多层感知器就可以模拟这些现象。线性模型对相变不了解,神经网络像海绵一样把它们吸收了。

网络神经早期的另外一个成功之处在于掌握驾车技能。

一个完整的细胞模型

我们可以利用逆向演绎从数据及之前的知识中推导出细胞网络的结构,但应用它的方法可以呈现出组合爆炸式增长,我们需要的是一个策略。既然代谢网络由进化来决定,也许在我们的学习算法中对其进行刺激才是可行办法。

大脑的更深处

在反向传播初次进入公众视线时,联结学派幻想能够快速掌握越来越大规模的网络,直到硬件允许的条件下,这些网络等同于人工大脑。结果却并非如此。掌握拥有一个隐含层的网络没问题,但在那之后,很快事情就会变得很困难。几层的网络,只有为了应用(比如文字识别)而经过精心设计的才能起作用。超出这个范围,反向传播就会瘫痪。随着我们增加越来越多的层数,误差信号会变得越来越散漫,就像河流分成越来越小的支流,直到我们只剩下雨滴,不留痕迹。利用几十或数百个隐藏层来进行学习,就像大脑一样,过去是一个遥远的梦,而到了20世纪90年代中期,对多层感知器的热情已经逐渐消减。联结学派的中坚分 子仍在坚持。我们比现在掌握了更深层的网络,而且这些网络在视觉、语音识别、药物研制和其他领域都在设定新标准。

受到人类基因组计划的启示,神经连接组学正在力求绘制出大脑中的每个突触。欧盟正在进行10亿欧元的投资,用于构建大脑 一应俱全的模型。

大脑不经过调整突触就能掌握这些能力,那么这些能力从何而来?除非你相信魔法,答案一定是:通过进化得来。

注:摘自原书中文版(百度云下载PDF) 第四章