终极算法 第五章 进化学派:自然的学习算法

终极算法 第五章 摘要

达尔文的算法

和许多其他早期的机器学习研究者一样,霍兰德开始时研究的是神经网络,但他的兴趣使情况发生转变。在密歇根大学读研究生时,他阅读了罗纳德·费雪(Ronald Fisher)的经典著作《自然选择的遗传理论》(The Genet: Cal Theory of Natural Selection )。在该著作中, 同时作为现代统计学奠基人的费雪,提出了关于进化的第一套数学理论。虽然这个理论很 妙,但霍兰德认为它遗漏了进化论的精华。费雪孤立地看待每个基因,但是有机体的适应度就是它所有函数的复值函数。如果基因都是独立的,它们变量的相对频率会快速收敛至最大适应点,然后从此保持均衡。但如果基因相互作用,进化(追求最大适应度)就要复杂得多。

霍兰德的创作渐渐为人所知,遗传算法的关键输入就是一个适应度函数。给定一个待定程序和某个设定的目标,适应度函数会给程序打分,反映它与目标的契合度。在自然选择当中,适应度是否能这样解释,值得怀疑:虽然翅膀对于飞行的适应度很高,这个说法很直观,但整个进化过程却没有已知的目标。即便如此,在机器学习中,掌握诸如适应度函数这样的事情还是很容易的。如果我们需要一个能够诊断疾病的程序,如果一种算法能够正确诊断我们数据库中60%的病人,这样的算法就比准确率仅为55%的算法要好,所以可行的适应度函数能够帮助准确诊断。就这一点而言,遗传算法就有点像选择育种。达尔文在《物种起源》开篇时就谈到这个问题,层层深入,解释较难理解的自然选择概念。现在我们自然而然地认为,经过驯化的动 植物就是一代一代经过选择和交配的结果,是最能让我们达到各种用途的有机体:果实最大的玉米、最甜的果树、毛最多的羊、最强健的马匹。遗传算法也会做同样的事情,它产出的是程序而不是活的生物体,而一代对它而言是几秒的计算机时间,而不是生物的一生。

探索:利用困境

和反向传播相比,遗传算法陷入局部最优值困境的可能性较小,而且原 则上也更有可能找到真正新颖的东西,但遗传算法分析起来也要难得多。我们怎么知道,遗 传算法会得出有意义的结果。机器学习中最重要的问题之一(也是关于生命最重要的问题之一),就是探索—利用困境。

程序的适者生存法则

在开始的几十年,遗传算法的阵营主要由约翰·霍兰德、他的学生、这些学生的学生组 成。大约在1983年的时候,遗传算法解决的最大问题就是学会控制天然气管道系统。不过, 大概同样的时间段,神经网络回归了,人们对进化计算的兴趣也开始浓厚起来。关于遗传算法的第一次会议于1985年在匹兹堡举行,遗传算法的寒武纪大爆发也正在进行中。其中的一些变体尝试更加接近地模拟进化(毕竟基本遗传算法仅对进化进行了非常粗略的模拟)而其 他变体则从不同方向模拟,利用让达尔文困惑的计算机科学概念来跨越进化论观点。

性有何用

没人知道为什么性别在自然界中无处不在。人们已经提出几个理论,但没有一个被广泛接受。这方面的领先理论是“红皇后”假说,马特·里德利在同名书中向人们介绍该理论。在 《爱丽丝镜中世界奇遇记》中,红桃皇后对爱丽丝说:“全力奔跑,这样你才能留在原地。”依照这个观点,有机体和寄生虫就会永远处在竞赛中,而性可以保持群体的多样性, 这样单一微生物就不会感染整个群体了。

性在机器学习中可能还未取得成功,但作为一种安慰,它已经在技术的发展中起到重要作用。色情描写是万维网中未公开承认的“杀手级应用”,更别说它在印刷、摄影、视频领域就更受欢迎了。振动器是第一台手持电子设备,预示着一个世纪之后手机的出现。小型摩托车在战后的欧洲,特别是在意大利受到欢迎,因为它们能够让年轻的夫妇离开家人。100万 年前,当直立人发现火时,其中的一个“杀手级应用”当然是便于约会。同样肯定的是,“拟人化”机器人变得越来越真实,其主要推动力是性爱机器人行业的发展。性似乎才是最后的 结局,而不是技术演化的手段。

先天与后天

演化新论者和联结学派重要的共同点是:他们都因为受到自然启发而设计了学习算法,不过后来分道扬镳了。演化新论者关注的是学习架构,对他们来说,通过参数优化来对演化的架构进行微调,这是次重要的事情。相反,联结学派更喜欢用一个简单、手工编写的结构,加上许多连接行为,然后让权值学习来完成所有工作。这就是机器学习版本关于先天和后天的争论,而且双方都有很好的论据。

谁学得最快, 谁就会赢

机器学习的目标是尽可能找到最好的学习算法,利用一切可能的方法,而进化和大脑不可能提供学习算法进化的产物有很多明显的错误。例如,哺乳动物的视觉神 经和视网膜前端而不是后端相连,这样会引起不必要的(而且异乎寻常的)盲点,就在中心 凹旁边,而这里是视觉最敏锐的地方。活细胞的分子生物学原理非常混乱,分子生物学家常常自嘲道,只有对分子生物学一点也不懂的人才会相信智能设计。大脑的构造很有可能有相似的错误(大脑有许多计算机没有的限制,比如非常有限的短期记忆),而且没有理由待在这些限制里。另外,我们听说过许多这样的情形,人类似乎坚持做错误的事情,正如丹尼尔 ·卡尼曼在他的书《思考,快与慢》里详细说明的那样。

许多心理学家已经使用符号学或贝叶斯的模型来解释人类行为的方方面面。符号学主导了认知心理学的头几十年。在20世纪八九十年代,联结主义者占支配地位,但现在贝叶斯学者的数量正在上升。

注:摘自原书中文版(百度云下载PDF) 第五章