人们认为智能生活的标志是机器是否具备了学习能力。现在,机器学习可以从数据集中进行学习和推断,从而完成一些复杂的任务,比如:将以前见所未见的种类进行分类。
机器学习与人类都有着惊人的相似之处,但同时也存在着众多特殊的差异。通过对比生物学习与人工智能,我们可以建立一个更安全的基础设施系统。人工神经网络-
有趣的神经元
使用生物神经网络后,大脑中无数的神经元之间实现了互连,之后便可进行学习。随着大脑不断暴露在新的刺激之下,这些神经元改变了它们的互连结构,建立了新的连接、加强了现有连接、删除了那些未使用的连接。越多的重复已给定任务,神经性的连接就越强,直至该任务重复学习无数次。
通过使用预先建立的记忆和感知的模型,神经元可以处理新的刺激,这些记忆和感知的模型以一小组神经元的活动为基础。对于每一种刺激,都有大量来自于可用神经元的不同子集在认知过程中被激活。
在设计人工智能模型的时候,生物神经网络中的惊人结构让数据科学家们深受启发。
人工神经网络(ANN)旨在以一种抽象的方式模拟神经元处理新刺激的过程,但是规模变得更小、更简单。人工神经网络-
人工神经网络是什么?
ANN由互连神经元的层构成,这种互连神经元可以接收一组输入和一组权重。然后进行数学操作,并将结果以“激活码”的方式输出,这与生物神经元中的突触十分相似。虽然在通常情况下ANN由数百到数千个神经元组成,但是人脑的生物神经网络中的神经元要多得多,近数十亿。
在高级的层次中,神经网络由四个部分组成:
1.神经元
2.拓补结构——神经元中的连接桥梁
3.权重
4.一种学习算法
在每一个组件中,人脑中的生物神经网络和用软件表示的人工神经网络中都有着明显的不同。人工神经网络-
如下图,我们可以看到一个可视化的生物神经元。轴突负责核到其他神经元的输出连接。树突树负责接收其他神经元到核的输入。来自神经元(突触)的电化学信号聚集在细胞核中。如果聚合超过了突触阈值,那么电化学尖峰(突触)就会沿着轴突向下传播到其他神经元的树突上。
对生物神经元的剥离分析
如图一,生物神经元由一个细胞核构成,这个细胞核通过一个输入终端或是一个树突的分支接收来自于其他神经元的输入。树突组合通常也叫做“树突树”,它可以通过神经递质的电化学交换从其他的神经元中接收兴奋性或抑制性信号。
到达细胞核后输入信号的幅度大小主要取决于之前神经元的动作电位幅度和进入树突离子通道时的电导率。离子通道主要负责承载通过神经元膜的流动电信号。人工神经网络-
更加频繁或更大幅度的输入信号往往会使导电离子的传输通道变得更好,也会使信号传播变得更加容易。根据从树突树中的所有突触上收集到的信号,在经过神经性叠加作用后,神经元要么“被激活”要么“被禁止”,换句话说,就是被切换为“开”或者是“关”。神经元中有一种电化学阀值,类似于人工神经网络中的激活功能,无论积累的信息是否足以“激活”神经元,这种激活功能都可以让“激活”得以实现。
然后,将最终结果传输其他神经元,如此这般循环往复。人工神经网络-
下面我们将看到人脑中神经元拓扑的简化示意图。在这幅图中,我们可以更多的关注整个循环和神经元之间相互反馈所蕴含着的的巨大潜力。
生物网络中的学习活动
在像人脑这样的生物神经网络中,学习是指对目前的表现不断进行细微调整,在任何学习之前,人脑的结构中都会储存相关的重要信息。网络拓补是指神经元或权重之间的连接强度不会随机改变,连接结构也不会随机开始。这种初始状态部分是由遗传衍生的,是进化的副产品。
随着时间的推移,网络通过调整拓扑和权重来学习如何执行新功能。研究后的事实表明,这种方式刚开始会适用于大多数任务,一个月大的新生儿可以通过他们学到的父母与陌生人的差别来辨别相貌,换句话说就是,识别人脸的概念在很大程度上是父母遗传给孩子的。人工神经网络-
随着婴儿的不断成长,他们历经了童年、青春期、成年期,甚至到了退休年龄。他们每天都会遇见认识一些新朋友,并且要记下他们的样貌。通过对大脑中的神经网络进行一些细微改变,他们就能完成对相貌的记忆了。
同样的学习现象也发生在其他任务中,包括被动感知,从识别通用对象到语音模式下的声音处理,再到一些像运动和交谈类的活动任务,神经网络逐步学习这些技能,为了完善这些技能,一些更小的改动也在推进。
精确的拓扑结构是一种刺激型函数,用于训练生物神经网络。其中,由David Hubel和TorstenWiesel领导的单眼剥离研究就是一个显著的例子。该研究是在动物发育过程中迫使动物闭眼两个月,然后观察这段时间内动物主要视觉皮层的变化。
结果表明,通常情况下,会对双眼输入产生反应的细胞在经过两个月的实验之后不再产生反应。他们的大脑和眼睛中的细胞都发生了改变。再把这种现象拓展到人类身上,例如,对视觉感知进行的心理测验表明,长时间在城市中生活的人往往对平行线条和尖锐的梯度更敏感,可能是因为城市道路、摩天大楼和窗户的平行结构过多,而一些长时间生活在农村的人往往对光滑纹理渐变更加敏感。人工神经网络-
人工神经元网络中的学习活动
与生物神经网络不同,对于手头上的问题,人工神经网络(ANN)通常使用一种固定的拓补方式从零开始进行训练。目前,人工神经网络的拓扑不会随时间而变化,为了使输入的映射聚合函数达到期望的输出值,权重会通过优化算法的方式随机初始化并进行相应地调整。然而,ANN也可以在已有表示法的基础上进行学习,我们将这个过程称为微调,包括以一种相对较慢的学习速率对来自“预训练”网络拓扑的权重进行调整,这样的话,ANN就能在新的输入训练中表现良好。
我们也可以毫不费力地复制ANN,但是在我们复制ANN之前,还需要用一段时间去研究人类大脑。
无论从零开始训练还是进行微调训练,权重的更新都是从神经网络传递数据、测量结果、再进行相应地修改而开始的。这就是人工神经网络“学习”的整个过程。权重会最大化的提高所需任务的性能,例如最大化提高输入样本的识别准确度。我们可以把这种学习概念比作成一个尝试辨别出日常物品的孩子。当孩子认错物品之后,会对好好思考这个答案是否准确,从而获得反馈,然后从不同的角度进行再次尝试,最终得到一个正确答案。当ANN进行学习时,也能够执行相同的任务。然后完善对已知刺激反应的理解,完善学习机制来调整权重,以便最大化其以后对新刺激反应的精准度。人工神经网络-
一旦这个学习过程完成,对于那些在之前的学习过程中没有暴露出来的问题,孩子和ANN就可以根据以前的经验对新刺激做出反应。尽可能多的让孩子们接触到类似问题,将对他们的学习产生极大的帮助。孩子遇见处理的问题越多,他们处理新问题的速度就越快,因为经过反复多次的训练之后,孩子大脑中相关神经元的连接变得更加明确了。在这个方面,ANN与孩子学习的过程类似——ANN若是能在问题中更多地接触到那些可能会刺激自身的各种分布,它就能更加准确的对从未接触过的新刺激中的同种分布作出正确反应。
越广泛的暴露在各种领域中越好
长期以来的经验让我们明白,即使学习有时会给孩子们带来痛苦,但对于孩子们来说,越多的接触世界越好。事实上,当在学习中感受到痛苦时,痛苦本身就是一个极大的反馈机制。同样的,对于ANN来说,暴露于各种特定领域中,接受各种刺激是非常重要的,因为这样可以让ANN受到广泛的训练或微调,让其与任何类型的神经网络相适应,而不是仅局限于某一种特定的刺激中
对特定的刺激类别的附加表示进行研究后,我们发现,网络可以更好的对新刺激或新概念进行分类。这种分类适用于生物神经网络和人工神经网络,虽然生物神经网络在泛化方面做得更加出色。一部分原因是由于生物神经网络能够更多的暴露在各种数据类型和模式中,也有一部分原因是由于它们拥有更先进的生物拓扑和学习算法,当然了,很大程度上是收到达尔文主义的影响。
这个例子源于Nassim Taleb提出的黑天鹅理论。黑天鹅理论是基于十六世纪伦敦出现的一种普遍性现象,因为当时没有任何其他有色天鹅的记录,所以人们都认为所有的天鹅都是白色的。因此,在人们的意识中,天鹅必须是白色的,只有白色的才能被称之为天鹅。直至后来,荷兰的探险家Willem de Vlamingh亲眼在西澳见到了黑天鹅,才将这种严格的天鹅分类法改变。人工神经网络-
这里出现的一种观点是,如果一个人在长大后才看到白天鹅,这个人的神经网络只能在白色天鹅的环境中进行训练,然后创造出一个自我虚构的“黑天鹅”形象,如果我们从未见过黑天鹅,那么就不能全面地对天鹅进行分类。如果一个人长大后见过黑天鹅,也见过白天鹅,那么这类人更适合去划分天鹅的类别,因为一个见识过各种天鹅种类的生物神经网络,在经过广泛的“训练”之后,能够更清晰的分辨出天鹅所具有的特性。
普遍情况下,以前学习到的处理抽象知识的能力将会非常有用的,可以通过轻量化调整快速地跨领域解决问题——这个过程称之为微调,微调也是神经网络解决迁移学习和领域适应问题的一种方案。事实上,其中一个原因是由于并没有那么多的神经元连接需要重新布线。平均数据显示,狂热的滑雪爱好者的滑雪速度比滑雪新手要快得多。为什么那些用于物体检测的人造神经网络会在面部识别上表现优异,甚至超过了专门用于面部识别的人造神经网络呢?
人类VS机器
我们需要明确的一点是,如今,人工神经网络还处于起步阶段。虽然人造神经网络在结构上与生物神经网络相类似,但对于权重概念、神经元(功能单位)、拓扑学习和学习算法来说,许多人类能完成的复杂任务,它们还不能做到。人工神经网络的拓扑结构要简单得多,数量级也要小一些,学习算法比较幼稚。此外,他们还不能同时进行大量异构任务的训练。
我们将继续构建ANN来解决一些难题,比如,检测未知类型的恶意软件:我们还将继续了解人类大脑,探索大脑如何完成任务。实际上,ANN的准确性和速度都将优于专业分析人员。大脑中的动作电位以千秒数传播,然而ANN可更快的对数据量进行分类。
对于其他任务,ANN将发挥自己的优势,大大增强和完善人类的最强思维能力,使大型的工作流程自动化。
在不久的将来,ANN还将以近似甚至是超过人类的水平来执行其他任务,在数学上和结构上也将与生物神经网络更加相似。人工神经网络-